1.什么是光场？

光场（light field）：就是指光在每一个方向通过每一个点的光量。

从概念里，你至少可以得到两点信息：

• 光场包含光的方向
• 光场包含一个点的光量

2.什么是光场相机

我们知道普通的相机拍照成像，得到的离散的像素点，每一个像素都会有其像素值，那么这个像素值反应的就是光场中某一点的光量，仅此而已，我们不能够从图像中得到打到这个像素点位置的光线是从哪个方向来的，所以，普通的相机只能够得到光场中的光量信息，丢失了方向信息。

光场相机则不同，不仅能够记录光场的光量信息，也能记录光场中光的方向信息，也就是说它能够记录摄像机内部的整个光场！

光场相机长什么模样，以著名的Lytro公司的光场相机为例， 它们就是下面的模样，左图为第一代产品，名为 Lytro F01，(丑爆了)。右图为第二代产品,名为Lytro Illum (还将就)。

讯享网

Lytro公司是斯坦福大学的吴义仁（Ren Ng）博士毕业后创办的公司，是世界上首款消费级别的光场相机，还是挺厉害的。他的博士毕业论文名为《Digital Light Field Photography》获得了2006年美国计算机协会(ACM)博士论文大奖。

💡 据说现在已经从公司辞职回到学校教学去了

那光场相机能够记录整个光场又能怎么样呢？

该相机能够实现先拍照后对焦。你没看错，就是这样，在拍完照了，你想重新对焦到图像中哪一个位置，就能通过点击图像得到该位置清晰的图片，放两张Ren Ng论文里《Light field photography with a hand-held plenoptic camera》的图片，对焦平面由近及远，是不是蛮神奇的，消费者不用担心拍到的图片没有聚焦到理想的位置，可以通过后期相机内部对光场的处理实现重聚焦作用(refocus)。

3.工作原理

3.1光场的定义

光场概念最早由A.Gershun在1936年提出，用于描述光在三维空间中的辐射传输特性。1991年，E.Adelson和J.Bergen根据人眼对外部光线的视觉感知，提出用7维函数来表征空间分布的几何光线，称为全光函数(Plenoptic Function)。

$$P(x,y,z,\theta ,\varphi ,\lambda ,t)$$

如果只考虑光线在自由空间的传输，其波长一般不会发生变化，则任一时刻的光线可由5维坐标表示。

$$(x,y,z,\theta ,\varphi )$$

更进一步，忽略光线在传输过程中的衰减，M.levory和P.Hanraham将5维的全光函数降至4维，提出用两个相互平行的平面对四维光场进行参数化表示。

$$L(u,v,s,t)$$

表示光场的一个采样，L表示光线的强度，(u, v) 和 (s, t)分别为光线与两个平面的交点坐标。在四维坐标空间中，一条光线对应光场的一个采样点。现实中大部分成像系统中都可以简化为相互平行的两个平面，比如传统成像系统中的镜头光瞳面和探测器像面，如果用传感器像面中的坐标 (x,y) 表示光线的分布位置，那么镜头光瞳面坐标 (u,v) 就反应了光线的传输方向。

3.2用数码相机采集光场

知道了光场的定义，那么是不是有什么专门的神奇设备能够在空间中采集这样的4维信息呢？没有的，光场虽然听上去比较高大上，可通常采集的办法还是传统的成像系统：相机。最经典的光场采集办法就是相机阵列，比如下图是Stanford Multi-Camera Array：

所以就是把相机排列在了一个平面上而已。为什么这样的相机阵列就采集了光场呢？我们先从最原始的针孔(Pinhole)相机模型谈起：

小孔成像模型 是最直观也是最古老的成像模型，小孔相当于把光束的宽度限制得很小，所以如左图光束通过小孔之后再像面上成了一个倒像。这种成像虽然简单，然而一个重大不足是成像的分辨率被小孔大小限制着，小孔越小，则成像越清晰，然而光量也越小，像会很黯淡。

为了成明亮的像我们希望光束的量大，也就是小孔大，但也不希望光束的不集中导致成像模糊，所以很自然的，凸透镜成像解决了这个问题。在凸透镜成像系统中，不过镜头怎么复杂，模式都是和中间的示意图一样，一个空间中的点发出的光束，打在透镜的一块面积上后，折射，然后汇聚到一点。所以单从光线采集的角度而言，和小孔成像系统的没有差别。

那么这和光场的联系在哪呢，回顾前面说的用两个平面上的两点坐标表示广场的办法，如果我们这里把镜头中心所在平面看成uv平面，定义镜头中心为(0,0)，而成像平面，也就是传感器所在平面看成xy平面，则在普通的成像系统中捕捉到的一幅图像可以看成是u=0, v=0出发的光线在传感器平面上的采样，也就是说我们采集了：

$${L(0,0,x,y)|}_{x,y\in \text{ senser plane }}$$

其中每个 L(0,0,x,y) 的值就是传感器上的像素值。一个直观的例子是上图的第三个光路图，简化到二维情况的话，只看 L(u,x)，假设在传感器平面上有6个像素，那么采集到的6条光线就分别是 L(0,-1), L(0,-0.6), L(0,-0.2), L(0,0.2), L(0,0.6), L(0,1)。那么很自然地，如果改变uv的位置，也就是镜头中心的位置，不仅能采集xy平面的光线，uv平面的也可以采集了，所以就能采集整个uv和xy间的光场了，所以相机阵列就相当于在uv平面上布满了很多采样点。

当然，上面说的是最直观最理想的情况，把相机近似成针孔模型还有个前提是景深足够，另外我的例子里xy平面是用传感器所在平面定义，另一种流行的定义方法是用相机的焦平面，也就是在镜头前方，也就是上图中的虚线箭头，这种方法相对来说就更为直观了，尤其是在假设焦距很小的情况下，虚线所在的平面就是相机平面距离为焦距的地方。事实上，在几何光学里，因为光线是严格直线传播，所以沿着光轴中心的不同位置上，如果都能采样的话，那么采到的像都是相似的，所以理论上讲uv和xy平面是可以沿着光路的中心轴任意位置定义的。另外，除了用x和y，也有很多学者喜欢用s和t描述像平面，不过这仅仅是字母使用习惯上的不同。

相机阵列只是采集光场的最基本模型，实际实现的系统都是基于相机阵列的原理，但是具体结构非常不一样。

3.3微镜头阵列采集光场

目前主流还是在使用 微镜头阵列 的方式进行采集光场信息。

基于微透镜阵列的光场采集最早可以追溯到1908年Lippmann提出的集成成像（Integral photography）[5]，集成成像为基于微透镜阵列的光场采集奠定了重要的理论基础。关于集成成像的发展历史，可以参考Roberts在2003年的详细梳理[6]。基于集成成像理论，MIT的Adelson在1992年尝试采用微透镜阵列来制造光场相机[7]，斯坦福Levoy将集成成像应用于显微镜，实现了光场显微镜[8]。

基于透镜阵列的光场采集主要依靠在成像传感器与主镜头之间加入一片微透镜阵列，物体表面光线首先经过主镜头，然后经过微透镜，最后到达成像传感器（e.g. CCD/CMOS）。如图1所示，物体表面A点在FOP角度范围内发出的光线进入相机主镜头并聚焦于微透镜，微透镜将光线分成4x4束，并被成像传感器上对应的16个像素记录。类似的，空间中其它发光点，例如B点和C点，在其FOP角度范围内的光线都被分成4x4束并被分别记录。

3.3.1Lytro

Lytro是由吴义仁（是Levoy的学生）于2006年创立的美国公司，主要开发光场相机。

• Lytro从2012年2月29日开始以8 GB和16 GB版本发售其第一代袖珍相机，能够在拍摄后重新对焦图像。
• 在2014年4月，公司发布了Lytro Illum，这是面向商业和实验摄影师的第二代相机。Lytro Illum发行价格为1600美元。
• 在2015年秋天，Lytro改变了方向，宣布推出Immerge，这是一款带有配套的自定义计算服务器的超高端VR视频捕获相机。Immerge有望在2016年上市，并且对于试图将基于CGI的VR与视频VR相结合的工作室非常有用。
• Lytro于2018年3月下旬停止运营。最初有报道称Lytro被Google收购，但后来又有报道称Lytro的大多数前雇员已转为在Google工作。

这样的技术颇具创新性，甚至乔布斯在去世前也会见了Lytro的创始人。乔布斯曾希望在iPhone中引入这种技术。

Lytro采用的是在传感器表面覆盖一层微镜头阵列，原理图：


微镜头阵列就是类似如下，近距离覆盖在传感器表面：

这个图是Lytro创始人博士论文里的原型机的阵列，(A)是阵列宏观的可视效果，(B)和©是微观结构，后来在Lytro中已经改进成了六边形的镜头阵列。一个Lytro在传感器成像的原始图片如下：

可以看到和相机阵列不同，Lytro采集到的图像是虚脱6边型构成的，不过其实背后的原理都是一样的，这一大幅看着像昆虫眼睛采到的图像是能够通过算法转化成前面提到的相机阵列等效图像的，而每一幅等效的图像又叫Sub-Aperture图像。

3.3.2 Raytrix

和Lytro类似的还有Raytrix的光场相机，不过Raytrix的采样精度和采样数都大幅高于玩具般的Lytro，属于工业级光场相机。

官网：https://raytrix.de

光场相机是一种新型的3D相机，它可以捕捉标准图像和场景的深度信息。光场相机可以通过单镜头在单次拍摄中只使用可用的光线来捕捉公制的3D信息。Raytrix一直专注于开发工业应用的光场相机。获得专利的微型镜头阵列设计使高有效分辨率和大景深之间达到了**折衷。Raytrix相机已经应用于体积测速、植物表型、自动光学检测和显微镜等领域。

Raytrix是一家德国公司，成立于2008年，自2010年开始销售3D光场相机，用于专业应用和研究。我们最初的目标是探索光场技术的潜力，并使其在个人应用中可行。到现在，我们已经是一个高度积极的团队，不断提高光场相机的质量，探索新的应用领域。

Raytrix 光场相机视频