苹果在即将正式推出的 iOS 27 中，给相机/相册做了一个「空间重构」(Spatial Reframing) 功能：

开启「空间重构」后，用手指在照片上划动，你会发现照片像是有了「深度」；如果继续划动，出现了原图中被遮挡的区域，Apple Intelligence 会实时生成填补。通过「空间重构」你可以对原图的场景，创建一个从并未被拍摄的角度「拍摄」出的副本。

一张静态的照片，原本不携带任何深度信息。而苹果利用在空间计算的经验，可以从中推断出深度。

这里还有几组照片，看看效果：

对不起，我骗了大家。虽然看起来很像，但这些并不是「空间重构」的样片。

但如果我告诉你，这是一台来自上世纪的古董相机拍出来的，你会不会稍微有点惊讶？

以上照片，是胶片摄影师 Jason Kummerfeldt (YouTube: @grainydays) 用一台发布于 1989 年的 Nishika N8000 胶片相机所拍摄下来的，原理简单且暴力：

它平行放置了 4 个镜头，可以同时拍下 4 张同一场景、视角平行但具有细微差异的照片——更准确来说，4 张 135 画幅的半格照片，占用两格胶片的位置。

Nishika 的宣传策略是将其定位为「能拍摄 35mm 胶卷的 3D 相机」。至于如何实现所谓的 3D 效果，则需用户将胶卷回寄给 Nishika，由该公司冲洗并印刷成具有所谓「裸眼 3D」效果的光栅照片：

光栅照片算不上黑科技，但在上世纪末，一台能自己拍出裸眼 3D 的相机还是颇具想象力的。只是这个美妙而前卫的创意背后，却藏着一套复杂的骗局：

首先，Nishika 这个名字给人营造出一种日式精密光学的感觉，然而该公司注册于美国内华达，总部位于拉斯维加斯郊区，生产则在香港以及中国大陆完成。

其次，产品本身的质量也令人难以恭维：低质量塑胶镜头，对焦采用小光圈泛焦，快门固定 1/60 秒；机身看起来像是单反，内部却没有棱镜，顶部凸起只是空心塑料壳；机顶贴着伪装成液晶屏幕的贴纸，热靴其实是冷靴；Nishika 甚至在机身里塞了一块配重，只为让手感显得沉甸甸。

Nishika 的主要销售策略是通过电话或邮购渠道购买，后来甚至还发展出了几乎原样复刻安利的传销模式——果不其然，在产品问世一年后就被美国监管部门以电信欺诈等罪名发起调查。

1994 年，Nishika 因资不抵债宣告破产，其运营的光栅冲印服务也随之消失，让 N8000 回归成了一台质素令人难以恭维，但又在半格摄影这件事上打了鸡血的垃圾相机，二级价格一度跌至几美元。

合成全新的视角

爱好者圈子里总会有两种商家：一种站在巨人的肩膀上攫取利润，商业上成功但被所有人所鄙视；另一种用热爱开创新的空间，推动领域进步，但往往商业上难以持续。

Nishika 属于前者，而另一家名为 Nimslo 的公司，也是 Nishika 几乎全部的技术来源，属于后者。

如果说 Nishika 的故事是一场打着高科技幌子的跨国传销骗局，那么 Nimslo 则更像是真正具备技术、志向远大，却最终悲情离场的「天才发明家」。

上世纪 70 年代，香港工程师卢国华 (Allen Kwok Wah Lo) 实现了从多镜头 3D 胶片相机到光栅印刷的全流程闭环，攻克了高精度立体摄影的难题。

美国商人杰瑞·尼姆斯 (Jerry Nims) 嗅到了商机，在香港和卢国华一起合伙组建了公司，后来又将总部搬到了美国亚特兰大，并在 1976 年提交了专利。他们的公司名叫 Nimslo——取自二人的姓。

卢国华与尼姆斯

Nimslo 的第一款同名产品 Nimslo 3D 相机于 1982 年问世。该公司还得到了天美时手表 (Timex) 的老板、挪威船王弗雷德·欧尔森 (Fred Olsen) 注资 1700 万美元，并且将生产线设在了苏格兰的天美时工厂。

雄心勃勃的 Nimslo 原本计划年产 40 万台 3D 相机，然而一系列致命灾难接踵而至，将公司拖向深渊。

首批相机出货时，天美时苏格兰工厂爆发罢工，Nimslo 临时找日方外包，错过上市黄金期；光栅照片无法在常规照相馆印刷，用户必须寄回美国唯一指定中心进行冲洗和印刷，而且工艺的限制导致废片率高，收费昂贵，消费者需要等待数周时间，体验极差。

Nimslo 3D 采用 4 颗日本制造的高品质光学玻璃镜头，自动曝光系统还能够根据光线自动调节光圈快门，在当时相当先进；纯金属机身紧凑，做工扎实，轻巧且高级——代价是在当时高达 200 美元的售价（折合今天 700 美元左右）。而考虑到前述的印刷体验问题，产品的实用性并不高。

在烧光数千万美元的投资之后，Nimslo 终于撑不住了，在 1986 年宣布破产。而如果你看到下面这张两款产品的对比图，应该明白过来：Nishika 把 Nimslo 给接盘了。产品配置全方位缩水，加上前面提到的种种欺诈玩法，却仍然没有拯救这家新公司以及 4 眼 3D 相机的命运。

当今天的人们谈论起空间摄影/空间计算的先驱，想起的可能是苹果「空间重构」、Vision Pro，或是 2016 年 iPhone 7 Plus 的「人像模式」（双摄背景虚化）。

也可能是 14 年 HTC One M8 的后期重对焦，或者 18 年 Facebook 的 3D Photos——这些都是「单张照片 + 深度信息 = 空间照片」的大规模消费级应用。

更别提在相机领域，还有光场相机这样的怪物存在。

Nishika 以及它的前身 Nimslo，并不是典型意义上的空间摄影先驱。

但是，如果我们静下心来想一下，由 Nimslo 所创造并首次在消费级产品上完成实践的多镜头相机，和空间重构、人像虚化、重对焦、3D 照片——它们其实都在解决同一个图形学、光学、AI 领域的难题：

「新视角合成」(Novel View Synthesis)。

从 21 世纪 10 年代开始，人类所掌握的技术就已足以「凭空」合成出并不存在的相机视角。先辈们的解题思路，是直接堆砌镜头。而这一思路的集大成者。可能就是「光场相机」。

卢国华，摄于 2013 年

光场相机的故事

公允来讲，Lytro 并没有受到 Nimslo 的影响。但你会发现这两者在很多角度上都极为相似。

尽管两者分处模拟 (analog) 时代的末尾和数字 (digital) 时代的全盛，在相隔半个世纪的时间里走着不同的路，Lytro 多镜头阵列的思路事实上与 Nimslo 试图解决的，是同一个难题。

在 Lytro 的所有公开资料中，没有任何将其与 Nimslo 建立关联的提及。但将两家公司的专利、所做的事情放在一起，会发现它们用不同的语言描述同一个欲望。这不算是抄袭，更像是在各自时代独立攻克同一个问题——颇似牛顿和莱布尼茨各自发现微积分——当然，Nimslo 的工作要「粗浅」的多。

这个定论或许夸张，但如果我们回溯 Lytro 的学术传承，就会发现两者相似的端倪。

时间回到 20 世纪初，法国物理学家加布里埃尔·李普曼 (Gabriel Lippmann) 发明了基于光的干涉现象进行彩色摄影的方法，在 1908 年荣获诺贝尔物理学奖。

在另一项摄影试验当中，李普曼在感光乳剂前放置了一层紧密排列的小型球面透镜阵列，使得单张成像介质可以记录从多个略微不同位置拍摄的「场景图像」；观片时，观察者移动头部就能看到这些从不同角度记录的画面。李普曼将其命名为「积分摄影」(integral photography)。 

受制于材料技术，李普曼只能提出理论，无法提供实验结果。但这成为后世光场相机和「新视角合成」的重要理论基础。

整个 20 世纪，相关概念在零零落落的学术文献当中有所提及，实践层面则一直没有进展。直到 1996 年，斯坦福大学图形学教授马克·勒沃伊 (Marc Levoy) 和帕特·汉拉罕 (Pat Hanrahan) 在 SIGGRAPH 上发表了著名的「光场渲染」论文。他们不仅提出了光场数据的数学表示，还搭建了能够验证理论的物理装置：在一个房间里摆满相机，全部连接到和冰箱一样大的超级计算机上。

尽管算力需求恐怖，整套装备也太大，勒沃伊等人证明了一件事：只要捕捉了足够的光场数据，就可以在后期合成的虚拟空间中自由移动观察点，生成从未被真实拍摄过的视角。「新视角合成」时隔一个世纪，终于迎来曙光。

2002 年，马来西亚人吴义仁本科毕业后加入了勒沃伊领导的斯坦福图形实验室 (Stanford Graphics Lab)，延续光场理论的实践研究。

有一次给朋友的女儿拍照，小女孩太活泼，每次按下快门都拍糊了。「有没有办法，能够先拍照，后对焦？」

这个想法在吴义仁的脑海中挥之不去，他花了大半年的时间里在实验室和自己的家中，组装出了世界上第一台能真正工作的手持光场相机原型：一台康泰时 645 中画幅单反相机，挂载了一个在当时极为奢侈的飞思 H20 中画幅 1600 万像素数码后背。

但真正的魔法在于吴义仁自行改装的微透镜阵列：在主镜头与 CCD 的光路之间，插入一块定制的塑料微透镜阵列薄片，由大约 292 x 400 个微小透镜组成。

吴义仁手持他制作的原型光场相机

每个微透镜都会在传感器上投影出微小的光圈像，使得传感器不仅记录了光线的平面位置，还可以后期用算法来还原光线入射的角度。

2006 年，吴义仁的博士论文「数字光场摄影」(Digital Light Field Photography) 斩获 ACM（计算机学会）最佳博士论文奖。

毕业后，吴义仁暂别学术界，创立了光场摄影技术公司 Lytro。2011 年，第一代 Lytro 相机上市，它将吴义仁在斯坦福期间改装原型机的光路机构原版复刻，但实现了小型化，装进了一个看起来像是万花筒的设备里，当时售价 399 美元。

这款产品在当时引发震动，传闻史蒂夫·乔布斯专门找到吴义仁了解关于光场摄影的更多细节，研究该技术是否有利于改进 iPhone。

正如前面提到，Lytro 从未在公开和已知的私下场合提及 Nimslo/Nishika，但两家公司的定位确惊人般相似：他们都曾宣称自己是「继柯达和宝丽来之后摄影的第三次革命。」

冥冥之间，Lytro 也复制了 Nimslo 的命运：第一代产品的分辨率对于 2011 年水平来说实在太低，第二代 Illum 的定价高达 1599 美元，尽管极具前沿属性，仍然无法得到市场的认可。

反倒是 2014 年的 HTC One M8，只用双摄像头和简单的后期算法就做出了重对焦功能，摸到了 Lytro 的七成功力——实际这就足够了，毕竟 One M8 除了准光场摄影能力之外，还是一台无锁价格 $649 的智能手机。

2016 年，Lytro 的商业实践基本宣告终结，其消费业务的相关资产、专利以及绝大部分员工被 Google 收入囊中。（巧的是，次年 Google 也以类似的方式包揽了 HTC 的消费业务与专利）。

Lytro 的遗产像种子被风吹散，在别处生根发芽：在 Google，Lytro 的部分前员工和资产专利构成了 VR/AR 以及 Pixel 部门的技术储备；还有一部分前员工去了比 Lytro 晚几年成立的硅谷相机公司 Light，延续光场摄影的理想。

下图中就是 Light 开发的光场相机 L16。同样令人唏嘘的是，Light 的结局并没有逃离前辈 Lytro 的剧本，当时大部分手机厂商已能将三、四颗摄像头塞进手机，该公司后来也退出了消费级市场。

开枝散叶

Lytro 创始人吴义仁离开公司后重返学术界，前往 UC 伯克利任教。

他有两个博士生：本·米尔登霍 (Ben Mildenhall) 和普拉图尔·斯里尼瓦桑 (Pratul Srinivasan)。他们后来在 2020 年提出了神经辐射场 (Neural Radiance Fields, NeRF) 的全新概念。

NeRF 不仅承袭了吴义仁的光场摄影技术研究，更颠覆了计算机对 3D 场景的表达方式：

在此之前，主流方法是「显式表达」——点阵云、体素、3D mesh。这种方式在解决透明材质、毛发、雾气、反射等场景时效率不高，工作流也比较反人类；NeRF 用「隐式表达」取而代之，不再需要定义具体的表面，而是利用神经网络将整个空间渲染成连续、带有颜色和透明度的「非均匀迷雾」。

不夸张地说，NeRF 是近年来计算机视觉和图形学领域的最关键突破之一，可以被理解为 3D 领域的 Transformer。

下图就是单张照片使用 NeRF 渲染效果，是不是已经很像光场摄影以及苹果的「空间重构」了？

它证明了神经网络本身可以作为全息的 3D 存储介质：一个小小的模型权重文件就足以压缩一个理论上分辨率无限、光影变化无限的世界。

NeRF 还直接促进了「神经渲染」这一全新学科的繁荣。随着 Stable Diffusion、Midjourney 等生成式 AI 技术爆发后，人们很快意识到可以利用 NeRF 将 2D 扩散模型的先验知识应用到 3D 领域。

今天所谓的「世界模型」，比如文生 3D、图像生成 3D，以及影视和游戏工业中的 AI 生成资产——底层很多都是从 NeRF 衍生而来。不仅如此，NeRF 还终结了早期视频生成模型（如 Sora 1 等）的空间一致性幻觉。

2023 年，3D 高斯泼溅 (3DGS) 的问世，又解决了 NeRF 训练慢、渲染慢（无法做到实时 60fps 渲染）的问题，可以说在一定程度上「杀死」了 NeRF。但 3DGS 也继承了 NeRF 最核心的思想：可微体渲染以及基于图像的逆向协同优化。

在世界模型如火如荼的语境下，NeRF 启蒙了世界模型对于 3D 几何和光影一致性的认知，3DGS 则成为其落地的工业基石。

如今，NeRF 作者之一米尔登霍（下图左）也是世界模型公司 Wolrd Labs 的联合创始人。

在学生忙着把博士论文变成产品的同时，马克·勒沃伊于 2014 年从斯坦福大学荣休，全职加入 Google，进行计算摄影方面的研究。

在勒沃伊的带领下，Google 的计算摄影团队走了一条不同的路：不在硬件上做功课，而是用算法与光影「玩游戏」，推出了备受用户喜爱的 Google Camera，以及后来的 Pixel 手机计算摄影技术。

在 Nexus 6 手机上首次推出的 HDR+，会在按下快门时在缓存区里实时保存多张曝光数值各异的照片，然后合成出一张动态范围远超手机传感器极限的照片。

HDR+ 的底层原理类似于曝光包围，但算法的参与深度远超于此。它能够分析所有图像找到最清晰的一张进行选择性对齐，使用语义分割技术人脸并提亮，同时避免高光过曝和运动模糊。

为了突破成像的物理极限，你可以靠堆硬件来投机 (Lytro)，也可以用算法来取巧 (HDR+)。而 Levoy 的团队很快证明了，算法不仅能够突破极限，甚至可以无中生有。

2018 年，Pixel 手机推出 Night Sight 夜景模式，让用户即便在几乎无光的环境下拍出干净、细节充分、白平衡准确的照片。效果过于震撼，被媒体形容为「魔法」。

Night Sight 会自动连续捕捉多帧长曝光照片，用于算法融合。考虑到极暗环境下传统测光会失效，白平衡容易被灯光带偏，Google 的魔法是引入了一个专门的、学习了日光下正确色彩的神经网络，在 Night Sight 中负责「脑补」，修正色彩。

勒沃伊的团队对于 Pixel 人像模式同样贡献巨大：仅依靠单镜头配合神经网络，即可从平面照片中「猜」出深度。在边缘、毛发等难题上，仅靠单摄就能工作的 Pixel 一度胜过早期依赖双目视觉的 iPhone。

在 2018 年用一颗 1200 万像素的落后摄像头，却掀翻了所有对手堆满硬件的桌子。勒沃伊在 Google 计算摄影方面的工作，给整个行业以及市场带来了巨大的震撼。

行业终于明白了一个道理：手机相机的上限，其实不在硬件，而在算法。次年苹果的夜间模式、三星的超视觉夜拍纷纷跟进，整个手机行业自那以后也全面步入拍照靠「算」的计算摄影时代。

马克·勒沃伊

2020 年，勒沃伊离开 Google 假如 Adobe，担任副总裁兼研究员。2025 年，他辅导的团队推出了一个再次震撼手机摄影圈的项目。

它就是 Project Indigo，重新定义了手机图像处理管线，通过多帧合成、RAW 域降噪、色彩重建等技术，让 iPhone 照片看起来像是用光学素质远高于 iPhone 的专业相机所拍，进一步突破硬件的极限。

Project Indigo 收获了几乎一边倒的好评。他实现甚至超越了「像单反」这个陈旧的目标，让人们意识到，当算法足够强大，传感器尺寸、镜头光学早已不再是手机摄影的瓶颈。

用有限的信息，创造无限视角

最后回到苹果的「空间重构」。

2022 年，苹果在 ECCV 上发表 NeuMan 论文，阐释了用 NeRF 技术进行人体模型和场景重建；去年，苹果接连在 ICLR、CVPR 上接连发布 Depth Pro、Matrix 3D、SHARP 三篇论文，为「空间重构」打好了研究基础。

简单来说，空间重构的研究分为两个阶段：一阶段是单镜头估算深度，从照片中构建深度图；二阶段是单镜头合成 3D 高斯泼溅数据，让平面照片也能改变视角。

SHARP 是一套前馈式神经网络。对比来看，NeRF 需要为每个场景训练数十分钟到数小时，而 SHARP 只需要训练一次模型，完成后即可在任何照片上直接推理，1 秒输出上百万级的 3D 高斯点。

Depth Pro 则解决了单镜头从平面照片中推断深度这一更基础的问题，最快 0.3 秒就可输出高质量深度图。

Depth Pro 和 SHARP 合在一起，思路逐渐明朗：苹果可以不再依赖多摄像头实现相关功能，底线是一颗摄像头就足以榨出所需的全部信息。

WWDC 同期苹果宣布，Vision Pro 全景转换、地图鸟瞰体验等全面转向 3D 高斯溅射。从 OS 27 这代开始，戴上 Vision Pro 看一张全景照片，或打开苹果地图飞越城市时，看到的不再是传统 3D 模型，而是数百万高斯点云实时渲染。

但是在前述的论文中，苹果还是明确致敬了 NeRF，称其为「彻底改变了隐式 3D 场景表达与新视角合成的开创性工作」。

一切始于 19 世纪摄影技术萌芽同期，人们对于「裸眼 3D」的向往，现如今通过软硬结合、AI 算法等多种不同思路，我们已经实现了对于光场的捕捉，甚至仅需单目视觉即可合成出极为精确的空间信息。

这是一部围绕新视角合成这一经典难题，横跨 200 年的技术发展史。

从 iPhone 的摄像头，到 Lytro 的光场照片，再到 Nimslo 的 3D 光栅成像，以及围绕「计算摄影」这件事的无数伟大的发明和美好的体验，它们指向一个相同的，古老的愿望：

用有限的信息，创造无限的视角。