苹果Vision Pro超酷特性:为你打造极致逼真虚拟化身
3 天前 / 阅读约11分钟
来源:CNET
苹果Vision Pro的Personas功能通过3D扫描创建虚拟替身,实现实时虚拟聊天。该功能采用高斯溅射技术和机器学习,未来或扩展至其他设备,变革虚拟身份与协作方式。

这张照片拍摄于一次会议之后,画面中头戴设备的我站在苹果公司的杰夫·诺里斯(Jeff Norris)和史蒂夫·辛克莱尔(Steve Sinclair)中间,我以Personas虚拟化身的形式与他们探讨Personas功能。苹果

苹果售价高达3499美元的Vision Pro虚拟现实头显,藏着一个鲜为人知却让我惊叹不已的功能。这个名为Personas的功能,能让两个或多个用户都戴上Vision Pro头显,以虚拟替身的模样进行实时聊天。

如今,Personas已结束测试阶段,正式成为苹果Vision Pro虚拟化身系统的一部分,它通过3D照片扫描来创建你的虚拟替身。

给自己进行扫描并非什么新鲜事儿。大约五年前,我就借助Nreal增强现实眼镜,与一家名为Spatial的公司合作,尝试过运用3D扫描虚拟化身来实现远程呈现。我还见识过Meta的真实编解码器虚拟化身,在微软的HoloLens上探索过卡通虚拟化身远程呈现,甚至使用OpenAI的Sora手机应用,将自己扫描成各种稀奇古怪的AI深度伪造形象。

然而,在虚拟现实或增强现实头显及眼镜领域,还没有人能做出像苹果Vision Personas这般先进的功能,而且我们尚不清楚它最终能达到何种高度。

为了获取更多信息,我戴上M5 Vision Pro头显,通过FaceTime与苹果Vision产品集团高级总监杰夫·诺里斯(Jeff Norris)和产品营销高级总监史蒂夫·辛克莱尔(Steve Sinclair)进行了独家交流。两人以Personas虚拟化身的形式出现在我的家庭办公室里。会议伊始,我们如同幽灵般飘入,展开面对面交谈。几分钟后,那种感觉就仿佛我们真的共处一室。

苹果向来不会对未来计划进行讨论。但诺里斯和辛克莱尔解释了一些让Personas看起来如此逼真的酷炫3D技术。交谈过程中,我突发奇想,或许可以在Vision Pro以外的设备上进行类似扫描,比如你的iPhone,这样就能让更多人体验到这一功能。

苹果的Personas在头显外看起来有些怪异,但在头显内却十分自然。苹果

真正的远程呈现:昂贵却神奇的体验

找到另一个拥有Vision Pro的人并非易事,但当我找到时,那种有人如幽灵般走进我家的奇妙感觉,简直就像魔法一样。苹果的VisionOS操作系统已发展到允许Personas之间展开协作,虚拟空间能够扩展至五个人一同查看和共享虚拟对象及应用。在同一房间内有多人佩戴Vision头显时,也可与远程传入的Personas进行协作。

多年来,我一直梦想着能像托尼·斯塔克(《钢铁侠》主角)那样,拥有如《星球大战》全息图般的远程呈现。如今,这一梦想基本已成现实,只是它被限定在了价格高昂的硬件之中。

智能眼镜目前还无法承载这样的虚拟化身负载,不过Snap等公司的增强现实眼镜或许很快就会尝试。我想问苹果的是:是什么技术让Personas成为可能,它是否会应用到其他地方?

溅射扫描技术:机器学习的神奇运用

在我们的会议中,诺里斯解释道,Persona技术采用高斯溅射来创建那些令人惊叹的逼真3D面部扫描。高斯溅射是目前许多3D应用的关键技术,常用于扫描对象或大型环境。例如,Meta的Quest平台上的Hyperscape Capture应用就能将整个房间扫描成虚拟现实中可步行的3D空间,它借助人工智能从一系列2D图像中拼接出3D图像或景观。

Personas的独特之处在于,它专注于扫描你自己,而非你的环境。使用VisionOS 26时,诺里斯向我展示了与早期Persona版本相比的关键变化。如今,渲染效果能够在多个角度展现更多细节,还能捕捉到珠宝和睫毛等细微之处。身体和面部是一同扫描的,这使得渲染效果更加无缝衔接。

“这涉及到了机器学习,但很多人没有真正意识到,这是多个网络协同运作的结果,”诺里斯说,“我们统计了一下,有十多个,但在我们转向这个新版本的Personas时,实际上减少了数量。”

我提到了未来将房间扫描进Vision Pro的可能性(Scaniverse和Polycam等应用已经在头显中展示了3D扫描功能)。诺里斯表示,苹果已经将高斯溅射应用于照片的空间3D转换,这在头显中能带来非常身临其境的体验。那么,接下来会有什么呢?

Vision Pro头显用户可在同一空间中协作,同时引入其他地方的Personas。你只需拥有一台这样的头显,就能参与空间体验。苹果/乔·马尔多纳多(Joe Maldonado)/CNET截图

捕捉所需照片并不难,能否在iPhone上完成?

尽管Persona扫描是通过Vision Pro头显完成的,需要我举起头显转头进行扫描,但这个过程并不需要我广泛运用Vision Pro的传感器。

“在注册你的Persona时,我们只需要几张图像,”诺里斯告诉我,“这包括几种面部表情,以帮助我们的网络了解你说话和微笑时面部是如何运动的,仅此而已。”

我好奇iPhone最终是否也能扫描Persona,毕竟我觉得这比使用Vision Pro方便多了。诺里斯没有直接给出答案。

“想象不同的实现方式很有趣,”他回应道,“但现在,我们希望它独立于设备,所有处理都在设备内部完成。为了实现这一点,这些图像无需传输到任何地方。”

今年早些时候,我在全球开发者大会上首次体验新版本时,以VisionOS Persona虚拟化身的形象亮相。苹果

这对我们未来的虚拟身份意味着什么?

我在Vision Pro上扫描并绑定到Apple ID的单个Persona,感觉就像是为我的虚拟自我量身打造的一对一映射。这是苹果最接近用摄像头广播我真实面孔的替代方案,因为戴着头显时无法做到这一点。

人工智能公司已经在扫描并生成越来越多人的虚拟版本,其中既有故意的深度伪造,也有无意的深度伪造。OpenAI的Sora应用就是当下最突出的例子,它使用iPhone上类似的面部扫描技术生成一个“精选片段”虚拟化身,我可以将其借给他人使用。

我问诺里斯未来可以划定怎样的界限。他明确表示,苹果希望清晰且安全地实时代表一个人,而非作为一种复制手段。

“我们专注于Personas的真实代表目标,”他说,“我们试图实现我认为是人类的一个基本愿望,那就是:‘我希望你在这里。’这始于试图忠实于我们的外貌、动作以及说话时的情感表达。”

我能拥有多个Personas,或者更多定制选项吗?

目前,苹果限制你一次只能使用一个Persona扫描,这让我颇感意外。我希望有各种不同情绪或只是穿着不同衣服的斯科特·斯坦(Scott Stein)虚拟化身。虽然苹果没有通过扫描探索身份转换,但我确实希望能有更多配饰选择,比如可以选择逼真的眼镜。

“人们可以重新注册,或者只是换一件衬衫再次注册,”诺里斯说,“我完全理解为什么大家会有这样的需求。但我们现在只专注于一次一个。”

2020年,我尝试过使用Spatial的应用,通过Nreal增强现实眼镜运用扫描的虚拟化身,该应用可同时使用手机和头显。苹果也会这样做吗?Spatial

Personas会扩展到Vision Pro以外吗?

我已经开始思考为Personas提供更多选项,不仅适用于苹果价格高昂的头显,也适用于iPhone和其他设备。

如果它们能成为我们FaceTime通话中的个人替身会怎样?我已经可以从Vision Pro上给我的妻子打FaceTime电话,她能看到我的2D Persona在那里。她觉得这有点超自然。如果苹果已经在FaceTime上通过Animoji打开了这扇门,为什么不能也打开Personas的大门呢?

诺里斯坚持认为,Personas在Vision头显上的效果更佳,我认同这一点。渲染效果更加令人信服。当我们置身于一个已经由一半虚拟事物构成的环境中时,这些3D扫描的身份看起来更加自然。但物理距离和身体表达也可以在空间中得以实现。Personas可以离开它们的方框,以躯干、手和面的形式四处飘动。

“我可以讲个笑话,你会明白的,因为你会看到我的肢体语言,看到我在二维屏幕上看不到的面部表情,”辛克莱尔说,“在这里,我们同处一室,感觉就像我们真的在这里。”

当他的Persona以虚拟形式站在我杂乱的办公桌旁时,我意识到他说得没错。

苹果已经收到了关于此功能在商业应用上的反馈。“我们在医疗保健领域也听到了类似的声音,”诺里斯说,“医生制定手术方案并希望培训其他人。他们不必在全国各地奔波,只需通过FaceTime通话,使用他们的Personas即可。”

我依然预见,未来的iPhone、iPad、笔记本电脑以及头显设备将能够实现无缝协作。微软与高通等公司已明确指出,这将是头显与平板设备之间的重要连接桥梁。同时,三星与谷歌也正就Android XR的这些关键连接点进行深入探讨。苹果在iPhone和iPad上已部署了ARKit,因此,实现这一愿景的可能性已然存在。

诺里斯指出,目前头显之外的Personas体验尚存不足。“要真正领略这种体验的魅力,你确实需要同时具备出色的感知能力和卓越的显示能力。这两者必须紧密结合,才能共同创造出那些令人惊叹的瞬间。”

随着苹果未来推出备受期待的智能眼镜,以及不断升级、更为先进的iPhone和iPad,这一理念有望得到进一步发展。Personas标志着我们处理协作与连接的方式正经历着根本性的变革。

然而,就目前情况而言,除非你戴上Vision Pro头显,否则将无法亲身感受这一变革。我期待着有一天,进入这个神奇远程呈现世界的门槛能够降低,变得更加普及,从而让更多人能够参与其中。

目前,我的Persona体验主要是独自进行的。如果我能更频繁地找到一些陪伴,那将再好不过了。


请勿错过我们任何一篇客观公正的科技资讯与基于实验室数据的评测报告。将CNET设为你的谷歌新闻首选来源吧!