category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
最近国外某团队发布了一条 AR 建模应用视频,演示了使用 iPhone 手机对广场上的雕塑进行快速扫描、建模,并重新使用手机 AR 投射到广场上:
Video Here
这当然不是什么新鲜的技术,他们只是把苹果 WWDC2023 上发布的
ObjectCapture
样例项目下载了下来,从视频上显示的 UI 界面来看,可能一行代码都没改过(我在视频评论中询问了作者,结果很快评论被删除了🤷♂️)。其实早在 WWDC21 的时候苹果已经发布了
Photogrammetry
(摄影测量法)接口,只不过受限于移动设备芯片算力,只能通过 iPhone 或 iPad 连续拍摄物体多角度图像,然后在 macOS 中执行建模的步骤:![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fad04b13a-eddc-42ac-be6d-add2161e6992%2FUntitled.png?table=block&id=2323cc9d-d93c-455c-8145-d2bb52319cad)
![https://developer.apple.com/documentation/realitykit/creating_a_photogrammetry_command-line_app](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F9e29f820-f41a-4e77-9a33-a29871e2713a%2FUntitled.png?table=block&id=0c4922e7-26de-43aa-b12c-ea92f764fac7)
在 WWDC23-Meet Object Capture for iOS 视频中, 展示了通过
ObjectCapture
和 PhotogrammetrySession
直接在 iPhone/iPad 上进行 3D 扫描建模的方法:![WWDC23 10191](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F59e3be0d-2ea7-47dc-a758-2bce34eb979e%2FUntitled.png?table=block&id=16b5727f-2024-4843-806b-9c9dccaaf3d7)
最近官方文档上更新了示例代码,下载后可以通过 Xcode(15.0+)编译到你的设备上,当然这对设备参数有一定的要求,至少需要 A14 仿生芯片+LiDAR,并更新至 iOS/iPadOS 17 :
![https://developer.apple.com/documentation/realitykit/guided-capture-sample](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F6e675f9c-55d7-4a18-978c-b534ba95f207%2FUntitled.png?table=block&id=f637e560-5951-4aab-87d3-3f9a533bcd42)
实际运行后建模效果如下:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fcc6d7bc7-2101-4c40-9601-298ce335489d%2Foc.gif?table=block&id=f02b3c81-be7f-4570-b1e9-78581b12d081)
目前移动设备上近支持最低面数和尺寸规格的建模,如需要更细致的模型仍需要在 macOS 上执行:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F24c990c3-ef9b-49e7-b209-a1bdc48250ae%2FUntitled.png?table=block&id=775e1b1e-4bbf-4f66-97cd-66bf8ac5c026)
通过移动设备即可让用户完成对现实世界中的物体快速扫描、建模,是苹果为空间计算的内容生态提前做好的技术布局。
除了 3D 模型之外,Vision Pro 还提供了更加令人身临其境的 3D 影像功能:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fdfcd6cfd-bc1b-4cfe-890a-154085f8e8e9%2FUntitled.png?table=block&id=cb02fc8f-e5dd-4cf1-b2d2-6ca4766aa773)
和 3D 模型相比,它更像是我们熟悉的 3D 电影,只不过是以照片或短片的形式出现。出于 Apple Vision Pro 严格的用户隐私考虑,以及它目前并不适合戴到室外场景的设计,iPhone 自然而然将成为最适合进行 3D 影像创作的工具(甚至有谣言称 iPhone 15 将会有一款 Ultra 机型可以为Apple Vision Pro 拍摄 3D 影像,但是国内媒体信源引用著名的 MacRumors 网站,而 MacRumors 引用的是 Weibo user 😀)。
当然苹果已经提前准备好了跨设备内容共享技术,包括:Continuity Camera、 Handoff 、 AirDrop 等。
![Continuity Camera(不得不吐槽这个官方宣传图片,估计可以把乔布斯气活过来)](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F91303d8f-f001-4cb9-bd4c-203519af9c51%2FUntitled.png?table=block&id=b01fd710-6960-469c-aa32-d231a7781cd6)
值得说明的是,虽然 iPhone 几乎必将成为 3D 影像和 3D 建模的创作工具,但两者还是有些区别。 3D 影像利用的是人眼的双目立体视觉,简单理解为对(水平方向上)双眼所看内容差异的还原,例如下图 3D 电影拍摄时所用的双目相机(Apple Vision Pro 也是同样的原理):
![James Cameron 拍摄 Avatar 2 时所用的双目 3D 相机](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F613ecbc2-3a31-4faa-bb11-3cd92e6e3472%2FUntitled.png?table=block&id=dc1e19fe-13c7-4722-8333-be3b1b8c7583)
而 3D 建模则是利用激光雷达(LiDAR)实现对纵向深度信息的还原,两者之间虽然通过不同的方式实现对空间信息的还原,但无论是在最终应用场景还是对信息采集设备的要求上都有所不同,因此并不能简单的将 ObjectCapture 看作是 Apple Vision Pro 所需要的 3D 视频技术。