category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
最近国外某团队发布了一条 AR 建模应用视频，演示了使用 iPhone 手机对广场上的雕塑进行快速扫描、建模，并重新使用手机 AR 投射到广场上：
Video Here
这当然不是什么新鲜的技术，他们只是把苹果 WWDC2023 上发布的
ObjectCapture 样例项目下载了下来，从视频上显示的 UI 界面来看，可能一行代码都没改过（我在视频评论中询问了作者，结果很快评论被删除了🤷♂️）。其实早在 WWDC21 的时候苹果已经发布了
Photogrammetry （摄影测量法）接口，只不过受限于移动设备芯片算力，只能通过 iPhone 或 iPad 连续拍摄物体多角度图像，然后在 macOS 中执行建模的步骤：
在 WWDC23-Meet Object Capture for iOS 视频中， 展示了通过
ObjectCapture 和 PhotogrammetrySession 直接在 iPhone/iPad 上进行 3D 扫描建模的方法：
最近官方文档上更新了示例代码，下载后可以通过 Xcode（15.0+）编译到你的设备上，当然这对设备参数有一定的要求，至少需要 A14 仿生芯片+LiDAR，并更新至 iOS/iPadOS 17 ：
实际运行后建模效果如下：
目前移动设备上近支持最低面数和尺寸规格的建模，如需要更细致的模型仍需要在 macOS 上执行：
通过移动设备即可让用户完成对现实世界中的物体快速扫描、建模，是苹果为空间计算的内容生态提前做好的技术布局。
除了 3D 模型之外，Vision Pro 还提供了更加令人身临其境的 3D 影像功能：
和 3D 模型相比，它更像是我们熟悉的 3D 电影，只不过是以照片或短片的形式出现。出于 Apple Vision Pro 严格的用户隐私考虑，以及它目前并不适合戴到室外场景的设计，iPhone 自然而然将成为最适合进行 3D 影像创作的工具（甚至有谣言称 iPhone 15 将会有一款 Ultra 机型可以为Apple Vision Pro 拍摄 3D 影像，但是国内媒体信源引用著名的 MacRumors 网站，而 MacRumors 引用的是 Weibo user 😀）。
当然苹果已经提前准备好了跨设备内容共享技术，包括：Continuity Camera、 Handoff 、 AirDrop 等。
值得说明的是，虽然 iPhone 几乎必将成为 3D 影像和 3D 建模的创作工具，但两者还是有些区别。 3D 影像利用的是人眼的双目立体视觉，简单理解为对（水平方向上）双眼所看内容差异的还原，例如下图 3D 电影拍摄时所用的双目相机（Apple Vision Pro 也是同样的原理）：
而 3D 建模则是利用激光雷达（LiDAR）实现对纵向深度信息的还原，两者之间虽然通过不同的方式实现对空间信息的还原，但无论是在最终应用场景还是对信息采集设备的要求上都有所不同，因此并不能简单的将 ObjectCapture 看作是 Apple Vision Pro 所需要的 3D 视频技术。