category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
visionOS 2 中新增的相册 AI 功能可以将以往手机拍摄的所有照片一键转为「空间照片」格式（具体请参考上一篇《visionOS 2 中文版与全新升级功能》），在此之前要拍摄空间照片，用户至少需要一台 iPhone 15 Pro 手机，或专门买一台双目摄像头的拍摄设备，然后还需要通过一些专门的软件才能转换成可以被 Vision Pro 识别为空间照片的格式。而现在不仅是用户相册里已有的手机拍摄的 2D 照片，就连网上任意下载的图片，也可以一键轻松转换成空间照片格式。
很多人在体验了 AI 转换的空间照片效果之后，甚至会觉得比手机或其它设备拍摄的立体感、临场感更强！结合 《WWDC24-10166 打造引人入胜的空间照片和视频使用体验》主题，本文尝试解密 visionOS 2 相册 AI 转空间照片功能，主要包括以下两点：
- 如何将一张 2D 图像转换成 Vision Pro 的空间照片格式
- 如何让一张空间照片更具有立体感、临场感
2D 生成 3D
由 2D 图像生成立体图像的方法有很多，历史也很久远，如果要总结一下，基本上就是从 RGB 图像中通过计算机视觉或深度学习算法获得图像的深度信息，有了深度信息才能将图像中的前景（近）与背景（远）信息区分开，从而生成左右视差内容，分别投射给双眼，以形成立体视觉：
更符合人类视觉的空间（立体）照片
获得双目视差图像的方法有很多，只有更加符合人类视觉特征才能够获得更好的立体感和沉浸感。WWDC24-10166 总结了影响空间照片效果的关键参数，包括：
- 左右相机（成像）水平 FOV
- 相机间距（基线，baseline）
- 视差调节 —— 左右图像的重叠或分离程度
为了对比不同照片的立体效果，我们通过以下四种方式获取了空间照片：
1）iPhone 15 Pro 后置双摄像头直接拍摄空间照片（使用 App：Spatialify）
2）iPhone 15 Pro 后置主摄直拍，通过 Vision Pro 相册 AI 转为空间照片
3）直接使用 Vision Pro 相机拍摄空间照片
4）网络下载 2D 图片通过 Vision Pro 相册 AI 转为空间照片
通过读取 HEIC 文件元数据，我们可以发现相册 AI 生成的空间照片共有 3 个“图层”，分别是原始图像、左视图、右视图，左右相机的 baseline 设置分别为
±32.5mm ，之所以设为这一数值，是因为人眼平均间距大约在 64mm ，也正是因为这一原因，Vision Pro 自带相机的排布间距为 63.7mm 。iPhone 15 Pro 两个后置摄像头的间距只有
19.2mm，因此对于稍远距离的场景，使用 iPhone 就很难获得足够的立体感。
AI 转化的空间照片会保留 3 个图层，让用户可以回退到 2D 图像：
小结
通过将 2D 转换为空间照片固然方便，同时也尽可能兼顾人眼立体感效果，当然不可能替代真实双目相机的画质效果，这也是 Keynote 中推出佳能双 Lens 相机的原因。不过即便是相机拍摄的双目视差图片，要转换为空间照片格式，仍然需要设置合适的参数才能达到兼顾画质和立体感的效果！
下期预告：
《WWDC24-10065 针对空间网页进行优化》主题中，介绍了如何在网页中呈现空间照片，让更多用户可以通过 Safari 进行分享与互动，欢迎关注 V2XR 期待下次更新！
