category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
visionOS 2 中新增的相册 AI 功能可以将以往手机拍摄的所有照片一键转为「空间照片」格式(具体请参考上一篇《visionOS 2 中文版与全新升级功能》),在此之前要拍摄空间照片,用户至少需要一台 iPhone 15 Pro 手机,或专门买一台双目摄像头的拍摄设备,然后还需要通过一些专门的软件才能转换成可以被 Vision Pro 识别为空间照片的格式。而现在不仅是用户相册里已有的手机拍摄的 2D 照片,就连网上任意下载的图片,也可以一键轻松转换成空间照片格式。
很多人在体验了 AI 转换的空间照片效果之后,甚至会觉得比手机或其它设备拍摄的立体感、临场感更强!结合 《WWDC24-10166 打造引人入胜的空间照片和视频使用体验》主题,本文尝试解密 visionOS 2 相册 AI 转空间照片功能,主要包括以下两点:
- 如何将一张 2D 图像转换成 Vision Pro 的空间照片格式
- 如何让一张空间照片更具有立体感、临场感
2D 生成 3D
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F55e6ef19-0fc5-4eb3-9dad-c35a1e44c386%2FUntitled.png?table=block&id=ca252378-e228-4569-a62b-02f6c40f900e)
由 2D 图像生成立体图像的方法有很多,历史也很久远,如果要总结一下,基本上就是从 RGB 图像中通过计算机视觉或深度学习算法获得图像的深度信息,有了深度信息才能将图像中的前景(近)与背景(远)信息区分开,从而生成左右视差内容,分别投射给双眼,以形成立体视觉:
![Source: Depthify.ai](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F4670b438-7fe8-49d6-a0ea-683c83060f7b%2FUntitled.png?table=block&id=111b09d6-7cd7-4af5-99ea-caf9ffdfbd45)
更符合人类视觉的空间(立体)照片
获得双目视差图像的方法有很多,只有更加符合人类视觉特征才能够获得更好的立体感和沉浸感。WWDC24-10166 总结了影响空间照片效果的关键参数,包括:
- 左右相机(成像)水平 FOV
- 相机间距(基线,baseline)
- 视差调节 —— 左右图像的重叠或分离程度
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fb98f118a-5fd2-44c6-9edc-282aecf34d84%2FUntitled.png?table=block&id=060f98e6-7599-4b14-8bc9-48788110a3ca)
为了对比不同照片的立体效果,我们通过以下四种方式获取了空间照片:
1)iPhone 15 Pro 后置双摄像头直接拍摄空间照片(使用 App:Spatialify)
2)iPhone 15 Pro 后置主摄直拍,通过 Vision Pro 相册 AI 转为空间照片
3)直接使用 Vision Pro 相机拍摄空间照片
4)网络下载 2D 图片通过 Vision Pro 相册 AI 转为空间照片
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F02392beb-2b0d-4752-b7e0-50def084a9a1%2FUntitled.png?table=block&id=5d4c01c6-a309-4dea-8150-c3a5d9328c0c)
通过读取 HEIC 文件元数据,我们可以发现相册 AI 生成的空间照片共有 3 个“图层”,分别是原始图像、左视图、右视图,左右相机的 baseline 设置分别为
±32.5mm
,之所以设为这一数值,是因为人眼平均间距大约在 64mm
,也正是因为这一原因,Vision Pro 自带相机的排布间距为 63.7mm
。iPhone 15 Pro 两个后置摄像头的间距只有
19.2mm
,因此对于稍远距离的场景,使用 iPhone 就很难获得足够的立体感。![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F96ac76fb-e2ea-4f12-9125-0c9298e8f765%2FUntitled.png?table=block&id=9a77589e-fe76-4e72-b3cd-12f8ae4cf7c6)
AI 转化的空间照片会保留 3 个图层,让用户可以回退到 2D 图像:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fe44871d2-e346-4132-9c4c-764f11d535a4%2FUntitled.png?table=block&id=c75a2ebd-4974-496f-b9eb-e2350445d040)
小结
通过将 2D 转换为空间照片固然方便,同时也尽可能兼顾人眼立体感效果,当然不可能替代真实双目相机的画质效果,这也是 Keynote 中推出佳能双 Lens 相机的原因。不过即便是相机拍摄的双目视差图片,要转换为空间照片格式,仍然需要设置合适的参数才能达到兼顾画质和立体感的效果!
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fe633a831-eaad-443f-91ca-db32ce1ead28%2FSCR-20240611-mfxn.png?table=block&id=64b9bfaa-bfc1-4295-978f-de1d809cae0f)
下期预告:
《WWDC24-10065 针对空间网页进行优化》主题中,介绍了如何在网页中呈现空间照片,让更多用户可以通过 Safari 进行分享与互动,欢迎关注 V2XR 期待下次更新!
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F958549ec-6a2e-4943-858a-e7afa168806a%2FUntitled.png?table=block&id=ea1da5b3-41dc-48d8-9c5d-2d7521381e7d)