category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
iOS 17.2 Beta 版本的更新让我们能够通过手机（iPhone 15 Pro 系列）拍摄 Apple Vision Pro 空间视频，在 6 月份 WWDC 2023 开发者大会上， 同时公布了对空间视频格式的编解码SDK 支持。本文主要用官方 SDK（Video Toolbox） 对手机拍摄的空间视频进行编解码分析。
关于 MV-HEVC
Apple Vision Pro 的空间视频采用 MV-HEVC （即多视图-高效视频编码）标准进行编码，所谓的多视图是指在同一帧保存多个画面信息，例如空间视频的每一帧都保存左、右双眼的画面信息， 只是有别于当前以双目画面并排显示（Side by Side，SBS）的方式，MV-HEVC 通过主视图（Hero Eye）和辅助视图差别信息的方式存储，这样既可以更好地提升存储效率。
关于 MV-HEVC 标准的技术细节，可以参考腾讯云音视频对V265编码器的详细说明：
Video Toolbox 对 MV-HEVC 的支持
苹果官方的 Video Toolbox SDK 已经提供了对 MV-HEVC 编码的支持，可以通过以下方法检查当前平台是否支持空间视频编/解码功能：
解码（Decompression）
读取手机拍摄的空间视频后，可以先查看一下视频的格式描述（formatDescriptions），其中包括以下和空间视频及其拍摄设备相关的重要信息：
- 编码类型为
hvc1，是苹果采用的 HEVC/H.265 标准的编解码实现；
- 视频分辨率为：
1920 x 1080，是当前 iPhone 15 所能拍摄的 1080P 30FPS 分辨率；
HasLeftStereoEyeView和HasRightStereoEyeView标记了当前视频文件是否保存左右眼视图信息；
DisparityAdjustment：表示左右图像相对移动的值，该值是一个 32 位整数，测量范围为 -10000 到 10000，映射到 -1.0 到 1.0 的统一范围，它会改变零视差平面；
StereoCameraBaseline：代表摄影系统镜头中心间距的数值，单位为微米，iPhone 15 Pro 超广角（14mm）和主摄镜头（35mm）的中心间距约为 19mm，即下图中的 19240 微米。
通过 Video Toolbox 对 MV-HEVC 视频进行解码需要以下几个步骤：
- 创建
VTDecompressionSession：
- 设置解码器属性：
VTSessionSetProperty，这里需要设置kVTDecompressionPropertyKey_RequestedMVHEVCVideoLayerIDs来告诉解码器需要解码的视图图层：
- 设置多视图解码回调函数，该回调函数用于处理每一帧解码获得的图像信息，要注意的是目前这一函数仅支持 Objective-C 且强制限定 Swift 不可用：
- 在回调函数中处理每一帧的图像信息，如果解压缩成功，则 taggedBufferGroup 包含解压缩帧的多个图像；否则为 NULL：
- 调用 VTDecompressionSessionDecodeFrame 开始解压每一帧；
- 调用 VTDecompressionSessionInvalidate 销毁 DecompressionSession。
通过以上方法，我们就可以将 iPhone 或 Vision Pro 拍摄的空间视频进行解码，以获得完整的左、右视图信息，或者转换成传统的 SBS 格式。
编码（Compression）
Video Toolbox 进行 MV-HEVC 编码的流程与解码过程类似：
- 通过
VTCompressionSessionCreate函数创建 CompressionSession；
- 设置左右视图对应的图层 ID：
- 设置上文所展示的视频格式描述信息：
- 调用多视图帧编码方法
VTCompressionSessionEncodeMultiImageFrame：
- 在回调函数中处理编码完成得到的 sampleBuffer：
通过以上方法，我们可以将其他设备所拍摄的 SBS 立体视频文件编码为 Vision Pro 支持的 MV-HEVC 空间视频格式。
总结
本文主要总结记录了使用苹果官方 SDK （Video Toolbox）对 iPhone 和 Vision Pro 支持的空间视频格式进行编解码操作的方法。在这一标准和开发工具的支持下，打通了不同设备之间进行 3D 视频创作、分享的障碍，这将让 iPhone 成为目前市场份额最大、使用门槛最低的 3D 视频创作工具。
下面的视频展示了使用 iPhone 15 Pro 和 Quest 3 进行 3D 视频拍摄的效果对比，iPhone 拍摄的空间视频可以在 Quest 视频浏览器中查看，Quest 所拍摄的第一视角立体视频也将能够直接分享给未来的 Apple Vision Pro 用户！
参考
- 腾讯V265新增对MV-HEVC标准的编码支持 ｜ https://mp.weixin.qq.com/s/RZUNiQv76mfc4zYcwJnD1w
- Video Toolbox ｜ https://developer.apple.com/documentation/videotoolbox
- WWDC23 | Deliver video content for spatial experiences
- 作者:V2XR
- 链接:https://hackvision.pro/post/apple-vision-pro-spatial-video-mvhevc-decoded
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。