「破解」visionOS Beta 1.4 中的彩蛋
00 分钟
2023-10-11
2024-2-10
category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
notion image
10 月 3 号 visionOS 模拟器运行时更新到了 Beta 1.4 版本, 拆开 xrOS 1.0.simruntime 我们可以从中挖掘出一些关于 visionOS 系统的「彩蛋」。(不过要说明的是这里的 Runtime 仍然只是模拟器版本,因此很多硬件相关的部分是缺失的,例如 Camera 拍摄、 Optic ID 等相关的部分)
notion image

系统应用

Applications 目录下面可以看到所有目前展示出来的系统应用及服务,包括:
  • Mobile 开头的,兼容 iOS/iPadOS 版本的应用,如日历、笔记、 Safari 等;
  • Reality 开头的,visionOS 特有应用/服务,如 RealityLauncher 、 RealityHUD 等;
notion image
Reality Launcher 应用中,我们可以看到默认的收藏应用列表:
notion image

相册中的空间照片&全景照片

在 visionOS 初次打开相册应用(Photos)时,会演示空间照片和全景照片的效果,但并不会把照片保留在相册中。我们打开 Photos 应用目录,可以在里面找到两张照片的原图(HEIC 格式):
  • 全景照片,是一张由 Apple iPhone X 在 2018 年 8 月 8 日拍摄于巴黎的照片
notion image
  • 空间照片,没有拍摄设备信息,但是我们可以看到它是由两张左右视差照片组成的:
notion image
如果把这张照片放到手机相册中(iOS 17),已经可以看到左上角有空间图标标识,这就是我们期待的 iPhone 15 Pro 系列未来能够拍摄的空间视频、照片:
notion image
把这两张照片重新拖入 visionOS 模拟器中,我们就可以随意观看空间照片和全景照片的效果:

从 Optic ID 到 EyeSight 到数字人

EyeSight
EyeSight
从下面这段关于 EyeSight 的说明中可以看出 visionOS 对于用户身份信息注册的流程:
  • 首先,在设置手、眼追踪的过程中,Vision Pro 会捕捉并测量用户面部信息;
  • 这些信息会注册成为用户独有的用户画像(Persona);
  • 基于这些信息(包括 eye shape 、 skin tone 等)重构的人脸模型将呈现在外部显示屏中。
notion image
除了对外展示的 EyeSight,Optic ID 绑定的用户画像还用于在远程会议(FaceTime)中呈现用户的虚拟数字形象:
Avatar
Avatar
这一虚拟形象的功能在 visionOS 中由 Presence (在场)服务框架提供,展示名为 Persona Virtual Camera
notion image
在 WWDC23 演示中,虚拟数字人形象只会呈现上半身和手,在 Presence 目录中,我们也可以看到对应的 3D 模型文件:
上身和手的数字形象
上身和手的数字形象
最近 visionOS 的更新中,还为数字人提供了 25 副眼镜配饰,用户可以为自己的虚拟形象佩戴与自己日常风格相同的眼镜,以保持数字人和真实情况的一致(当然也可以只是为了美观):
多种可选的眼镜装饰(eyewear)
多种可选的眼镜装饰(eyewear)

佩戴提示(RealityCoverSheet)

通过眼动追踪功能,Apple Vision Pro 可以测量用户双眼瞳距进行自动适配,通过佩戴提示服务(RealityCoverSheet)中包含的 UI 素材,可以看到这一过程的引导动画以及 Apple Vision Pro 显示镜片的真实形状:
引导佩戴提示的 UI 展示了镜片的形状
引导佩戴提示的 UI 展示了镜片的形状
在佩戴提示的说明中,透露了如何使用 Top Button Digital Crown 两个按键组合进行 IPD 调整、佩戴调整,以及 Apple Vision Pro 包装附带的 N+ / W+ 两个尺寸的遮光面罩(Light Seal Cushion):
notion image
替换不同尺寸遮光面罩的引导动画也出自这里:

配镜处方(CorePrescription)

近视用户如果要使用 Apple Vision Pro 需要根据自己的近视处方选择对应度数的镜片进行注册,由 CorePrescription 服务框架提供,在初次佩戴 Apple Vision Pro 的时候, 需要扫描二维码对处方镜片进行注册(enrollment),CoreMuseBuddy 框架提供了处方镜片注册的示例二维码(新设备首次注册流程由 CoreMuseBuddy 服务提供,这一服务包括了所有开机注册的流程,至于为什么是这个名字,可以参考文章最后的参考链接):
 处方镜片注册:Prescription Enrollment
处方镜片注册:Prescription Enrollment
注册处方镜片的目的是为了保障眼动追踪、手势输入的精度,同时你也可以将设备与他人共享,visionOS 可以保存多个用户的近视处方数据(由 RealityGuestSetup 提供):
notion image
为了覆盖所有近视度数,CorePrescription 维护了一个本地 SQLite 数据库,其中保存了 975 条镜片度数相关数据,这些数据可能与不同镜片屈光水平导致的眼动数据偏移有关,通过注册镜片处方找到对应的参数实现对眼动追踪数据的校准:
CorePrescription/coreRXNominalGroup.sqlite
CorePrescription/coreRXNominalGroup.sqlite

总结

以上是关于 visionOS Beta 1.4 Simulator Runtime 中一些可解析信息的汇总,从中可以一窥 visionOS 的一些设计细节和进展。目前看来最值得期待的还是 iPhone 15 Pro 系列拍摄空间视频、照片的效果,希望在后续 iOS 17 更新中尽快上线!

参考

  1. Poking around the visionOS SDK | https://www.pierreblazquez.com/2023/06/23/poking-around-the-visionos-sdk