category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F955cfae1-7e33-4fa5-bf20-c0de29cd6a34%2FUntitled.png?table=block&id=a263cdb4-f1e9-4814-88ef-0a2fd3eb9fb2)
10 月 3 号 visionOS 模拟器运行时更新到了 Beta 1.4 版本, 拆开 xrOS 1.0.simruntime 我们可以从中挖掘出一些关于 visionOS 系统的「彩蛋」。(不过要说明的是这里的 Runtime 仍然只是模拟器版本,因此很多硬件相关的部分是缺失的,例如 Camera 拍摄、 Optic ID 等相关的部分)
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fc8374ae7-4992-4e6c-8f73-6bdfa1d2b233%2FUntitled.png?table=block&id=e20a7f45-71e8-4a30-a45e-9f673f23d87a)
系统应用
在
Applications
目录下面可以看到所有目前展示出来的系统应用及服务,包括:- Mobile 开头的,兼容 iOS/iPadOS 版本的应用,如日历、笔记、 Safari 等;
- Reality 开头的,visionOS 特有应用/服务,如 RealityLauncher 、 RealityHUD 等;
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fa13ac066-a97c-4037-959a-0fefdd0fd1c4%2FUntitled.png?table=block&id=b5d003c4-89a6-4a4e-b1e7-c1da33e8c5a0)
在 Reality Launcher 应用中,我们可以看到默认的收藏应用列表:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F357b255f-2b50-428d-9a8a-2cbd7b7b5f55%2FSCR-20231011-lezm.png?table=block&id=0b5c9038-81c7-49ad-89a3-664f6adcbd3c)
相册中的空间照片&全景照片
在 visionOS 初次打开相册应用(Photos)时,会演示空间照片和全景照片的效果,但并不会把照片保留在相册中。我们打开 Photos 应用目录,可以在里面找到两张照片的原图(HEIC 格式):
- 全景照片,是一张由 Apple iPhone X 在 2018 年 8 月 8 日拍摄于巴黎的照片
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fae74c963-1de5-4331-ac2f-01167536ff55%2FSCR-20231010-ulzu.png?table=block&id=7feb1383-d714-41be-a274-72a5d6f614c6)
- 空间照片,没有拍摄设备信息,但是我们可以看到它是由两张左右视差照片组成的:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F28088254-0792-42d1-af2e-325e40834e1f%2F2023-10-10_23.46.48.gif?table=block&id=e0a67a7e-aec7-44f8-afba-3b86e5f37705)
如果把这张照片放到手机相册中(iOS 17),已经可以看到左上角有空间图标标识,这就是我们期待的 iPhone 15 Pro 系列未来能够拍摄的空间视频、照片:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Ffe405e45-e517-4bb2-8a5e-81e92397c46f%2FIMG_0492.jpg?table=block&id=a118807f-ac52-4290-9358-a116f2a17160)
把这两张照片重新拖入 visionOS 模拟器中,我们就可以随意观看空间照片和全景照片的效果:
从 Optic ID 到 EyeSight 到数字人
![EyeSight](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F3fa9f602-ddc9-490e-aef0-36ec188c6e56%2FUntitled.png?table=block&id=fca791d1-736f-4d85-8f23-054761f507ea)
从下面这段关于 EyeSight 的说明中可以看出 visionOS 对于用户身份信息注册的流程:
- 首先,在设置手、眼追踪的过程中,Vision Pro 会捕捉并测量用户面部信息;
- 这些信息会注册成为用户独有的用户画像(Persona);
- 基于这些信息(包括 eye shape 、 skin tone 等)重构的人脸模型将呈现在外部显示屏中。
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fe52394fa-2073-4bc3-a30e-6975262fa213%2FUntitled.png?table=block&id=f18e1fab-51c8-444c-bc55-1cf71273347f)
除了对外展示的 EyeSight,Optic ID 绑定的用户画像还用于在远程会议(FaceTime)中呈现用户的虚拟数字形象:
![Avatar](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F51095159-c04e-4d13-a091-3ed3145b36a7%2FUntitled.png?table=block&id=90623480-9819-445e-9d1e-ca6bf3426d4f)
这一虚拟形象的功能在 visionOS 中由 Presence (在场)服务框架提供,展示名为 Persona Virtual Camera:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fbf4d7cdf-d97d-4d14-b541-a0832616f1c0%2FUntitled.png?table=block&id=b2713472-edee-4ced-8b65-6300dee16e89)
在 WWDC23 演示中,虚拟数字人形象只会呈现上半身和手,在 Presence 目录中,我们也可以看到对应的 3D 模型文件:
![上身和手的数字形象](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fc298fed6-43b9-4df2-bb4c-3b798862b27e%2FSCR-20231011-kjks.png?table=block&id=0987efd1-771b-47f9-addf-2344298d979a)
最近 visionOS 的更新中,还为数字人提供了 25 副眼镜配饰,用户可以为自己的虚拟形象佩戴与自己日常风格相同的眼镜,以保持数字人和真实情况的一致(当然也可以只是为了美观):
![多种可选的眼镜装饰(eyewear)](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F5d671218-43fa-4657-a077-2d72551d8722%2FUntitled.png?table=block&id=1aa01f2c-a766-4ab2-9bb6-7f5b06a8f85f)
佩戴提示(RealityCoverSheet)
通过眼动追踪功能,Apple Vision Pro 可以测量用户双眼瞳距进行自动适配,通过佩戴提示服务(RealityCoverSheet)中包含的 UI 素材,可以看到这一过程的引导动画以及 Apple Vision Pro 显示镜片的真实形状:
![引导佩戴提示的 UI 展示了镜片的形状](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Ff892dd12-7c28-4cef-aeeb-a563510b5d17%2FUntitled.png?table=block&id=31f28583-afd9-4fa2-8bcd-d59dc0347d19)
在佩戴提示的说明中,透露了如何使用 Top Button 和 Digital Crown 两个按键组合进行 IPD 调整、佩戴调整,以及 Apple Vision Pro 包装附带的 N+ / W+ 两个尺寸的遮光面罩(Light Seal Cushion):
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fa54bf6c6-cead-414b-9667-efabb07f94f2%2FUntitled.png?table=block&id=ec4b3d11-cb7b-4dd5-ae0e-74d614a364c2)
替换不同尺寸遮光面罩的引导动画也出自这里:
配镜处方(CorePrescription)
近视用户如果要使用 Apple Vision Pro 需要根据自己的近视处方选择对应度数的镜片进行注册,由 CorePrescription 服务框架提供,在初次佩戴 Apple Vision Pro 的时候, 需要扫描二维码对处方镜片进行注册(enrollment),CoreMuseBuddy 框架提供了处方镜片注册的示例二维码(新设备首次注册流程由 CoreMuseBuddy 服务提供,这一服务包括了所有开机注册的流程,至于为什么是这个名字,可以参考文章最后的参考链接):
![处方镜片注册:Prescription Enrollment](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fe4f8432f-abdf-497a-b285-caba23134b1c%2FUntitled.png?table=block&id=c69f8391-2cc0-49d4-8530-eb165ff32987)
注册处方镜片的目的是为了保障眼动追踪、手势输入的精度,同时你也可以将设备与他人共享,visionOS 可以保存多个用户的近视处方数据(由 RealityGuestSetup 提供):
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F6ef3dcc8-654a-438d-98fa-dfd80b1663be%2FUntitled.png?table=block&id=037b227e-21de-499c-8ef0-5d55b2a37333)
为了覆盖所有近视度数,CorePrescription 维护了一个本地 SQLite 数据库,其中保存了 975 条镜片度数相关数据,这些数据可能与不同镜片屈光水平导致的眼动数据偏移有关,通过注册镜片处方找到对应的参数实现对眼动追踪数据的校准:
![CorePrescription/coreRXNominalGroup.sqlite](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fba119464-52f2-45e4-91a5-f33b7e8ac360%2FUntitled.png?table=block&id=17cce80b-f657-4f96-bf24-08502bd82e41)
总结
以上是关于 visionOS Beta 1.4 Simulator Runtime 中一些可解析信息的汇总,从中可以一窥 visionOS 的一些设计细节和进展。目前看来最值得期待的还是 iPhone 15 Pro 系列拍摄空间视频、照片的效果,希望在后续 iOS 17 更新中尽快上线!
参考
- Poking around the visionOS SDK | https://www.pierreblazquez.com/2023/06/23/poking-around-the-visionos-sdk
- 作者:V2XR
- 链接:https://hackvision.pro/post/visionOS-1-beta-4-simulator-unpacked
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。