category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
Video Here
本文是关于 Vision Pro 手势追踪技术 —— ARKit 的开发笔记。
在 visionOS 中，ARKit 可以实现手部追踪和世界感应等增强现实功能，在 ARKit 中调用手部追踪的流程如下：
首先，需要向用户描述手势追踪数据的用途并取得用户授权。
为了确保用户隐私，要调用 ARKit 数据，必须进入 Full Space 模式，visionOS 不会向共享空间的 App 发送数据。这一安全策略导致所有自定义的手势交互方式，只能在当前应用中生效，而无法在系统层生效。
应用进入 ImmersiveSpace 状态（即 Full Space），可以选择不同的 immersionStyle（.mixed / .progressive / .full）：
通过轮询 HandTrackingProvider.anchorUpdates 可以获得手部各关节点的追踪数据：
HandSkeleton 中保存了所有手部关节的名称和对应坐标，通过计算这些关节点的坐标和相对关系，即可自定义手势事件：
目前 Vision Pro 手部追踪的采样率只有 30FPS（网友提供，未验证），从测试效果上来看，虽然每个关节点的定位都比较准确，但是当手部移动速度较快时，就会出现比较明显的延迟、卡顿，这也是很多裸手交互游戏（比如水果忍者）效果较差的原因。此外只有进入 Full Space 才能获取手部追踪数据，这也极大限制了应用的适用范围。
Video Here
参考
- Sample Code: Happy Beam
- Apple's WWDC 2023 - Meet ARKit for spatial computing.
- 作者:V2XR
- 链接:https://hackvision.pro/post/ARKit-HandTracking-in-visionOS
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。