category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
VR眩晕(又称Cybersickness)是人们对早期VR技术最普遍的抱怨之一。导致VR眩晕的原因有很多,既有硬件性能因素,也包括虚拟内容呈现方式的原因。和晕车症状一样,不同人群对VR眩晕的敏感程度也存在很大差异。早期VR技术相对落后,其图像渲染速度较慢、延迟较高,更容易导致眩晕。同时,由于光学和显示性能不足,用户长时间暴露在低画质和立体成像效果差的环境中,也更容易产生眩晕。
![导致 VR 眩晕的因素](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F6b515d9e-f26a-42db-b9dc-c1d49666ff45%2Fshape_0QV2CQQ0HmdDCtA6pxXV-.png?table=block&id=a68ce8fd-96be-415e-a294-0c12a212f227)
自从VR技术问世以来,产业界和学术界一直在探索改善导致眩晕症状的因素,包括硬件、交互、VR内容和人因工程等方面。通过搜索关键词“Cybersickness”,可以找到13000多篇文献和专利:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F1117ff41-c948-4e0f-a2f0-f572f43ebb86%2FUntitled.png?table=block&id=e552e4e8-d906-405f-bca5-1b691070b260)
如果归纳一下硬件和内容所导致的 VR 眩晕,主要因素可以概括为以下几类:
- 追踪画面延迟(运动到光子延迟,motion-to-photon latency)
- 3D 显示辐辏调节冲突(Vergence-accommodation conflict,VAC)
- 视觉晕动效应(Vection)
接下来我们会简单总结一下当前行业领先的头戴显示设备(HMD)是如何处理这些问题的。
MTP 延迟
头显需要追踪用户头部运动,然后转化为虚拟画面渲染的角度调整,业界通常认为 MTP 延迟在 20ms 以内才不会让用户感觉到明显的画面延迟:
![MTP 延迟示意图](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fa2d1a5e2-c858-482d-953c-2e0930841f10%2FUntitled.png?table=block&id=77cc4d32-3152-48be-a81a-a773d0ae055d)
基于视频透视(Video See-through,VST)的头显(如 Apple Vision Pro)除了追踪用户头部运动之外,还需要实时拍摄环境信息并通过视频流的方式呈现给用户,同时还要完成虚拟场景和真实场景的融合渲染:
![VST 延迟](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F4df9b20d-b962-4c75-bfc8-ac5fc07dbd79%2FUntitled.png?table=block&id=f5af9156-6d98-4962-a01f-cb6696b4e1b9)
最新发布的 Meta Quest 3 在骁龙 XR2 Gen2 芯片的支持下,支持多达 10 个并发摄像头和全彩、超快的透视/穿透功能,延迟时间小至 12ms;苹果也为 Apple Vision Pro 专门设计了用于处理 VST 视频流的 R1 芯片,并宣称图像到显示的延迟可以控制在 12ms 以内,这比人类眨眼的速度还要快 8 倍!
R1 virtually eliminates lag, streaming new images to the displays within 12 milliseconds. That’s eight times faster than the blink of an eye!
![Apple Vision Pro 发布会](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F5260453e-d3a5-4498-bb63-69be6c266ead%2FUntitled.png?table=block&id=018c6d6b-0c28-44e1-b859-691f74ff0849)
辐辏调节冲突(VAC)
在现实世界中,当我们注视一个物体时,我们的眼睛会自然地调整焦距,使得物体清晰地显示在视网膜上。但是,在虚拟现实中,由于虚拟现实头戴式显示器的显示屏距离眼睛非常接近,因此眼睛需要调整焦距来适应显示屏的距离,以确保虚拟世界的物体清晰可见。然而,当眼睛调整焦距时,眼睛的调节和聚焦并不总是同步进行,可能会导致眼睛的疲劳和不适感。这种不协调就是辐辏调节冲突。
![3D 显示的 VAC 问题](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Ff7759854-2686-43ea-9abc-2b323dffa8a9%2FUntitled.png?table=block&id=640c378a-1d7f-401b-9622-bd46b9b2fdad)
举一个不是特别恰当的例子类比,VAC 所带来的视觉疲劳和眩晕就像是长时间斗鸡眼带来的感觉一样:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Feab73b53-2930-4604-9aaa-5550bda81e5f%2FUntitled.png?table=block&id=c01ddf26-4da5-4c15-a87a-b41bd6d6defa)
VAC 是近眼 3D 显示中普遍存在的问题,即便是 Apple Vision Pro 也不能完全消除这一因素对用户长时间佩戴所带来的视觉疲劳、眩晕的影响。影视飓风的 Tim 在评测苹果 Vision Pro 的视频里有提到戴了半小时后摘下来,看现实世界会觉得特别 3D,这很有可能就是眼睛在 VAC 冲突条件下适应了一段时间之后对现实世界非冲突状态的重新适应。
这一问题哪怕是在基于光学透视(OST)的 AR 眼镜中也是存在的,其本质是大脑接收到的辐辏和调适信息相互矛盾:
![AR 眼镜中的 VAC 问题](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F34e34892-6948-4fa1-9a0d-8dc01d613a0a%2FUntitled.png?table=block&id=a5e06895-9510-4df3-8014-cfce9b8c5687)
为了减轻 VAC 的影响,虚拟现实技术正在研究和开发新的显示技术,如多焦点显示、光场显示等,以更准确地模拟现实世界中的焦距和视觉体验。此外,一些虚拟现实应用程序还提供了眼动跟踪技术,可以根据用户的眼动数据来调整虚拟世界的焦距,减少辐辏调节冲突的发生。
例如 Meta Reality Labs 在 SIGGRAPH 2023 推出的可变焦点头显原型方案:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F0624e693-209b-4cf1-b875-8eb062d24083%2Fvarifocal.gif?table=block&id=a6bb9f42-17c0-49e0-b015-5ec446e44d61)
视觉诱发的晕动症(visually induced motion sickness,VIMS)
除了上述硬件与显示性能导致的 VR 眩晕之外,虚拟内容本身也是造成用户眩晕的重要因素。尤其是当虚拟内容中存在大量高速运动的场景时,会给人产生自己正在运动的错觉:
【请不要长时间盯着下图观看】
![自我运动错觉 - Illusions of self-motion](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fa0ab4184-779e-4508-93fe-90c0999f5f03%2Foriginal_349dd5aadd555bfe5d0806c235a010a5.gif?table=block&id=f9f73a5f-b112-4a60-9806-f0adbcd4f688)
研究一般认为视觉信息和前庭系统的感觉冲突是导致 VIMS 的主要原因,在现实世界中,人们的视觉系统和平衡系统是相互协调的。例如,当人们乘坐车辆时,他们的视觉系统会感知到车辆移动的画面,但前庭平衡系统会感知到车辆的运动状态,两个系统的信息是相互协调的。然而,在虚拟现实中,由于图像渲染速度不足、延迟等因素,虚拟现实中的图像往往与人们的运动状态不一致,导致视觉系统和前庭平衡系统之间的信息不协调,从而引起眩晕等不适症状。
![视觉诱发眩晕的感觉冲突理论](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fd6c9e7de-c84c-4b95-852f-17f03de9d29c%2FUntitled.png?table=block&id=becd0f65-90f9-4780-8007-dbc4a7cb5f46)
运动内容设计建议
为了尽量避免视觉诱发的眩晕,Apple 和 Meta 都针对虚拟内容和交互方式给出了设计规范和建议。WWDC 2023 有一节专门关于 visionOS 视觉和运动设计考虑因素的演讲(Session-10078),包括以下这些对于虚拟内容的设计建议:
- 将运动中虚拟内容(窗口)的尺寸控制在合理范围内
- 尽量减少不必要的动态效果,必要时采用柔和、渐变而非突兀的动效
- 避免持续震荡的运动对象,尤其应避免显示频率为 0.2 赫兹左右的振荡
- 尽量避免在用户视场的边缘显示动态效果,用户对于发生在边缘视觉处的动态效果尤其敏感
- 考虑为用户提供静态参考系,或者保留一部分真实场景作为参考
![WWDC2023 - 10078](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fc30f2cfe-d777-464b-96ef-cd938a032b72%2FUntitled.png?table=block&id=1fa06278-78bc-49fc-a9fd-62c6a7f4354c)
总结
无论是虚拟现实(VR)、混合现实(MR)还是增强现实(AR),完全虚拟、视频透视(VST)还是光学透视(OST),硬件因素还是内容因素,产生眩晕的本质在于信息过载。任何形式的虚拟内容在给用户带来附加信息的同时,都在增加大脑信息加工的负担,尤其是当虚拟信息与人类正常感知方式存在冲突时,眩晕是对这些「不合理」虚拟信息的排异反应。
因此在空间计算硬件与算法性能提供足够流畅体验的基础之上,仍然需要合理的内容和交互设计。设计师 & 开发者需要充分理解虚实结合场景下人类视觉特性的基本原理,从而避免让用户产生对虚拟信息的排异反应。
参考
- Kaufeld, M., Mundt, M., Forst, S., & Hecht, H. (2022). Optical see-through augmented reality can induce severe motion sickness. Displays, 74, 102283.
- Tian, N., Lopes, P., & Boulic, R. (2022). A review of cybersickness in head-mounted displays: raising attention to individual susceptibility. Virtual Reality, 26(4), 1409-1441.
- WWDC2023 - Design considerations for vision and motion
- Meta Quest Design | Locomotion Comfort and Usability
- Meta Quest 3 review | GSMARENA
- 5 Ways to Address AR’s Vergence Accommodation Conflict
- 作者:V2XR
- 链接:https://hackvision.pro/post/cybersickness-in-spatial-computing-xr
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。