Vision Pro 专利:通过眼动/触控/手势及Siri等与UI交互
00 分钟
2023-8-8
2024-2-10
category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
🤖
苹果公司获得了一项专利,揭示了其未来头显的用户界面,包括使用眼睛注视、触摸、手势、身体姿势和Siri等进行交互。专利涵盖了利用眼睛注视/眼动追踪与头戴式设备进行交互的技术,提供更自然、更高效的界面。眼动追踪技术随后将应用于传统用户界面和计算机生成的现实设备和应用。专利图描述了使用内置在头显侧表面的注视控件和触摸控件与虚拟房间进行交互并移动物体。
本周,美国专利商标局正式授予苹果公司一项专利,该专利揭示了苹果未来头显的用户界面,即结合使用眼睛注视、触控、手势、身体姿势甚至 Siri进行交互。
苹果公司获得的专利涵盖了利用眼睛注视/眼动追踪与头戴式设备(HMD)进行交互的技术。用户可以用眼睛与 HMD 显示屏上显示的用户界面对象进行交互。在一些示例性实施例中,这些技术允许用户主要使用注视和眼睛姿势(如眼球运动、眨眼和凝视)来操作设备,从而提供了更自然、更高效的界面。
专利还描述了使用眼睛注视快速指定初始位置(例如,用于选择或放置物体),然后在不使用眼睛注视的情况下移动到指定位置的技术。由于用户眼睛注视位置的不确定性和不稳定性,使用眼镜注视很难精确定位指定位置。
眼动追踪技术随后将应用于 Mac 台式电脑、MacBook、iPad 和 iPhone 等设备上的传统用户界面。这些技术对于计算机生成的现实(包括虚拟现实和混合现实)设备和应用也非常有利。
如下专利图 19C 和 19D 所示,该专利描述了使用内置在 HMD 侧表面的注视控件和触摸控件与虚拟房间 #1902 进行交互并移动物体 #1908。
via www.patentlyapple.com
via www.patentlyapple.com
 
HMD 包括传感器,用于检测各种类型的用户输入,包括(但不限于)眼部姿势、手部和身体姿势以及语音输入。在一些实施例中,输入设备包括一个控制器,配置为接收按钮输入(例如,上、下、左、右、输入等)。
虚拟房间/环境 #1902 包括放置在桌子上的一叠照片 #1908,其中包括单张照片 #1908a-1908e。在视图 #1902b 中看到的注视 #1906 表明用户正在观看这堆照片。
照片 #1908a 由焦点指示器 #1914 指示,其中包括围绕照片 #1908a 的粗体边框。在某些实施例中,焦点指示器包括指针、光标、点、球形、高亮、轮廓或重影,可直观地识别指定对象。在一些实施例中,HMD 会取消指定照片,并在接收到进一步输入(例如,选择退出按钮或取消触摸)后将照片返回到桌面。
在下面的专利图中,苹果公司展示了如何使用注视和触摸控制来移动虚拟环境中的物品,如绘画/照片,甚至是咖啡杯。
notion image
notion image
via www.patentlyapple.com
via www.patentlyapple.com
在专利中苹果公司还指出,HMD 系统包括图像传感器,可选择包括一个或多个可见光图像传感器,如带电耦合器件 (CCD) 传感器和/或互补金属氧化物半导体 (CMOS) 传感器,这些传感器可从真实环境中获取物理对象的图像。
图像传感器还可选择包括一个或多个红外(IR)传感器,如被动红外传感器或主动红外传感器,用于检测真实环境中的红外光。例如,主动红外传感器包括红外发射器,如红外点发射器,用于向真实环境发射红外光。图像传感器 #108 还可选择包括一个或多个事件摄像头,用于捕捉真实环境中物理对象的移动。
图像传感器还可选择包括一个或多个深度传感器,用于检测物理对象与 HMD 系统的距离。在某些实施例中,HMD 结合使用 CCD 传感器、事件摄像头和深度传感器来检测 HMD 周围的物理环境。
想了解更多本专利的细节,请查看苹果公司的授权专利 11714592。这项授权专利是一项更新专利,苹果公司早在 2017 年就开始了这项专利的工作。它是苹果公司涉及 Apple Vision Pro 的 5000 项专利之一。