WWDC24 Day 1|visionOS 2 中文版与全新升级功能
00 分钟
2024-6-11
2024-6-12
category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
notion image
WWDC24 第一天,分别在主 KeynotePlatforms State of the Union 两个主题演讲中介绍了 visionOS 2 的全新功能和 API 升级(共计约 15 分钟)。其中前者主要介绍 visionOS 2 系统新增的功能特性,而后者主要面向开发者介绍新增的应用接口(也就是接下来一周各技术主题视频将会详细展开的内容)。
我们首先对主要更新内容进行了全面汇总:

系统更新(按用户体验优先级排序)

  1. 支持中文显示 & 中文输入法(6 月 28 日国行版正式发售!)
  1. 系统相册支持 AI 一键生成空间照片,并支持 SharePlay
  1. 新增系统菜单呼出手势(去掉翻白眼 🙄 呼出控制中心)
  1. 沉浸模式下支持蓝牙键盘透视和位置追踪
  1. 增强 Mac 投屏功能(3 个不同尺寸可选)
  1. 长按可重新排序首页应用菜单(可删除系统应用)
  1. 新增一个 Environment (🙄)
  1. 以及其它一些不太重要的更新(鼠标,AirPlay,HealthKit,新的 Environment 和官方沉浸视频)
总体来看,除了对国内用户最重要的中文版本系统(及输入法)更新之外,AI 转换空间照片可能是最惊喜的更新,当我们还在讨论 iPhone 15 Pro 的后置摄像头由于镜头间距不足无法拍摄足够立体感的空间照片时,Apple Intelligence 已经实现了所有设备的瞬间兼容,这可能也是 iPhone 15 Pro 迟迟不退出空间照片拍摄功能的原因(以后可能也不再需要了)。
新增系统菜单呼出手势终于取消了一直以来备受吐槽的”小白点“控制按钮,转而使用更加自然的看向手心呼出菜单、翻转手心呼出时间、电量、音量控制以及控制中心。
另外,蓝牙键盘的透视功能对于使用 Vision Pro 进行办公的用户来说也是一个非常重要的功能,我们既希望进入完全沉浸模式以屏蔽外界干扰,同时又希望把键盘单独透视进来,以达到兼容沉浸与效率的目标。
最后,Mac Virtual Display 终于增加了固定比例以外的巨幕投屏功能,虽然还无法实现单个应用窗口独立投屏,不过一整块超大显示屏已经可以满足不同应用并列排布的多任务场景了。(不过这一功能目前还无法使用,今年晚些时候才会推送更新)

开发者 API 更新

visionOS 2 对于开发者来说最重要的就是以下 3 个重大功能开放和 ARKit 环境感知功能升级:
  • Volumetric API:担负 visionOS 最重要的多任务设计核心理念,即更好地实现 3D 应用和其它 2D 窗口的并行,新增 API 可以实现 Volume 窗口缩放、更灵活的挂饰(Ornament)设计等;
  • Tabletop API:服务于 SharePlay 多人桌面游戏,让开发者可以在使用 Group Activities 时让不同玩家聚焦在同意空间坐标(桌面)进行远程同步游戏;
  • Enterprise API:开放设备主摄像头视频流、开放设备机器学习能力,但仅限于 B 端场景;
notion image
ARKit 追踪功能升级:
  • 基于手部追踪和深度信息可以自定义手和窗口的遮挡关系
notion image
  • 环境平面检测在原有的水平、垂直平面基础上,增加任意倾斜角度的平面追踪
notion image
  • 增加对真实 3D 物体的实时追踪定位
notion image

小结

两周前我们收集了国内外用户对 visionOS 2 新增功能的期待,基于今天更新的结果,实际情况如下:
  • ✅ VST 权限:仅限于企业 API
  • ❌ Spatial Persona 权限
  • ✅ 自定义的物体追踪与透视效果(键盘)
  • ❌ 前台调度 & 多窗口管理
  • ✅ iPhone 、iPad 镜像投屏(需要升级到 iOS 18)
  • ❌ 自定义 Environment
  • ✅ 优化 iPhone 拍摄空间视频/照片效果(AI 增强)
  • ❌ 应用内截屏/录屏功能
  • ❌ 2D / 3D 桌面组件
  • ❓ 兼容 Apple Pencil Pro:虽然第一天的总结视频并为提及 Apple Pencil Pro 与 visionOS 的兼容性,但在后续技术 Session 中确实有提到 PencilKit 在 visionOS 2 的应用,具体情况我们拭目以待。
notion image