AI 辅助 visionOS 应用开发
00 分钟
2023-12-15
2023-12-31
category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
如果要开发一款 visionOS 空间计算应用, Apple 官方提供了以下几个必要的参考资料:
  1. WWDC23 Spatial Computing 系列视频,系统介绍了空间计算的概念、设计指导、开发指导;
  1. Apple Developer Documentation 中的 visionOS 和 RealityKit 主要是技术开发文档,其中SwiftUI 负责 2D 窗口,RealityKit 负责 3D 内容;
  1. 针对 visionOS 设计的《人机界面指南》,主要介绍 visionOS 人机交互的设计指导规范:
《人机界面指南》
《人机界面指南》
将这些官方文档、示例代码语料作为 AIGC 的 knowledge base,可以实现针对 visionOS 的自定义辅助 AI 。

GPTs & Claude.AI Knowledge Base

我们提取的所有 visionOS knowledge base 包括以下内容:
  • visionOS 所有官方示例代码(Swift)的源码文件(145 个源文件,483 Kb);
  • WWDC23 空间计算所有 Session 视频的官方字幕(42 个视频,707 Kb);
  • visionOS & RealityKit 开发者文档文本(91 个页面,255 Kb);
visionOS Knowledge Base 语料
visionOS Knowledge Base 语料
如果你有 ChatGPT Plus 账号,可以自己创建 GPTs,只需要在 Knowledge 选项中上传相关语料文档即可(包括 Code interpreter 选项)。
GPTs
GPTs
如果你使用 Claude.ai,则需要将文档进行分割后在 Chat 对话框中上传。虽然界面显示最多支撑 5 x 10 MB 文本数据,但实际上文档长度限制约 100KB 。
Claude.ai
约 200KB TOKEN 限制
约 200KB TOKEN 限制

CopilotForXcode 插件

Copilot For Xcode 是一款 Xcode 插件,可以提供 GitHub Copilot, Codeium 和 ChatGPT 等 AI 工具,让开发者在使用 Xcode 编码的过程中事实参考 AI 辅助功能,包括代码补全、提示生成等功能。
CopilotForXcode 插件
CopilotForXcode 插件
下载安装 CopilotForXcode 后,需要在 Service 设置中登录 GitHub 和 Codeium 账号
GitHub Copilot  Service 设置
GitHub Copilot Service 设置
在系统设置 → 扩展中启用 Copilot 插件后,即可在 Xcode 编辑器中使用代码建议功能:
notion image
代码补全建议
代码补全建议
插件的 Plus 版本还提供更多 Chat 功能,可以将项目上下文信息作为 ChatGPT prompt(前提是你有可用的 ChatGPT API):
ChatGPT API
ChatGPT API

总结

由于 visionOS 相关文档比较新(23 年 6 月之后发布),无论是文本大语言模型还是代码解释模型可能都没有学习相关资料。通过将官方文档、视频字幕和示例代码作为 Knowledge Base 作为专用模型的语料,可以构建针对 visionOS 开发的辅助 AI 工具。借助 Copilot For Xcode 插件,可以在编码过程中辅助 SwiftUI 和 RealityKit SDK 相关语法。

参考

  1. https://developer.apple.com/videos/spatial-computing
  1. https://developer.apple.com/documentation/technologies
  1. https://developer.apple.com/design/human-interface-guidelines/designing-for-visionos/