category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
如果要开发一款 visionOS 空间计算应用, Apple 官方提供了以下几个必要的参考资料:
- WWDC23 Spatial Computing 系列视频,系统介绍了空间计算的概念、设计指导、开发指导;
- Apple Developer Documentation 中的 visionOS 和 RealityKit 主要是技术开发文档,其中SwiftUI 负责 2D 窗口,RealityKit 负责 3D 内容;
- 针对 visionOS 设计的《人机界面指南》,主要介绍 visionOS 人机交互的设计指导规范:
![《人机界面指南》](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F9f337d68-981d-48a3-b563-544ae7374f06%2FUntitled.png?table=block&id=1388bf4d-2d20-43f0-8ee9-dbbd17cf5068)
将这些官方文档、示例代码语料作为 AIGC 的 knowledge base,可以实现针对 visionOS 的自定义辅助 AI 。
GPTs & Claude.AI Knowledge Base
我们提取的所有 visionOS knowledge base 包括以下内容:
- visionOS 所有官方示例代码(Swift)的源码文件(145 个源文件,483 Kb);
- WWDC23 空间计算所有 Session 视频的官方字幕(42 个视频,707 Kb);
- visionOS & RealityKit 开发者文档文本(91 个页面,255 Kb);
![visionOS Knowledge Base 语料](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F998bf463-4081-4577-a82e-e73c77a148b5%2FUntitled.png?table=block&id=d68c3cf7-8d4b-459d-a819-b1b85cc56dde)
如果你有 ChatGPT Plus 账号,可以自己创建 GPTs,只需要在 Knowledge 选项中上传相关语料文档即可(包括 Code interpreter 选项)。
![GPTs](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fdcd565d6-5f91-4cd2-b333-6e9134bf49ca%2FUntitled.png?table=block&id=8fe4fb8a-5b69-4ede-a21a-4ec5fb091811)
如果你使用 Claude.ai,则需要将文档进行分割后在 Chat 对话框中上传。虽然界面显示最多支撑 5 x 10 MB 文本数据,但实际上文档长度限制约 100KB 。
![Claude.ai](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fdfaa1e73-6aaf-487a-94a7-c3a225b5ed26%2FUntitled.png?table=block&id=6daa4f31-395b-450f-b0da-21482342f3f9)
![约 200KB TOKEN 限制](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F079dca81-5f2b-4499-9bd0-2f1eee0c70ed%2FUntitled.png?table=block&id=4d5fc623-e214-4f0d-9b8c-1679cd36123f)
CopilotForXcode 插件
Copilot For Xcode 是一款 Xcode 插件,可以提供 GitHub Copilot, Codeium 和 ChatGPT 等 AI 工具,让开发者在使用 Xcode 编码的过程中事实参考 AI 辅助功能,包括代码补全、提示生成等功能。
![CopilotForXcode 插件](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F9924227b-d65f-456c-95d1-b7fd49d0885c%2FUntitled.png?table=block&id=c1efb25a-16aa-41bf-bcb2-36fd60d2d6fa)
下载安装 CopilotForXcode 后,需要在 Service 设置中登录 GitHub 和 Codeium 账号
![GitHub Copilot Service 设置](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F59112ed8-ccfd-46f9-abc4-7e41007b4c86%2FUntitled.png?table=block&id=c69fd0c7-5b52-4c64-a284-cd6b63bc6c00)
在系统设置 → 扩展中启用 Copilot 插件后,即可在 Xcode 编辑器中使用代码建议功能:
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F8e83b402-b732-4b70-b076-7404fe6722f6%2FUntitled.png?table=block&id=017a48a6-6a98-4b2e-9112-951e5a85ab9a)
![代码补全建议](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2F46a114ff-a0d8-4c03-bc38-7aca1b622e7c%2FUntitled.png?table=block&id=bb9d41f0-7417-40da-b016-195a37b22724)
插件的 Plus 版本还提供更多 Chat 功能,可以将项目上下文信息作为 ChatGPT prompt(前提是你有可用的 ChatGPT API):
![ChatGPT API](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F3c35714a-89c3-4d33-ad58-389eb4cfea25%2Fea8cc0cb-5a5f-4f23-8ee3-069c462c917e%2FUntitled.png?table=block&id=0261a6cb-9ce5-4c1b-87d6-3c647ef3f749)
总结
由于 visionOS 相关文档比较新(23 年 6 月之后发布),无论是文本大语言模型还是代码解释模型可能都没有学习相关资料。通过将官方文档、视频字幕和示例代码作为 Knowledge Base 作为专用模型的语料,可以构建针对 visionOS 开发的辅助 AI 工具。借助 Copilot For Xcode 插件,可以在编码过程中辅助 SwiftUI 和 RealityKit SDK 相关语法。
参考
- 作者:V2XR
- 链接:https://hackvision.pro/post/ai-assisted-visionos-app-dev
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。