category
AI summary
tags
password
summary
date
icon
status
字数统计
type
slug
orgsrc
URL
本文介绍利用 Stable Diffusion 为 XR 生成内容的方法。
@BlockadeLabs 团队开发了一款文生图(text2image)的应用,可以直接在 VR 设备浏览器中基于用户描述生成各种风格的 360° 背景图(Skybox),用户可以通过绘制轨迹(ControlNet)实现对生成图像内容的进一步定制。
视频
Skybox AI
Skybox AI: One-click 360° image generator from Blockade Labs
https://skybox.blockadelabs.com
![Skybox AI](https://s3.us-east-1.amazonaws.com/blockadelabs.com/assets/default-og.png)
下面是简单绘制轨迹+提示词
windows of night city, raining night, colorful referections
生成的效果图:![ControlNet + prompt](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F4670a154-9c74-4f9d-8931-6be4cf85e230%2F%25E5%259B%25BE%25E7%2589%2587_2.png?table=block&id=b9673a64-9871-4363-86b9-a11e6789ded5)
![效果图](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Fe9006259-982a-45df-874b-9a98a3c10956%2F%25E5%259B%25BE%25E7%2589%2587_1.png?table=block&id=db5aab5d-dd76-4e6c-aec9-a53bfdaf9d2b)
目前免费额度只有每个月 15 次,或者可以开通付费 API(20 美元每月)。接下来介绍两种将 Stable Diffusion 引入 XR 场景的方案:
- Stable Diffusion API
- 本地部署 Stable Diffusion WebUI + API
Stable Diffusion & Dreambooth API
注册获取
API_KEY
,使用model_id = 360-skybox-environment
:![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F444c6bca-2873-421b-9561-c03578769980%2FUntitled.png?table=block&id=6af41c42-f398-4c3b-9cf4-e34948ac9a96)
目前 API 可能有点问题,会出现以下错误,只能等官方修复:
{"status":"error","messege":"Model not found"}
Stable Diffusion WebUI API
另一种方案基于本地部署 Stable Diffusion WebUI ,下载 360 Skybox 的 LoRA 模型(也可以在 civitai 上面检索其它可用的 LoRA 模型,包括基于 SD XL 1.0 版本的):
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2Feb41d78d-1d70-4690-b57d-2d62d54db5a9%2FUntitled.png?table=block&id=b9052fa1-6635-4f5b-ba07-0f3eb5cdb795)
启动
stable-diffusion-webui
时开启 —-api
选项,在本地查看 API 文档:http://localhost:7860/docs
![notion image](https://www.notion.so/image/https%3A%2F%2Fs3-us-west-2.amazonaws.com%2Fsecure.notion-static.com%2F5b517d85-5393-4a1a-b3cf-5ed3411a55fe%2FUntitled.png?table=block&id=b9bdbc1c-5bd7-4028-aa16-c2e0b1f91d38)
WebXR 应用调用 Stable Diffusion API
效果如下:
- 作者:V2XR
- 链接:https://hackvision.pro/post/aigc-for-xr-stable-diffusion-skybox
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。