1. Oasis线上游玩
- Oasis游玩地址Oasishttps://oasis.decart.ai/starting-point![img](https://i-blog.csdnimg.cn/direct/a08024fd8dd64ee5a0556f8baa1f8790.png)![](https://i-blog.csdnimg.cn/direct/f9a92960025b42c0b627686fdc2b801b.gif)进去之后需要进行等待,每次目前最长游玩五分钟,选择一种模式游玩即可
- Oasis技术报告:OasisGenerating Worlds in Realtimehttps://oasis-model.github.io/ 主要讲解了技术框架和性能该模型由两个部分组成:一个空间自动编码器和一个潜变量扩散骨干网络。二者均基于Transformer架构:自动编码器基于ViT[1],骨干网络基于DiT[2]。与近期的行动条件化世界模型(如GameNGen[3]和DIAMOND[4])不同,我们选择了Transformer,以确保在Etched的Transformer ASIC(Sohu)上实现稳定、可预测的扩展性和快速推理。
- Oasis的github地址:https://github.com/etched-ai/open-oasis
2.Oasis的本地部署
首先进入Oasis官方的github,按照教程走就可以:
git clone https://github.com/etched-ai/open-oasis.gitcd open-oasis# Install pytorchpip install torch torchvision --index-url https://download.pytorch.org/whl/cu121# Install other dependenciespip install einops diffusers timm av
> 这里注意自己的cuda版本要和这里的torch要求版本对上然后进入huggingface进行模型下载 首先可以在这设置获取token:https://huggingface.co/settings/tokens
这里获取模型地址,同意信息即可获得模型access:https://huggingface.co/Etched/oasis-500m```huggingface-cli login
**login直接右键粘贴token即可,先不用添加为credential git**
huggingface-cli download Etched/oasis-500m oasis500m.pt # DiT checkpointhuggingface-cli download Etched/oasis-500m vit-l-20.pt # ViT VAE checkpoint```下载模型之后根据终端输出,找到模型oasis500m.pt和vit-l-20.pt,然后拖拽至open-oasis的根目录下:
- 运行generate.py
python generate.py
出现这个进度即为GPU开始工作了 运行之后会生成video.mp4文件
版权归原作者 MarkfuGod 所有, 如有侵权,请联系我们删除。