基本介绍

nvidia开源的Cosmos系列模型，能根据输入文本、图像和视频生成视频。

镜像使用教程

实例初始化完成后，进入JupyterLab，新建一个终端，在/root/Cosmos路径下有test.sh，运行下面的命令可以生成5秒的视频，花费时间半小时。

复制模型，注意这步需要扩容磁盘到300G，400G最好

cd ~/Cosmos
cp -r /model/HuggingFace/nvidia  ./

修改test.sh的--checkpoint_dir

--checkpoint_dir ./nvidia/

然后运行

sh test.sh

1. 由于显存不足的原因，--offload相关的参数都得加上

2. 默认是生成121帧，fps为24的视频，参数可在root/Cosmos/cosmos1/models/diffusion/inference/inference_utils.py中查看