6镜像作者视频:
1、使用该镜像创建实例,推荐使用4090及以上卡型
2、创建完成后,进入jupyterlab

3、在终端中进入Ovi目录,并执行以下脚本
24GB以上设备,以上全部复制,在Ovi路径下打开终端,粘贴回车,等待启动,基础网络(外网)为前缀+7860为进入地址如(http://117.51.193.201:7860/)
source .venv/bin/activate
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=7860
python3 gradio_app.py --cpu_offload
24GB设备,以上全部复制,在Ovi路径下打开终端,粘贴回车,等待启动,基础网络(外网)为前缀+7860为进入地址如(http://117.51.193.201:7860/)
source .venv/bin/activate
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=7860
python3 gradio_app.py --cpu_offload --fp8
如遇报错如(torch.OutOfMemoryError: CUDA out of memory.)需更换大显存设备,可通过nvidia-smi查看显存占用
WebUI示例



认证作者