Open AI开源模型GPT-OSS部署使用教程

• 注意：120b模型默认需要70G显存，推荐4090（48G）*2，20b模型可用4090（24G）单卡运行。

• 本镜像已做好70b模型自启动，直接复制外网ip:5678到浏览器即使用，账户名ucloud@163.com, 密码为ucloud

• 如需使用20b模型可以参考文章或下方readme来修改

详细可以参考：https://hermit.blog.csdn.net/article/details/149959729

使用教程

Ollama提供了多种使用方式，包括命令行、API接口和Web界面。

实例创建后，进入jupyterlab，运行命令行启动ollama服务

ollama服务启动

ollama run gpt-oss:20b

交互式对话

# 单次查询
ollama run gpt-oss:20b "Explain the concept of machine learning in simple terms."

# 流式输出
ollama run gpt-oss:20b --stream "Write a Python function to calculate fibonacci numbers."

可视化使用open-webui

新开terminal，执行如下命令

pip install open-webui
open-webui serve --port 5678 --host 0.0.0.0

账户名ucloud@163.com, 密码为ucloud