sinong南京农业大学开源面向通用农业领域的垂直8B32B全离线模型 webui开发构建by科哥

镜像简介

本镜像集成了南京农业大学开源的Sinong农业垂直大模型（8B/32B版本），专为农业领域设计，支持全离线部署与私有化运行。内置WebUI界面，可进行智能农技问答、作物诊断、生产建议与数据分析，适用于农业研究、技术推广与数字化农场管理等场景，兼顾专业性与易用性。

镜像使用教程

创建实例后点击【SD-WebUI】即可进入操作页面

运行截图：

32B模型已经量化 4bit，减少模型加载显存

8B模型已经量化 4bit，减少模型加载显存

司农大语言模型 - 使用手册

启动应用

bash start_app.sh

访问地址：http://localhost:7860

---

功能导航

1️⃣ 对话生成

基础对话

• 在输入框输入问题，点击"发送"或按回车
• 支持流式输出（实时显示生成内容）
• 点击"清空对话"重新开始

参数调节（左侧面板）

• Temperature (0.1-2.0)：控制创造性
  • 低值(0.1-0.5)：更保守、确定性强
  • 高值(1.0-2.0)：更随机、创造性强
• Top P (0.1-1.0)：核采样概率
  • 推荐值：0.9
• Top K (1-100)：候选词数量
  • 推荐值：50
• Max Tokens (1-4096)：最大生成长度
  • 短回答：512
  • 长文本：2048-4096

保存对话

• 点击"保存对话"按钮
• 自动保存到 outputs/ 目录
• 文件名格式：outputs_YYYYMMDDHHMMSS.txt

---

2️⃣ 模型设置

切换模型

1. 选择模型大小（8B / 32B）
2. 选择量化方式：
   • 无量化：最佳质量，显存需求高
   • 4bit量化：显存减半，质量略降
   • 8bit量化：平衡选择
3. 点击"加载模型"

显存需求参考

模型	无量化	8bit	4bit
8B	16GB	8GB	4GB
32B	64GB	32GB	16GB

下载模型

• 选择模型大小
• 点击"下载模型"
• 等待下载完成（自动从ModelScope下载）

系统信息

• 查看GPU型号、显存、CUDA版本
• 查看当前加载的模型状态

---

3️⃣ 输出管理

查看历史

1. 点击"刷新列表"获取最新输出
2. 在列表中选择文件
3. 点击"查看内容"

删除输出

1. 选择要删除的文件
2. 点击"删除选中"
3. 确认删除

导出全部

• 点击"导出全部输出"
• 下载打包的zip文件

---

使用技巧

农业领域提问示例

# 病虫害诊断
我的水稻叶片出现褐色斑点，边缘发黄，可能是什么病害？

# 种植建议
江苏地区3月份适合种植哪些蔬菜？

# 施肥方案
玉米生长期如何科学施肥？

# 政策咨询
2024年农业补贴政策有哪些？

最佳实践

1. 问题要具体：提供详细的背景信息（地区、作物、症状等）
2. 分步提问：复杂问题拆分成多个小问题
3. 调整参数：
   • 需要准确答案 → 降低Temperature (0.3-0.5)
   • 需要创意方案 → 提高Temperature (0.8-1.2)
4. 保存重要对话：及时保存有价值的对话记录

注意事项

⚠️ 模型幻觉：生成内容可能存在不准确，请结合实际情况判断

⚠️ 显存不足：如遇显存溢出，尝试：

• 切换到更小的模型（32B → 8B）
• 启用量化（4bit/8bit）
• 减少Max Tokens

⚠️ 响应缓慢：首次加载模型需要时间，请耐心等待

---

快捷操作

操作	快捷方式
发送消息	回车键
清空对话	点击"清空对话"
保存对话	点击"保存对话"

---

常见问题

Q: 模型加载失败？

• 检查模型文件是否完整（models/8B/ 或 models/32B/）
• 确认显存是否充足
• 查看终端错误日志

Q: 生成内容不理想？

• 调整Temperature参数
• 优化提问方式，提供更多上下文
• 尝试切换模型（8B ↔ 32B）

Q: 如何停止生成？

• 当前版本不支持中途停止，请等待生成完成

Q: 对话历史在哪？

• 自动保存在 outputs/ 目录
• 通过"输出管理"标签页查看

---

技术支持

• 开发者：科哥
• 微信：312088415
• 项目地址：[GitHub链接]

---

bug反馈可以加入科哥专属群交流➕ 广告勿进！​

​

科哥在UCloud镜像列表【不断更新中】：

• https://kege-aigc.feishu.cn/docx/L3FVdQl7kom8Ckx7QiicQj2VnEd

使用愉快！如有问题，欢迎反馈。