Text generation web UI

原始项目仓库： https://github.com/oobabooga/text-generation-webui

一个基于 Gradio 的大语言模型加载平台。

预装模型:DeepSeek-R1-0528-Qwen3-8B-Q8_0，Qwen3-8b-Q8_0，Gemma2-27b-Q4_k_m

内置模型下载源已替换为hf-mirror.com

特点

多种加载器支持： 在一个 UI/API 中支持多种文本生成后端，包括 llama.cpp, Transformers, ExLlamaV3, ExLlamaV2, 和 TensorRT-LLM 。
简易设置：。
自动提示格式化： 使用 Jinja2 模板进行自动提示格式化，您无需担心提示格式。
美观的 UI： 提供深色和浅色主题。
多种模式：
- 指令模式 (instruct mode)： 用于遵循指令 (类似于 ChatGPT)。
- 聊天-指令/聊天模式 (chat-instruct/chat modes)： 用于与自定义角色对话。
对话管理： 编辑消息，在消息版本之间导航，并在任何时候分支对话。
丰富的生成参数： 提供多种采样参数和生成选项，用于复杂的文本生成控制。
无需重启切换模型： 在 UI 中无需重启即可切换不同的模型。
GGUF 模型自动 GPU 层： 对于 NVIDIA GPU 上的 GGUF 模型，支持自动 GPU 层。
自由形式文本生成： 在 Default/Notebook 选项卡中进行自由形式文本生成，不受聊天回合限制。
OpenAI 兼容 API： 提供与 OpenAI 兼容的 API，包含 Chat 和 Completions 端点，支持工具调用 – 查看示例。
扩展支持： 提供丰富的内置和用户贡献的扩展。详细信息请参阅 wiki 和 extensions 目录。