Baichuan-13B 使用文档

镜像快速使用教程

1. 先选择GPU型号，再点击”立即部署“

2. 待实例初始化完成后，在控制台-应用中打开”JupyterLab“

3. 进入JupyterLab后，新建一个终端Terminal，根据交互方式选择不同的指令输入

3.1 命令行交互

cd Baichuan-13B
python cli_demo.py

启动成功后如下图所示，在用户对话框中输入内容和模型对话

3.2 web端交互

cd Baichuan-13B
streamlit run web_demo.py

当运行结果如图所示时，即可在浏览器中通过 外网ip:8501 访问web界面；外网ip可以在控制台-基础网络（外）获取

成功进入web界面如下图所示

1. 项目目录结构

Baichuan-13B/
├── LICENSE
├── README.md
├── README_EN.md
├── cli_demo.py
├── requirements.txt
├── web_demo.py
└── ...

• LICENSE: 项目的许可证文件。
• README.md 和 README_EN.md: 项目的中文和英文介绍文档。
• cli_demo.py: 命令行演示脚本。
• requirements.txt: 项目依赖文件。
• web_demo.py: 网页演示脚本。

2. 启动文件

2.1 命令行演示

• cli_demo.py
  • 启动命令：

    python cli_demo.py
    

2.2 web端演示

• web_demo.py
  • 启动命令：

  streamlit run web_demo.py

3. 配置文件

3.1 依赖安装

• requirements.txt
  • 安装依赖的命令：

    git clone https://github.com/baichuan-inc/Baichuan-13B.git
    pip install -r requirements.txt
    

3.2 其他配置

• 可能包含其他配置文件，例如模型权重文件、参数配置文件等，具体信息请参考 README.md 文件。

4. 代码示例

以下是使用 Baichuan-13B 模型的示例代码：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation.utils import GenerationConfig

# 加载 tokenizer 和模型
tokenizer = AutoTokenizer.from_pretrained(baichuan-inc/Baichuan-13B-Chat, use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(baichuan-inc/Baichuan-13B-Chat, device_map=auto, torch_dtype=torch.float16, trust_remote_code=True)

# 设置生成配置
model.generation_config = GenerationConfig.from_pretrained(baichuan-inc/Baichuan-13B-Chat)

# 创建消息列表
messages = []
messages.append({role: user, content: 世界上第二高的山峰是哪座})

# 获取模型响应
response = model.chat(tokenizer, messages)

# 打印响应
print(response)

输出示例

乔戈里峰。世界第二高峰———乔戈里峰西方登山者称其为k2峰，海拔高度是8611米，位于喀喇昆仑山脉的中巴边境上。

使用此文档可以快速上手 Baichuan-13B 项目，进行模型的调用和交互。