Phi-3-mini-4k-instruct WebDemo 部署

镜像快速使用教程

1. 待实例初始化完成后，在控制台-应用中打开”JupyterLab“

2. 进入Jupyter后，新建一个终端Terminal，输入以下指令

streamlit run /Phi_3/compshare-tmp/chatBot.py --server.address 0.0.0.0 --server.port 11434

3. 运行出现如下结果时，即可在浏览器中访问 http://0.0.0.0:11434 ，其中0.0.0.0替换为外网ip，外网ip可以在控制台-基础网络（外）中获取

成功进入web界面如下图所示

环境准备

打开终端开始环境配置、模型下载和运行 demo。pip 换源加速下载并安装依赖包

# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install modelscope==1.11.0
pip install langchain==0.1.15
pip install transformers>=4.40.0 accelerate tiktoken einops scipy transformers_stream_generator==0.1.16
pip install einops modelscope tiktoken einops  scipy streamlit==1.24.0
pip install transformers==4.37.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1

模型下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。

在 /Phi_3/compshare-tmp 路径下新建 model_download.py 文件并在其中输入以下内容，粘贴代码后记得保存文件，如下图所示。并运行 python /Phi_3/compshare-tmp/model_download.py 执行下载，模型大小为 15 GB，下载模型大概需要 2 分钟。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os

model_dir = snapshot_download(LLM-Research/Phi-3-mini-4k-instruct, cache_dir=/Phi_3/compshare-tmp, revision=master)

代码准备

在/Phi_3/compshare-tmp路径下新建 chatBot.py 文件并在其中输入以下内容，粘贴代码后记得保存文件。下面的代码有很详细的注释，大家如有不理解的地方，欢迎提出issue。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st

# 在侧边栏中创建一个标题和一个链接
with st.sidebar:
    st.markdown(## Phi-3 LLM)

# 创建一个标题和一个副标题
st.title(💬 Phi-3 Chatbot)
st.caption(🚀 A streamlit chatbot powered by CompShared)

# 定义模型路径
mode_name_or_path = /Phi_3/compshare-tmp/LLM-Research/Phi-3-mini-4k-instruct

# 定义一个函数，用于获取模型和tokenizer
@st.cache_resource
def get_model():
    # 从预训练的模型中获取tokenizer
    tokenizer = AutoTokenizer.from_pretrained(mode_name_or_path, trust_remote_code=True)
    tokenizer.pad_token = tokenizer.eos_token
    # 从预训练的模型中获取模型，并设置模型参数
    model = AutoModelForCausalLM.from_pretrained(mode_name_or_path, torch_dtype=torch.bfloat16, trust_remote_code=True).cuda()
  
    return tokenizer, model

def bulid_input(prompt, history=[]):
    system_format=<s><|system|>\n{content}<|end|>\n
    user_format=<|user|>\n{content}<|end|>\n
    assistant_format=<|assistant|>\n{content}<|end|>\n
    history.append({role:user,content:prompt})
    prompt_str = 
    # 拼接历史对话
    for item in history:
        if item[role]==user:
            prompt_str+=user_format.format(content=item[content])
        else:
            prompt_str+=assistant_format.format(content=item[content])
    return prompt_str + <|assistant|>\n

# 加载Phi-3的model和tokenizer
tokenizer, model = get_model()

# 如果session_state中没有messages，则创建一个包含默认消息的列表
if messages not in st.session_state:
    st.session_state[messages] = []

# 遍历session_state中的所有消息，并显示在聊天界面上
for msg in st.session_state.messages:
    st.chat_message(msg[role]).write(msg[content])

# 如果用户在聊天输入框中输入了内容，则执行以下操作
if prompt := st.chat_input():
    
    # 在聊天界面上显示用户的输入
    st.chat_message(user).write(prompt)
    
    # 构建输入
    input_str = bulid_input(prompt=prompt, history=st.session_state[messages])
    input_ids = tokenizer.encode(input_str, add_special_tokens=False, return_tensors=pt).cuda()
    outputs = model.generate(
        input_ids=input_ids, max_new_tokens=512, do_sample=True,
        top_p=0.9, temperature=0.5, repetition_penalty=1.1, eos_token_id=tokenizer.encode(<|endoftext|>)[0]
        )
    outputs = outputs.tolist()[0][len(input_ids[0]):]
    
    response = tokenizer.decode(outputs)

    response = response.split(<|end|>)[0]
    st.session_state.messages.append({role: assistant, content: response})
    # 在聊天界面上显示模型的输出
    st.chat_message(assistant).write(response)
    # 输出当前session_state中的内容，方便后续的debug
    print(st.session_state)

运行 demo

在终端中运行以下命令，启动streamlit服务，然后在浏览器中打开链接 http://(外部IP):11434，即可看到聊天界面。

streamlit run /Phi_3/compshare-tmp/chatBot.py --server.address 0.0.0.0 --server.port 11434