镜像社区
部署GPU实例
文档中心
常见问题(FAQ)
LLM
DeepSeek
DeepSeek-V2-Lite
DeepSeek-V2 镜像,需要两个4090 GPU来完成运行,这里提供了一个Web端以供使用者二次开发
0/小时
v1.0

DeepSeek-Coder-V2-Lite-Instruct 镜像部署

快速运行镜像Demo步骤

1. 先选择GPU型号,再点击“立即部署” (该镜像建议2卡4090运行)

image

2. 待实例初始化完成后,在控制台-应用中打开“JupyterLab”

image

3. 进入Jupyter后,新建一个终端Terminal,输入以下指令

streamlit run /deepseek/chatBot.py --server.address 0.0.0.0 --server.port 11434

4. 运行出现如下结果时,即可在浏览器中访问 http://0.0.0.0:11434 ,其中0.0.0.0替换为外网ip,外网ip可以在控制台-基础网络(外)中获取

image

成功进入web界面如下图所示

image

环境准备

本文基础环境如下:

----------------
ubuntu 22.04
cuda 12.4
----------------

本文默认学习者已安装好以上 Pytorch(cuda) 环境,如未安装请自行安装。

接下来开始环境配置、模型下载和运行演示 ~

pip 换源加速下载并安装依赖包

# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 升级pip
python -m pip install --upgrade pip

pip install modelscope==1.16.1
pip install langchain==0.2.3
pip install streamlit==1.37.0
pip install transformers==4.43.2
pip install accelerate==0.32.1

模型下载

使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径,参数revision为模型的版本,master代表主分支,为最新版本。

/root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。并运行 python /root/autodl-tmp/download.py 执行下载,模型大小为 40 GB,下载模型大概需要 20 钟。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os

model_dir = snapshot_download(deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct, cache_dir=/deepseek/compshare-tmp, revision=master)

代码准备

/deepseek/compshare-tmp路径下新建 chatBot.py 文件并在其中输入以下内容,粘贴代码后记得保存文件。chatBot.py代码如下

# 导入所需的库
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch
import streamlit as st

# 在侧边栏中创建一个标题和一个链接
with st.sidebar:
    st.markdown(## Index-1.9B-chat LLM)
    [开源大模型食用指南 self-llm](https://github.com/datawhalechina/self-llm.git)
    # 创建一个滑块,用于选择最大长度,范围在0到1024之间,默认值为512
    max_length = st.slider(max_length, 0, 1024, 512, step=1)

# 创建一个标题和一个副标题
st.title(💬 DeepSeek-Coder-V2-Lite-Instruct)
st.caption(🚀 A streamlit chatbot powered by Self-LLM)

# 定义模型路径
model_name_or_path = /deepseek/compshare-tmp/deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct

# 定义一个函数,用于获取模型和tokenizer
@st.cache_resource
def get_model():
    # 从预训练的模型中获取tokenizer
    tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=False, trust_remote_code=True)
    # 从预训练的模型中获取模型,并设置模型参数
    model = AutoModelForCausalLM.from_pretrained(model_name_or_path, torch_dtype=torch.bfloat16,  device_map=auto, trust_remote_code=True)
  
    return tokenizer, model

# 加载 DeepSeek-Coder-V2-Lite-Instruct 的model和tokenizer
tokenizer, model = get_model()

# 如果session_state中没有messages,则创建一个包含默认消息的列表
if messages not in st.session_state:
    st.session_state[messages] = [{role: assistant, content: 有什么可以帮您的?}]

# 遍历session_state中的所有消息,并显示在聊天界面上
for msg in st.session_state.messages:
    st.chat_message(msg[role]).write(msg[content])

# 如果用户在聊天输入框中输入了内容,则执行以下操作
if prompt := st.chat_input():
    # 将用户的输入添加到session_state中的messages列表中
    st.session_state.messages.append({role: user, content: prompt})
    # 在聊天界面上显示用户的输入
    st.chat_message(user).write(prompt)
    
    # 构建输入     
    input_ids = tokenizer.apply_chat_template(st.session_state.messages,tokenize=False,add_generation_prompt=True)
    model_inputs = tokenizer([input_ids], return_tensors=pt).to(cuda)
    generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)
    generated_ids = [
        output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
    ]
    response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
    # 将模型的输出添加到session_state中的messages列表中
    st.session_state.messages.append({role: assistant, content: response})
    # 在聊天界面上显示模型的输出
    st.chat_message(assistant).write(response)
    # print(st.session_state)

运行demo

在终端中运行以下命令,启动streamlit服务

streamlit run /deepseek/chatBot.py --server.address 0.0.0.0 --server.port 11434

输入外部IP点击访问,即可看到聊天界面。

镜像信息
@敢敢のwings
已使用
8
镜像大小60GB
最近编辑2024-11-28
支持卡型
RTX40系48G RTX40系2080
+3
框架版本
PyTorch-Ubuntu22.04+CUDA12.4
CUDA版本
12.4
应用
JupyterLab: 8888
自定义开放端口
11434
+1
版本
v1.0
2025-07-02
PyTorch:Ubuntu22.04+CUDA12.4 | CUDA:12.4 | 大小:60.00GB