镜像社区
部署GPU实例
文档中心
常见问题(FAQ)
LLM
Gemma-2-9b
Gemma-2-9b镜像集成谷歌轻量级开源大语言模型,基于Gemini同源技术构建,专注文本生成任务(问答/摘要/推理),通过90亿参数优化实现高性能与低资源消耗,支持笔记本到云环境的灵活部署,提供开箱即用的英文文本生成服务。
0/小时
v1.0

Gemma-2-9b部署教程

镜像快速使用教程

1. 待实例初始化完成后,在控制台-应用中打开”JupyterLab“

2. 进入Jupyter后,新建一个终端Terminal,输入以下指令

streamlit run /Gemma-2/compshare-tmp/chatBot.py --server.address 0.0.0.0 --server.port 11434

3. 运行出现如下结果时,即可在浏览器中访问 http://0.0.0.0:11434 ,其中0.0.0.0替换为外网ip,外网ip可以在控制台-基础网络(外)中获取

image

成功进入web界面如下图所示

image

pip 换源加速下载并安装依赖包

# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 einops modelscope streamlit
pip install einops modelscope streamlit==1.24.0 torch transformers  accelerate sentencepiece

模型下载

使用 modelscope 中的 snapshot_download 函数下载模型,第一个参数为模型名称,参数 cache_dir 为模型的下载路径。 在 /Gemma-2/compshare-tmp 路径下新建 download.py 文件并在其中输入以下内容,粘贴代码后记得保存文件,如下图所示。并运行 python /Gemma-2/compshare-tmp/download.py执行下载,模型大小为 18GB左右,下载大概需要 20 分钟。

import torch
from modelscope import snapshot_download
import os
model_dir = snapshot_download(LLM-Research/gemma-2-9b-it, cache_dir=/Gemma-2/compshare-tmp)

这里是可执行文件chatBot.py

# 导入所需的库
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st

# 在侧边栏中创建一个标题和一个链接
with st.sidebar:
    st.markdown(## Gemma2.0 LLM)
    # 创建一个滑块,用于选择最大长度,范围在0到1024之间,默认值为512
    max_length = st.slider(max_length, 0, 1024, 512, step=1)

# 创建一个标题和一个副标题
st.title(💬 Gemma2.0 Chatbot)
st.caption(🚀 A streamlit chatbot powered by Self-LLM)

# 定义模型路径
path = /Gemma-2/compshare-tmp/LLM-Research/gemma-2-9b-it

# 定义一个函数,用于获取模型和tokenizer
@st.cache_resource
def get_model():
    print(Creat tokenizer...)
    tokenizer = AutoTokenizer.from_pretrained(path)
    print(Creat model...)
    model = AutoModelForCausalLM.from_pretrained(path, device_map=cuda, torch_dtype=torch.bfloat16,)
  
    return tokenizer, model

# 加载emma-2-9b-it的model和tokenizer
tokenizer, model = get_model()

# 如果session_state中没有messages,则创建一个包含默认消息的列表
if messages not in st.session_state:
    st.session_state[messages] = []

# 遍历session_state中的所有消息,并显示在聊天界面上
for msg in st.session_state.messages:
    st.chat_message(msg[role]).write(msg[content])

# 如果用户在聊天输入框中输入了内容,则执行以下操作
if prompt := st.chat_input():
    # 将用户的输入添加到session_state中的messages列表中
    st.session_state.messages.append({role: user, content: prompt})

    # 在聊天界面上显示用户的输入
    st.chat_message(user).write(prompt)

    # 调用模型
    inputs = tokenizer.apply_chat_template(st.session_state.messages, tokenize=False, add_generation_prompt=True)
    inputs = tokenizer.encode(inputs, add_special_tokens=False, return_tensors=pt)
    outputs = model.generate(input_ids=inputs.to(model.device), max_new_tokens=150)
    outputs = tokenizer.decode(outputs[0])
    response = outputs.split(model)[-1].replace(<end_of_turn>\n<eos>, )

    # 将模型的输出添加到session_state中的messages列表中
    st.session_state.messages.append({role: model, content: response})

    # 在聊天界面上显示模型的输出
    st.chat_message(model).write(response)

    # print(st.session_state)

在终端中运行以下命令,启动streamlit服务

streamlit run /Gemma-2/compshare-tmp/chatBot.py --server.address 0.0.0.0 --server.port 11434

在浏览器打开 http://(外部ip):11434 界面,模型加载,即可使用。

镜像信息
@敢敢のwings
已使用
3
镜像大小50GB
最近编辑2024-12-02
支持卡型
RTX40系48G RTX40系30902080
+4
框架版本
PyTorch-CUDA-12.4
CUDA版本
12.4
应用
JupyterLab: 8888
版本
v1.0
2025-07-11
PyTorch:CUDA-12.4 | CUDA:12.4 | 大小:50.00GB
优云智算 | Gemma-2-9b一键部署