镜像名称

vllm和sglang最新源码安装镜像

镜像简介

• 功能： 这个镜像是内置的vllm和sglang推理框架，为了方便调试采用源码安装。可通过git切换分支
• 特点： 预装并调试好vllm和sglang

环境与依赖

本镜像构建和运行所需的基础环境。

• 框架及版本： PyTorch 2.9
• CUDA版本： CUDA 13/12.8

配置方法

• sglang

# 切换环境
conda activate sgl
# sglang 启动在线服务
python3 -m sglang.launch_server  --model-path /model/ModelScope/Qwen/Qwen3-0.6B --host 0.0.0.0 --port 8898

• vllm

# 切换环境
conda activate vllm
# vllm 启动在线服务
vllm serve /model/ModelScope/Qwen/Qwen3-0.6B \
  --host 0.0.0.0 \
  --port 8898 \
  --max-model-len 8192  
  --max-num-seqs 1 \
  --max-num-batched-tokens 2048 \
  --gpu-memory-utilization 0.75

环境验证代码

# 验证
curl  http://127.0.0.1:8898/v1/models


# 测试请求
curl http://127.0.0.1:8898/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/model/ModelScope/Qwen/Qwen3-0.6B",
    "messages": [
      {"role": "user", "content": "你好，请介绍一下你自己。"}
    ]
  }'

相关链接

• vllm: https://github.com/vllm-project/vllm
• sglang: https://github.com/sgl-project/sglang