Qwen3.8-27B-NVFP4-24K 推理镜像

面向双 NVIDIA RTX 5090 32GB 的 Qwen3.8-27B NVFP4 推理环境，提供 OpenAI 兼容 API。

模型信息

项目	配置
模型 ID	qwen3.8-27b-nvfp4-262k
权重路径	/model/ModelScope/RadixArk/Qwen3.8-27B-NVFP4
上下文上限	26,214,4 tokens
最大并发	5
API 端口	30000
权重量化	NVFP4
KV Cache	FP8
Attention	FlashInfer
运行环境	CUDA 13 / PyTorch 2.11

已开启功能

• MTP / EAGLE 推测解码
• Vision 图片理解
• Decode 与 Prefill CUDA Graph
• Radix Prefix Cache
• FlashInfer Attention
• Chunked Prefill
• Qwen3 Reasoning Parser
• Qwen3 Coder Tool Call Parser
• Supervisor 自动拉起及异常恢复
• HTTP 健康检查

使用条件

• NVIDIA RTX 5090 32GB x2
• NVIDIA 驱动兼容 CUDA 13，已验证驱动版本 595.80
• 新实例必须能够访问以下只读模型目录：

/model/ModelScope/RadixArk/Qwen3.8-27B-NVFP4