镜像社区

部署GPU实例

模型与Agent

控制台

立即注册

OrcaCyber专为AI防御安全而生

Name: OrcaCyber专为AI防御安全而生
Author: 鸡你太美

OrcaCyber Nano 专为 AI 防御、漏洞研究、代码安全以及事件响应而生

镜像大小

80 GB

当前版本

v1.2

累计部署

1 次

累计运行

0 h

运行环境

框架版本

PyTorch-2.13.0

CUDA版本

13.2

应用

JupyterLab: 8888

支持卡型

3090RTX50系

OrcaCyber Nano 专为 AI 防御、漏洞研究、代码安全以及事件响应而生

交流加群

bug反馈可以加入科哥专属群交流➕ 广告勿进！

已经设置开机运行首次开机 1-2分钟

AI 大模型程序使用免责声明【必看！！！必看！！！】

本程序提供的 AI文本大模型问答功能仅用于技术研究与合法娱乐，严禁用于任何违反法律法规、侵犯他人肖像权、名誉权及其他合法权益的行为。

用户使用本程序时，应确保已获得相关主体的明确授权，对内容的合法性、真实性负责。因用户不当使用本程序导致的任何法律纠纷、民事赔偿或行政处罚，均由用户自行承担，本程序开发者及运营方不承担任何责任。

本程序仅提供技术工具，不对用户生成内容的用途及后果负责。请用户遵守《中华人民共和国网络安全法》《中华人民共和国民法典》等相关法律法规，合理合规使用本功能。

食用前须知：

改大模型已经进行破限量化有问必答
使用前请遵守法律法规
仅供学习研究之用不得做违法事情！！！

模型仓库地址:

https://huggingface.co/orcarouter/OrcaCyber-Nano-1.0

已经设置开机运行首次加载大模型时间比较久 3-5分钟
打开【WebUI】即可进入使用界面；

有问题请微信科哥： 312088415

【插入一个小广告给需要做ai视频，图片，短剧等多一个选择】：
✅主打廉价稳定模型中转站推荐：https://vip.kegeai.top
✅杀疯了！！！在线sd2.5模型最低6毛钱一秒！！！
✅ai大模型：gpt，claude，gemini，deepseek...数百种主流模型
✅最新图片模型：gpt-image2，香蕉2，香蕉pro，即梦，豆包，万相...
✅最新视频模型：sd2，快乐马，grok，veo3，sora2，vidu，可灵...
✅并发高，收费合理（价格优先速度优先）
以上模型均支持API，龙虾CLI接入，web浏览器在线使用！
✅使用地址：https://wy6688.token6688.com/‬
✅GPT模型编程模型推荐：
✅如果你需要满血得的GPT模型
✅请大胆尝试：https://ai.aiaiai001.com/
✅GPT pro号池最低0.3x倍率节省90%+费用
✅pro 100+单个用户最高并发满血使用
在线图片、视频生成网站哈基米AI聚合平台：https://link8.lk888.ai/
企业高并发AIGC接口无限画布平台： https://api.api4me.xyz
✅ gpt-image2.5 几分钱特价中！
✅ gpt-image2/香蕉低至几分钱一张
✅性价比sd2 sd2-fast sd2-mini过真人脸在线生成
✅MiniMax H3
✅veo3-fast视频几毛八秒
✅更多特价AI模型接入中
技术微信：312088415

咨询问题前请注意：
1.先说明哪个镜像，发镜像链接和名称，例如：
Qwen3.8-27B Unleashed文本大模型支持webui和api调用破限为所欲为特别版
2.先拿到运行报错的log日志或者截图：
没有上面的信息我也没有办法帮到你的，因为镜像比较多，我不清楚你问的哪个镜像的
感谢使用！感谢理解！感谢支持！

OrcaCyber-Nano-1.0 用户使用手册

面向最终用户的操作指南：从启动服务到实际使用，涵盖网页界面、API 调用、主要功能与常见问题（FAQ）。本手册不包含安装、编译、模型下载等部署步骤（已完成部署的环境可直接使用）。

1. 产品简介

OrcaCyber-Nano-1.0 是一个 27B 参数的视觉-语言推理大模型，针对网络安全防御工作做了专门的后训练，同时保留了通用编程与推理能力。模型自我标识为 "OrcaCyber Nano 1.0 AI Defense Model"。

擅长的任务：

类别	说明
逆向工程	分析反汇编/反编译输出、识别函数逻辑、解释指令序列
漏洞分析	代码审计、发现潜在漏洞、评估可利用性
安全代码评审	代码 diff 审查、安全规范检查、修复建议
日志/告警研判	大量日志与告警的分类、定性、处置建议
事件响应	事故梳理、影响面判断、响应步骤建议
通用能力	编程、数学推理、文本处理（MATH-500 98.6%、HumanEval+ 93.3% 等）

本部署提供的能力：

OpenAI 兼容 HTTP API：任何支持自定义 base_url 的客户端（OpenAI SDK、LangChain、Cherry Studio、LobeChat 等）都能直接接入。
内置网页聊天界面：开箱即用，无需额外部署。
视觉输入：支持粘贴/上传图片（截图、IDA/Ghidra 截图、网络拓扑图等）和视频。
思维链推理：模型会先"思考"再作答，可通过参数控制。
函数调用（Function Calling）：可接入工具，构建自动化安全 agent。
DFlash2 投机解码：生成速度显著提升（约 35–52 token/s）。

服务标识：

项目	值
模型名（model）	`orcacyber-nano`
API 地址（base_url）	`http://<主机IP>:7860/v1`
网页界面	`http://<主机IP>:7860/`
上下文长度	32768 tokens（训练上限 262144）

2. 快速开始：三步启动服务

第 1 步：启动服务

进入项目目录，运行启动脚本：

cd /root/OrcaCyber-Nano-1.0

# 前台运行（终端关闭服务即停止，适合调试）
./start_app.sh

# 后台运行（推荐，日志写入 llama-server.log，打印 PID 后立即返回）
./start_app.sh --daemon

说明：启动脚本会自动完成前置检查——释放被占用的 7860 端口、清理占用显存的其他进程，然后以正确的参数拉起服务。你不需要手动杀进程。

启动过程约需 30–40 秒（加载约 18 GB 模型到显卡）。

第 2 步：验证服务是否就绪

另开一个终端执行：

# 健康检查，返回 {"status":"ok"} 即正常
curl -s http://127.0.0.1:7860/health

# 查看已加载的模型信息
curl -s http://127.0.0.1:7860/v1/models

或写一个最小对话测试：

curl -s http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "orcacyber-nano",
    "messages": [{"role": "user", "content": "Say OK"}],
    "max_tokens": 20
  }'

返回 JSON 中 choices[0].message.content 有内容即启动成功。

第 3 步：开始使用

网页用户：浏览器打开 http://<主机IP>:7860/
程序接入：见第 4 节

3. 使用网页界面（Web UI）

浏览器访问 http://<主机IP>:7860/ 即可，无需登录。

3.1 基本对话

在底部输入框输入问题，回车发送。
模型回复会流式输出；若模型先进入思考阶段，会先展示思考过程，再给出正式回答。
多轮对话自动携带上下文（会占用 32k 上下文窗口，过长时建议开新会话）。

3.2 图片输入（视觉能力）

点击输入框旁的 附件/图片按钮（或直接粘贴剪贴板图片）。
典型用法：粘贴反汇编截图、崩溃堆栈截图、告警面板截图、网络拓扑图。
在图片后附上文字说明你想要的分析，例如："这张 IDA 截图中的函数在做什么？有无越界风险？"

3.3 常用界面设置

在界面的设置面板中可调整：

设置项	建议
Temperature（温度）	安全分析/代码审计建议 0.2–0.6（更严谨）；头脑风暴可 0.8–1.0
Max tokens	长日志分析、深度审计调大（如 8192）；简单问答调小可加速
系统提示词（System Prompt）	可固定角色，例如："你是一名资深二进制安全分析师，回答需给出证据和推理依据"
流式输出开关	默认开启，体验更流畅

服务端默认采样参数为 temp=1.0, top_p=0.95, top_k=20，可在界面中按请求覆盖。

4. 使用 API 进行对话

服务完全兼容 OpenAI Chat Completions 规范。未配置 API Key，任意字符串的 key 均可通过校验（仅限受信任内网使用，见 FAQ Q9）。

4.1 curl 示例

基础对话：

curl -s http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer dummy-key" \
  -d '{
    "model": "orcacyber-nano",
    "messages": [
      {"role": "system", "content": "你是一名资深二进制安全分析师"},
      {"role": "user", "content": "解释一下栈溢出的基本原理和常见缓解措施"}
    ],
    "temperature": 0.3,
    "max_tokens": 2048
  }'

流式输出（SSE，逐字返回）：

curl -sN http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer dummy-key" \
  -d '{
    "model": "orcacyber-nano",
    "messages": [{"role": "user", "content": "写一个 Python 端口扫描器"}],
    "stream": true
  }'

带图片输入（视觉）：

curl -s http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "orcacyber-nano",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "这张截图里显示了什么漏洞？"},
        {"type": "image_url", "image_url": {"url": "https://example.com/screenshot.png"}}
      ]
    }],
    "max_tokens": 2048
  }'

图片 URL 支持三种形式：

远程 http(s):// 地址
data:image/png;base64,xxxx（Base64 内联，最常用）
本地 file:///path/to/img.png（需服务端配置 --media-path，当前部署默认未开启）

4.2 Python 示例（openai SDK）

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:7860/v1",
    api_key="dummy-key",   # 未配置鉴权，任意字符串即可
)

resp = client.chat.completions.create(
    model="orcacyber-nano",
    messages=[
        {"role": "system", "content": "你是一名资深代码审计工程师"},
        {"role": "user", "content": "审查这段代码是否有 SQL 注入：\n```python\ncur.execute(f\"SELECT * FROM users WHERE name='{name}'\")\n```"},
    ],
    temperature=0.3,
    max_tokens=4096,
)
print(resp.choices[0].message.content)
print("本次消耗 tokens:", resp.usage)

流式：

stream = client.chat.completions.create(
    model="orcacyber-nano",
    messages=[{"role": "user", "content": "列出 OWASP Top 10"}],
    stream=True,
)
for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="", flush=True)

4.3 获取思维链（推理内容）

服务端启用了 --reasoning-format auto，模型的思考过程在 reasoning_content 字段中返回：

msg = resp.choices[0].message
print("思考过程:", getattr(msg, "reasoning_content", None))
print("最终回答:", msg.content)

如不需要思考内容以节省 token，可在请求中传 "reasoning_effort": "low" 或 "none"（视客户端支持情况）。

4.4 函数调用（Function Calling）

服务端已启用 --jinja，支持标准 OpenAI tools 参数：

resp = client.chat.completions.create(
    model="orcacyber-nano",
    messages=[{"role": "user", "content": "查一下 192.168.1.10 开放了哪些端口"}],
    tools=[{
        "type": "function",
        "function": {
            "name": "scan_ports",
            "description": "对目标主机执行端口扫描",
            "parameters": {
                "type": "object",
                "properties": {
                    "host": {"type": "string"},
                    "ports": {"type": "string", "description": "如 1-1024"}
                },
                "required": ["host"],
            },
        },
    }],
    tool_choice="auto",
)
# 若模型请求调用工具，消息中会出现 tool_calls，执行后把结果以 role="tool" 回传即可

5. 主要功能介绍

5.1 安全防御专项能力（核心卖点）

模型经过安全领域专项微调，直接把安全材料丢给它即可：

逆向分析：粘贴反汇编/伪代码，要求还原函数语义、识别关键逻辑、定位漏洞点。
漏洞挖掘：提供源码或 diff，要求找出内存破坏、注入、权限绕过等问题并解释利用路径。
告警研判：粘贴大量日志/EDR 告警，让模型去重、分级（真阳性/误报）、给出处置动作。
应急响应：给出事故现象，让模型输出排查步骤、取证清单、封禁建议。

5.2 视觉输入（多模态）

支持文本 + 图片/视频输入。适用：IDA/Ghidra 截图、Wireshark 抓包图、告警面板、架构图、白板拍照等。技巧：图片 + 明确的问题描述效果最好；一张图只问一个核心问题。

5.3 长上下文对话

上下文窗口 32768 tokens（约数万字），配合服务端 prompt 缓存（--cache-prompt），多轮对话时重复前缀不再重复计费，响应更快。

5.4 投机解码加速

部署时启用了 DFlash2 草稿模型（--spec-type draft-dflash），由 2GB 小模型预先猜测、大模型批量验证，显著提升生成速度。日志中的 draft acceptance 即草稿命中率（0.14–0.43 属正常波动）。

5.5 并发与流式

支持 SSE 流式输出（"stream": true）。
支持可续传流接口 /v1/stream（断线后可从断点恢复）。
当前为 -np 1 单槽位：同一时刻只有一个请求在生成，其余排队（见 FAQ Q6）。

6. 典型使用场景（安全分析实战）

场景 A：日志/告警批量研判

你是 SOC 分析师助手。以下是今天收到的 50 条防火墙告警（粘贴内容）。
请：
1. 去重合并同类项
2. 标注每类的严重级别（高/中/低）并给出依据
3. 对高危项给出下一步排查和处置动作
输出为表格。

场景 B：代码审计

审计以下代码（粘贴代码块），重点检查：注入、越权、硬编码凭据、不安全反序列化。
每个问题按 [严重性] 位置: 问题 描述 / 攻击场景 / 修复建议 格式输出。
无问题的维度明确说明"未发现"。

场景 C：逆向工程

以下是从 IDA 导出的伪代码（粘贴），请：
1. 描述函数整体逻辑
2. 说明输入如何影响分支
3. 指出潜在的缓冲区溢出/整数溢出位置并解释原因

场景 D：图片 + 文本混合分析

上传一张崩溃堆栈截图，提问："根据这个堆栈，最可能的根因是什么？给出验证方法。"

场景 E：接入自动化工具链

用 Python + openai SDK 封装上述 API，把模型的函数调用结果接到你自己的扫描器/沙箱，实现半自动化研判流水线。

7. 常用运维操作

7.1 查看服务状态

# 进程是否存活
pgrep -af "llama-server --host"

# 端口监听
ss -ltnp | grep 7860

# 显存占用（正常约 21.5 GB / 24 GB）
nvidia-smi --query-gpu=memory.used,memory.total --format=csv,noheader

# 实时日志
tail -f /root/OrcaCyber-Nano-1.0/llama-server.log

7.2 停止服务

pkill -TERM -f "llama-server --host"
# 等待显存释放（用 nvidia-smi 确认显存降到接近 0）后再做其他操作

7.3 重启服务（换配置后必须）

pkill -TERM -f "llama-server --host"
# 等 nvidia-smi 显示显存已释放
./start_app.sh --daemon

也可直接再次运行 ./start_app.sh：脚本会自动终止占用 7860 端口的旧进程并清理显存，然后重新启动。

7.4 换端口启动

PORT=9000 ./start_app.sh --daemon

换端口前无需手动杀旧进程（脚本会处理），但同一时刻只能有一个实例——24GB 显卡只装得下一个模型。

7.5 自定义上下文长度 / 显存层数

CTX=16384 NGL=99 ./start_app.sh --daemon   # 缩小上下文，节省显存

7.6 启动后的冒烟测试（推荐每次重启后执行）

curl -s http://127.0.0.1:7860/health
curl -s http://127.0.0.1:7860/v1/models
curl -s --compressed -o /dev/null -w '%{http_code}\n' http://127.0.0.1:7860/   # 网页界面

三项分别返回 {"status":"ok"}、模型 JSON、200 即一切正常。

8. 可调整的配置项

启动脚本 start_app.sh 支持通过环境变量调整（在命令前加 KEY=VALUE）：

环境变量	默认值	说明
`PORT`	`7860`	监听端口
`HOST`	`0.0.0.0`	监听地址；仅本机使用可改为 `127.0.0.1`（更安全）
`CTX`	`32768`	上下文窗口（tokens）。调小可省显存、支持更长上下文需显存
`NGL`	`99`	放入 GPU 的层数（99 = 全部）
`NP`	`1`	并行槽位数。24GB 显卡建议保持 1，调大易显存溢出
`MODELS_DIR`	`./models`	模型文件目录
`LOG_FILE`	`./llama-server.log`	后台模式日志路径

服务端默认采样参数（可在每次请求中覆盖）：temperature=1.0、top_p=0.95、top_k=20。

9. 接口速查表

接口	方法	用途	状态
`/`	GET	网页聊天界面	✅
`/health`	GET	健康检查	✅
`/v1/models`	GET	模型列表与信息	✅
`/v1/chat/completions`	POST	主对话接口（支持流式、图片、函数调用）	✅
`/v1/completions`	POST	文本补全（传统）	✅
`/v1/responses`	POST	OpenAI Responses API	✅
`/v1/messages`	POST	Anthropic Messages 兼容接口	✅
`/v1/embeddings`	POST	向量嵌入	✅
`/tokenize` `/detokenize`	POST	分词 / 反分词	✅
`/slots`	GET	查看槽位/KV 缓存状态	✅
`/metrics`	GET	Prometheus 指标	❌ 未启用
`/v1/messages` Anthropic、GCP 兼容路由	—	其他厂商格式兼容	✅

请求/响应错误均遵循 OpenAI 格式：{"error": {"code": ..., "message": ..., "type": ...}}。

10. 常见问题 FAQ

Q1：启动后多久可以使用？怎么确认起来了？

A：模型加载约 30–40 秒。用 curl -s http://127.0.0.1:7860/health 返回 {"status":"ok"} 即就绪。加载期间访问会连接失败或返回错误，属正常，稍等即可。

Q2：浏览器能打开网页，但 `curl` 访问报 `415 gzip is not supported`？

A：不是服务故障，是 curl 没带压缩协商头。加 --compressed 即可：

curl --compressed http://127.0.0.1:7860/

浏览器访问完全不受影响。

Q3：网页打不开 / 连接被拒绝？

A：按顺序排查：

服务是否在跑：pgrep -af "llama-server --host"；没跑则 ./start_app.sh --daemon。
端口是否监听：ss -ltnp | grep 7860。
防火墙/安全组是否放行 7860（尤其是从其他机器访问时）。
用 http://（非 https）访问，端口不带默认 443。

Q4：显存溢出（CUDA out of memory）怎么办？

A：常见原因与对策：

同时跑了两个服务实例：pkill -TERM -f "llama-server --host" 后等显存释放再启动。每个实例占约 21.5GB，24GB 卡只能跑一个。
其他程序占了显存：nvidia-smi 查看；直接再跑一次 ./start_app.sh，脚本会自动清理占用显存的外来进程。
调大了 CTX 或 NP：恢复默认 CTX=32768 NP=1。24GB 显卡上提高并发/上下文需谨慎。

Q5：生成速度慢 / 回答很慢？

A：检查与优化：

确认没跑错（日志里 draft acceptance 正常说明投机解码生效）。
输入过长会拖慢首字时间——prompt 越长，预填充越久（约 1000 token/s）。
调小 max_tokens，关闭不需要的思考（reasoning_effort: "low"）。
tail -f llama-server.log 观察实时速度（正常生成约 35–52 token/s）。
后台有其他任务在抢 GPU 时速度会下降。

Q6：多个请求同时发会怎样？

A：当前为单槽位（-np 1），请求按序排队，不是并发执行。第二个请求会等待第一个完成。24GB 显卡上不建议调大 NP（KV 缓存易溢出）。需要高并发时建议加卡或使用模型路由部署多实例。

Q7：请求返回 400/404/500 错误？

A：看响应体中的 error.message：

model ... not found：model 必须填 orcacyber-nano。
上下文超长（context length exceeded）：缩短输入或开新会话；可用 /tokenize 接口先数 token。
输入图片无法读取：确认 URL 可从服务端访问，或改用 base64 内联。
其余情况查看 llama-server.log 中的堆栈定位。

Q8：图片能发但模型"看不懂"图？

A：视觉任务建议：截图保证清晰可读（文字别糊）；问题写具体（"截图第 3 行的函数名是什么"优于"分析这张图"）；单图单问题。日志中偶见的 find_slot: non-consecutive token position 是多模态处理的正常提示，可忽略。

Q9：安全性要注意什么？

A： 当前部署未设置 API Key、监听 0.0.0.0:7860，且不限制 CORS——任何能访问该端口的人都可免费调用模型。 请：

仅在受信任的内网/本机环境使用；
如需对外或多人共用，在启动参数中加 --api-key <密钥>（或设置环境变量 LLAMA_API_KEY），并配置 --cors-origins；
仅本机使用时可 HOST=127.0.0.1 ./start_app.sh；
不要把该端口直接暴露到公网。

Q10：换端口 / 改配置为什么必须先停旧服务？

A：旧实例会一直占着约 21.5GB 显存，新实例起来必然显存溢出。必须先 pkill -TERM -f "llama-server --host" 并等 nvidia-smi 显示显存释放，再启动新的。使用 ./start_app.sh 启动可省去此步骤——脚本的 pre-flight 会自动释放端口和显存。

Q11：日志里这些警告要紧吗？

A：以下均属正常现象，无需处理：

dflash requires ctx_other to be set ... / failed to measure the memory of the extra model —— 启动阶段显存试算提示，之后正常加载。
model has unused tensor blk.64.* —— 使用 DFlash2 草稿模型时主模型 MTP 头被跳过，预期行为。
security: no API key is set and CORS allows all origins —— 安全提示，见 Q9，按需处理。
chat template supports preserving reasoning... —— 思维链保留已默认开启。
find_slot: non-consecutive token position —— 图片输入时的常见提示。

需要警惕的是 OOM、assert 失败、connection refused 等真实错误。

Q12：服务崩溃或机器重启后如何恢复？

A：无需修复，直接：

cd /root/OrcaCyber-Nano-1.0
./start_app.sh --daemon
# 等 30–40 秒后验证
curl -s http://127.0.0.1:7860/health

Q13：能否开机自启 / 对外提供服务？

A：可以，将 ./start_app.sh --daemon 写入 crontab 的 @reboot 或 systemd 服务即可实现开机自启。对外服务务必先按 Q9 配置 API Key 与防火墙。

Q14：模型叫什么？客户端该怎么填？

A：

接口地址:   http://<主机IP>:7860/v1
模型名称:   orcacyber-nano
API Key:    任意字符串（未配置鉴权时）
协议:       OpenAI Chat Completions 兼容

Q15：能改模型 / 上下文更大吗？

A：上下文可在 CTX 环境变量中调整，但受 24GB 显存限制，32768 是当前量化下的稳妥值。更换模型需替换 start_app.sh 中的模型路径并重新下载对应 GGUF（如更小的 13G 版本可换取更大上下文/并发），属部署操作，参考 HANDOFF.md。

附：一页速查

# 启动
cd /root/OrcaCyber-Nano-1.0 && ./start_app.sh --daemon

# 验证
curl -s http://127.0.0.1:7860/health          # {"status":"ok"}

# 网页使用
# 浏览器打开 http://<主机IP>:7860/

# API 调用
curl -s http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"orcacyber-nano","messages":[{"role":"user","content":"你好"}]}'

# 看日志
tail -f llama-server.log

# 停止
pkill -TERM -f "llama-server --host"

鸡鸡你太美

认证作者

个人主页

0 个镜像 · 被使用 1 次

交流与支持

扫码加入交流群

作者与用户在群内答疑

版本日志

v1.2最新

2026-10-19

OrcaCyber Nano 专为 AI 防御、漏洞研究、代码安全以及事件响应而生

v1.1

2026-10-19

OrcaCyber Nano 专为 AI 防御、漏洞研究、代码安全以及事件响应而生

v1.0

2026-10-19

OrcaCyber Nano 专为 AI 防御、漏洞研究、代码安全以及事件响应而生

评分

0.0

暂无评分

我的评分

未评分

OrcaCyber专为AI防御安全而生

运行环境

OrcaCyber Nano 专为 AI 防御、漏洞研究、代码安全以及事件响应而生

交流加群

AI 大模型程序使用免责声明【必看！！！必看！！！】

食用前须知：

模型仓库地址:

OrcaCyber-Nano-1.0 用户使用手册

目录

1. 产品简介

2. 快速开始：三步启动服务

第 1 步：启动服务

第 2 步：验证服务是否就绪

第 3 步：开始使用

3. 使用网页界面（Web UI）

3.1 基本对话

3.2 图片输入（视觉能力）

3.3 常用界面设置

4. 使用 API 进行对话

4.1 curl 示例

4.2 Python 示例（openai SDK）

4.3 获取思维链（推理内容）

4.4 函数调用（Function Calling）

5. 主要功能介绍

5.1 安全防御专项能力（核心卖点）

5.2 视觉输入（多模态）

5.3 长上下文对话

5.4 投机解码加速

5.5 并发与流式

6. 典型使用场景（安全分析实战）

场景 A：日志/告警批量研判

场景 B：代码审计

场景 C：逆向工程

场景 D：图片 + 文本混合分析

场景 E：接入自动化工具链

7. 常用运维操作

7.1 查看服务状态

7.2 停止服务

7.3 重启服务（换配置后必须）

7.4 换端口启动

7.5 自定义上下文长度 / 显存层数

7.6 启动后的冒烟测试（推荐每次重启后执行）

8. 可调整的配置项

9. 接口速查表

10. 常见问题 FAQ

Q1：启动后多久可以使用？怎么确认起来了？

Q2：浏览器能打开网页，但 curl 访问报 415 gzip is not supported？

Q3：网页打不开 / 连接被拒绝？

Q4：显存溢出（CUDA out of memory）怎么办？

Q5：生成速度慢 / 回答很慢？

Q6：多个请求同时发会怎样？

Q7：请求返回 400/404/500 错误？

Q8：图片能发但模型"看不懂"图？

Q9：安全性要注意什么？

Q10：换端口 / 改配置为什么必须先停旧服务？

Q11：日志里这些警告要紧吗？

Q12：服务崩溃或机器重启后如何恢复？

Q13：能否开机自启 / 对外提供服务？

Q14：模型叫什么？客户端该怎么填？

Q15：能改模型 / 上下文更大吗？

附：一页速查

Q2：浏览器能打开网页，但 `curl` 访问报 `415 gzip is not supported`？