一条命令把 llama-server 变成本地 OpenAI / Anthropic 接口（6GB 笔记本可用的参数）
llama-server 同时提供 OpenAI 兼容和 Anthropic 兼容接口，pi、Codex、Claude Code 都能直接连。这里给出我们在 6GB 笔记本上跑智能体时实际用的参数，以及每个参数的作用。
命令
llama-server -m model.gguf --alias lfm25 \
--host 127.0.0.1 --port 8080 \
-c 32768 -ngl 99 -ncmoe 36 -fa on -ctk q8_0 -ctv q8_0 -np 1 \
--jinja --metrics --no-webui -t 10起来以后检查一下：
curl -sf http://127.0.0.1:8080/health参数说明
| 参数 | 作用 | 我们的取值理由 |
|---|---|---|
--alias |
对外的模型名 | 客户端里填同一个名字 |
--host 127.0.0.1 |
只监听本机 | 不暴露到局域网 |
-c 32768 |
上下文长度 | 智能体提示词动辄上万 token，16K 不够 |
-ngl 99 -ncmoe N |
全部层上 GPU，前 N 层专家回 CPU | MoE 模型在小显存上的关键，见调参实测 |
-fa on |
Flash Attention | 省显存 |
-ctk/-ctv q8_0 |
KV cache 量化 | 16K 时比 f16 省约 490 MiB |
-np 1 |
单并发槽位 | 一个人用，不分上下文 |
--jinja |
用模型自带的对话模板 | 工具调用必须加 |
--metrics |
开 Prometheus 指标 | 方便记录 |
Qwen 这类带思考链的模型，我们另加了 --reasoning-format deepseek，把思考内容单独分出来。
接口
- OpenAI 兼容：
/v1/chat/completions，Codex、pi 走这个； - Anthropic 兼容：
/v1/messages，Claude Code 走这个。
客户端的 key 填任意值即可，数据不出本机。