教程
一步步的部署与配置记录:命令、参数、失败现场和验收标准都写清楚,照着做即可复现。
这些教程怎么读
每一步都给出可复制的命令和判断标准;失败的地方照样保留,并写明当时的环境与版本。命令和版本以文章里的实测记录为准,厂商文档有更新时以官方为准。
教程列表
Claude Code 接 llama.cpp 本地模型:能跑,但 32K 上下文先被吃掉一半
llama-server 自带 Anthropic 兼容接口,Claude Code 改个地址就能连本地模型。我们在 6GB 笔记本上跑通了;但它的系统提示词约 1.6 万 token,小上下文模型上会出现“Prompt is too long”。
阅读正文Codex CLI 接本地模型:配置写法,和那 12 次 “expected i32”
用自定义 model_provider 把 Codex CLI 指向 llama-server。LFM2.5-24B 上 12 项全过,但工具参数类型错了 12 次,它靠重试自救,第一次修 bug 跑了 599 秒。
阅读正文llama.cpp CUDA 编译教程:Windows 笔记本用 WSL2 跑通 RTX 3060
在 Windows 11 笔记本上,用 WSL2 + CUDA 12.8 编译 llama.cpp,生成 llama-server、llama-bench。我们所有 6GB 实测都用这套环境,三个参数最容易填错。
阅读正文llama.cpp 跑 MoE,把专家层全扔给 CPU 反而快 4 倍:-ncmoe 调参实测
6GB 笔记本上,Qwen3.6-35B-A3B 的专家层全放 GPU 时生成 5.2 t/s,全放内存时 21.5 t/s,显存还少一半。但这不是定律:LFM2.5-24B 的最优点在中间。
阅读正文一条命令把 llama-server 变成本地 OpenAI / Anthropic 接口(6GB 笔记本可用的参数)
llama-server 同时提供 OpenAI 兼容和 Anthropic 兼容接口,pi、Codex、Claude Code 都能直接连。这里给出我们在 6GB 笔记本上跑智能体时实际用的参数,以及每个参数的作用。
阅读正文国内下载 Hugging Face 大模型太慢?并发 Range 分块下载实测
下 16.6 GB 的 Qwen-Image 2.1 权重,curl 和官方客户端都中途卡住。换成 16 并发、32 MiB 分块的 Range 下载,主模型分块阶段约 15.8 MiB/s,两个文件 36 分钟下完并通过官方 SHA256。
阅读正文Windows 原生部署 LingBot-World 1.3B:6GB 显存笔记本跑通 13 帧图生视频
从零到出片:记录环境、克隆已打补丁的分支、aria2 多连接下载、CUDA 闸门、13 项权重校验,最后跑出 832×464 的 13 帧图生视频。命令可直接复制,每一步都给出判断标准;上游在 Windows 上会卡住的 flash-attn 问题放在文末说明。
阅读正文