全部文章

教程

一步步的部署与配置记录:命令、参数、失败现场和验收标准都写清楚,照着做即可复现。

这些教程怎么读

每一步都给出可复制的命令和判断标准;失败的地方照样保留,并写明当时的环境与版本。命令和版本以文章里的实测记录为准,厂商文档有更新时以官方为准。

教程列表

  1. Claude Code 接 llama.cpp 本地模型:能跑,但 32K 上下文先被吃掉一半

    llama-server 自带 Anthropic 兼容接口,Claude Code 改个地址就能连本地模型。我们在 6GB 笔记本上跑通了;但它的系统提示词约 1.6 万 token,小上下文模型上会出现“Prompt is too long”。

    阅读正文
  2. Codex CLI 接本地模型:配置写法,和那 12 次 “expected i32”

    用自定义 model_provider 把 Codex CLI 指向 llama-server。LFM2.5-24B 上 12 项全过,但工具参数类型错了 12 次,它靠重试自救,第一次修 bug 跑了 599 秒。

    阅读正文
  3. llama.cpp CUDA 编译教程:Windows 笔记本用 WSL2 跑通 RTX 3060

    在 Windows 11 笔记本上,用 WSL2 + CUDA 12.8 编译 llama.cpp,生成 llama-server、llama-bench。我们所有 6GB 实测都用这套环境,三个参数最容易填错。

    阅读正文
  4. llama.cpp 跑 MoE,把专家层全扔给 CPU 反而快 4 倍:-ncmoe 调参实测

    6GB 笔记本上,Qwen3.6-35B-A3B 的专家层全放 GPU 时生成 5.2 t/s,全放内存时 21.5 t/s,显存还少一半。但这不是定律:LFM2.5-24B 的最优点在中间。

    阅读正文
  5. 一条命令把 llama-server 变成本地 OpenAI / Anthropic 接口(6GB 笔记本可用的参数)

    llama-server 同时提供 OpenAI 兼容和 Anthropic 兼容接口,pi、Codex、Claude Code 都能直接连。这里给出我们在 6GB 笔记本上跑智能体时实际用的参数,以及每个参数的作用。

    阅读正文
  6. 国内下载 Hugging Face 大模型太慢?并发 Range 分块下载实测

    下 16.6 GB 的 Qwen-Image 2.1 权重,curl 和官方客户端都中途卡住。换成 16 并发、32 MiB 分块的 Range 下载,主模型分块阶段约 15.8 MiB/s,两个文件 36 分钟下完并通过官方 SHA256。

    阅读正文
  7. Windows 原生部署 LingBot-World 1.3B:6GB 显存笔记本跑通 13 帧图生视频

    从零到出片:记录环境、克隆已打补丁的分支、aria2 多连接下载、CUDA 闸门、13 项权重校验,最后跑出 832×464 的 13 帧图生视频。命令可直接复制,每一步都给出判断标准;上游在 Windows 上会卡住的 flash-attn 问题放在文末说明。

    阅读正文