Llama-modchip 在 CPU 上运行 284B

打破 64 GB RAM 墙：在纯 CPU 上运行 284B DeepSeek-V4-Flash (< 59 GiB RAM) & 30B MoEs (高达 111 tok/s) 在 256K 上下文中 — 无需 GPU。⚡ 快速启动 · 🧩 支持的模型 · 🖥️ 支持的芯片和平台 · 🏆 排行榜 · 📄 预印本 PDF ( paper/ ) · 📐 架构 · ❓ 常见问题解答 284.33B Frontier MoE 参数 56.56 GiB 检查点在磁盘上 57.61 GiB 峰值 VmRSS @ 256K ctx 44.36 tok/s 284B CPU prefill 60.4–111.6 tok/s 30B MoE CPU 解码 13.1 ms Claude 代码恢复 0 GPU 需要 实时 Frontier & Agentic MoE 推理在您已有的 CPU 工作站上 — 100% 在 RAM 中，零 NVMe 交换：您拥有的机器 RAM 推荐模型速度 (0 GPU) 在开发者笔记本电脑 / 小型 PC 上 16–32 GB Nemotron-3.5-30B-A3B ( 14.35 GiB ) 25.0–60.4 tok/s 46 Mamba-2 SSM 层 + 1.64 MB L3 Stockfish-PVS 草图；256K ctx 在 6 GiB KV 中 64 GB 桌面 / 服务器 64 GB DeepSeek-V4-Flash 284B ( 56.56 GiB ) 44.4 tok/s pp · 9.1–14.7 tok/s tg SwiGLU-H2 切割 20.31 GiB；整个 284B 模型 + 256K ctx 坐在 RAM 中 (57.61 GiB VmRSS) 混合桌面 (CPU + 16 GB GPU) 32–64 GB Nemotron-30B / Qwen3-30B 80.80 tok/s 热注意力主干在 GPU 上 ( -ngl 99 )，冷路由 MoE 专家在 CPU DDR5 中 8 通道工作站 (Threadripper) 128 GB+ DeepSeek-284B / Nemotron-30B 111.62 tok/s (30B) 8-CCD AVX-512BW _1x8 寄存器分块饱和 8 通道 DDR5 内存带宽 TL;DR — llama-modchip 的 3 个突破性支柱：🐋 64 GB CPU 盒子中的 284.33B Frontier MoE：将 DeepSeek-V4-Flash 从 76.87 GiB (在 64 GB Linux 上 OOM 失败) 缩小到磁盘上的 56.56 GiB / 256K 全上下文时的 57.61–58.9 GiB VmRSS (44.36 tok/s prefill , 9.06–10.74 tok/s 纯 CPU 解码 , 11.5–14.7 tok/s 使用 PVS) 使用闭式解析 SwiGLU-H2 二阶 Hessian 压缩 + Fractal-64 ( Q2_0 , 3.75 bpw ) MLA 转码 + 4 级寄存器 ( ZMM AVX-512BW) + L1D ( 32 KB ) + L2 ( 1 MB ) + L3 ( 64 MB ) 整个模型分块 + \(L_2\)-四分之一 MoE 剪枝 。 ⚡ 在纯 CPU 上以 GPU 速度运行 30B MoE：在 16 核 Zen 5 ( 111.6 tok/s 在 Threadripper, 80.8 tok/s 在 AMD Vulkan 混合, 44.97 tok/s 在 AWS Graviton3 ARM64) 上运行 NVIDIA-Nemotron-3.5-30B-A3B 在 14.35 GiB 中 25.0–60.4 tok/s 通过 1.64 MB Stockfish-PVS v2 + RouteCrack L2/L3 草图 ( 96.4% 接受) 和 _MM_HINT_NTA L3 缓存隔离 ( HARPCache ) 。 🤖 无 API Claude 代码 ( ./modchip claude )：通过 /dev/shm Slot-0 KV 暖恢复消除了 45 秒 CPU 代理提示重新评估瓶颈 ( 18.9 ms 在 Nemotron-30B / 13.1–32.6 ms 在 DeepSeek-284B) 并激活所有 40 个 Claude 代码工具。 ⚡ 快速启动 🐧 Linux & 🍎 macOS (1-命令自动设置和聊天) git clone https://github.com/synchopate/llama-modchip.git cd llama-modchip ./modchip chat ⚡ 无需编译直接运行 (预编译的 Linux x86_64 二进制文件 + Hugging Face .gguf ) ⚠️ 重要兼容性说明 ( GGML_TYPE_Q2_0 = 40 )：我们的 Fractal-64 模型使用自定义块-64 BF16 -scale 灰度编码张量 ( GGML_TYPE_Q2_0 , 类型 ID 40 ) 和自定义 deepseek4 / Stockfish-PVS 内核。在未修补的 llama.cpp , Ollama 或 LM Studio 中打开它们将失败，显示未知张量类型 40 。使用 ./modchip 或我们捆绑在 Hugging Face 仓库和 GitHub 发布 v2.4.0 内的独立单文件预编译二进制文件 ( llama-server-modchip-linux-x86_64 , 零 .so 依赖项) ： # 1. 对于 30B Nemotron-3.5-A3B (14.35 GiB — 在 16–32 GB RAM 中运行 25–60.4 tok/s)：hf 下载 Synchopate/NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64-CPU-GGUF \ llama-server-modchip-linux-x86_64 NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf --local-dir . chmod +x llama-server-modchip-linux-x86_64 ./llama-server-modchip-linux-x86_64 -m NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf -c 262144 -t 16 --port 8080 # 2. 对于 284B DeepSeek-V4-Flash (56.56 GiB — 适合 64 GB RAM 中的 9.1–14.7 tok/s)：hf 下载 Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4 chmod +x ./dsv4/llama-server-modchip-linux-x86_64 ./dsv4/llama-server-modchip-linux-x86_64 -m ./dsv4/DeepSeek-V4-Flash