跳到正文
原文
Hacker News· joshcsimmons·· 2 小时前精选AI 评分80

Llama-modchip 在 CPU 上运行 284B

Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU

AI 摘要

Llama-modchip 通过 SwiGLU-H2 压缩和 Fractal-64 技术在 64GB RAM 的 CPU 上成功运行 284B DeepSeek-V4-Flash 模型，减少内存占用至 57.61GiB

正文 · AI 翻译

突破 64 GB RAM 屏障：在纯 CPU 上运行 284B DeepSeek-V4-Flash (<59 GiB RAM)) & 30B MoEs (高达 111 tok/s) 在 256K 上下文 — 无需 GPU

Release License arXiv Preprint PDF Technical Paper RouteCrack + Stockfish Submit Benchmark

⚡ 快速入门 · 🧩 支持的模型 · 🖥️ 支持的芯片 & 平台 · 🏆 排行榜 · 📄 预印本 PDF (paper/) · 📐 架构 · ❓ 常见问题

284.33B
Frontier MoE 参数		 56.56 GiB
磁盘上的检查点		 57.61 GiB
256K 上下文时的峰值 VmRSS		 44.36 tok/s
284B CPU 预填充		 60.4–111.6 tok/s
30B MoE CPU 解码		 13.1 ms
Claude 代码恢复		 0
需要的 GPU

在您已有的 CPU 工作站上进行实时 Frontier & Agentic MoE 推理 — 100% 在 RAM 中，零 NVMe 交换：

您拥有的机器 RAM 推荐型号 速度 (0 个 GPU) 发生了什么
一台开发者笔记本电脑 / 小型台式机 16–32 GB Nemotron-3.5-30B-A3B (14.35 GiB) 25.0–60.4 tok/s 46 Mamba-2 SSM 层 + 1.64 MB L3 Stockfish-PVS 拉描器；6 GiB KV 中的 256K 上下文
一台 64 GB 台式机 / 服务器 64 GB DeepSeek-V4-Flash 284B (56.56 GiB) 44.4 tok/s pp · 9.1–14.7 tok/s tg SwiGLU-H2 切割了 20.31 GiB；整个 284B 模型 + 256K 上下文都位于 RAM 中 (57.61 GiB VmRSS)
一台混合台式机 (CPU + 16 GB GPU) 32–64 GB Nemotron-30B / Qwen3-30B 80.80 tok/s GPU 上的热注意力主干 (-ngl 99)，CPU DDR5 中的冷路由 MoE 专家
一台 8 通道工作站 (Threadripper) 128 GB+ DeepSeek-284B / Nemotron-30B 111.62 tok/s (30B) 8-CCD AVX-512BW _1x8 寄存器瓦片饱和了 8 通道 DDR5 内存带宽

TL;DR — llama-modchip 的 3 个突破范式支柱：

  • 🐋 64 GB CPU 机箱中的 284.33B Frontier MoE： 将 DeepSeek-V4-Flash 从 76.87 GiB (在 64 GB Linux 上 OOM 时崩溃) 缩小到 56.56 GiB 磁盘上 / 57.61–58.9 GiB VmRSS 在完整的 256K 上下文中 (44.36 tok/s 预填充, 9.06–10.74 tok/s 纯 CPU 解码, 11.5–14.7 tok/s 使用 PVS)，使用闭式 解析 SwiGLU-H2 二阶 Hessian 压缩 + Fractal-64 (Q2_0, 3.75 bpw) MLA 转码 + 4 级寄存器 (ZMM AVX-512BW) + L1D (32 KB) + L2 (1 MB) + L3 (64 MB) 整个模型瓦片 + \(L_2\)-四边形 MoE 剪枝。
  • ⚡ 在纯 CPU 上实现 30B MoE 的 GPU 速度：在 14.35 GiB 上运行 NVIDIA-Nemotron-3.5-30B-A3B 需要 25.0–60.4 tok/s，在 16 核 Zen 5 上 (111.6 tok/s 在 Threadripper 上，80.8 tok/s 在 AMD Vulkan 混合模式下，44.97 tok/s 在 AWS Graviton3 ARM64 上) 通过一个 1.64 MB Stockfish-PVS v2 + RouteCrack L2/L3 绘制器 (96.4% 接受率) 和 _MM_HINT_NTA L3 缓存隔离 (HARPCache)
  • 🤖 零-API Claude 代码 (./modchip claude)： 通过 /dev/shm Slot-0 KV 暖恢复 (18.9 ms 在 Nemotron-30B 上 / 13.1–32.6 ms 在 DeepSeek-284B 上) 消除了 45 秒的 CPU 代理提示重新评估瓶颈，所有 40 个 Claude 代码工具都处于活动状态。

llama-modchip v2.4.0 — 284.33B DeepSeek-V4-Flash in 57.61 GiB RAM & 60.4 tok/s Nemotron-30B on Pure CPU

⚡ 快速入门

🐧 Linux & 🍎 macOS (1-命令自动设置 & 对话)

git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat

⚡ 直接运行无需编译 (预编译的 Linux x86_64 二进制文件 + Hugging Face .gguf)

⚠️ 重要兼容性说明 (GGML_TYPE_Q2_0 = 40): 我们的 Fractal-64 型号使用自定义 block-64 BF16-尺度 Gray 编码张量 (GGML_TYPE_Q2_0, 类型 ID 40) 和自定义 deepseek4 / Stockfish-PVS 内核。在未打补丁的 llama.cpp、Ollama 或 LM Studio 中打开它们会失败，出现 unknown tensor type 40。使用上面提到的 ./modchip 或我们的 独立单文件预编译二进制文件 (llama-server-modchip-linux-x86_64, 零 .so 依赖)，该文件直接捆绑在 Hugging Face 仓库内和 GitHub 发布 v2.4.0：

# 1. For 30B Nemotron-3.5-A3B (14.35 GiB — runs in 16–32 GB RAM at 25–60.4 tok/s):
hf download Synchopate/NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64-CPU-GGUF \
  llama-server-modchip-linux-x86_64 NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf --local-dir .
chmod +x llama-server-modchip-linux-x86_64
./llama-server-modchip-linux-x86_64 -m NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf -c 262144 -t 16 --port 8080

# 2. For 284B DeepSeek-V4-Flash (56.56 GiB — fits in 64 GB RAM at 9.1–14.7 tok/s):
hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf -c 32768 -t 16 -fa on --port 8080

🪟 Windows 10/11 (1-Click 混合 GPU + CPU MoE 套件)

打开 windows/ 并双击 windows/AVVIA_MODCHIP.bat (或在 Git Bash 中运行 ./modchip start)。它自动检测您的 CPU 核心、空闲 RAM 和 GPU VRAM (nvidia-smi)，下载官方 llama.cpp CUDA 12.4 / Vulkan 二进制文件，计算最佳 --n-cpu-moe 分割，并打开 Web 聊天 UI (http://127.0.0.1:8080)。

./modchip 命令 作用
./modchip chat 💬 与实时 tok/s、TTFT 和 Stockfish-PVS 接受遥测的交互式终端聊天
./modchip web 🌐 打开 暗黑模式 Web 聊天 & 实时遥测 HUD (http://127.0.0.1:8787)
./modchip bench 📊 运行 30 秒两阶段速度测试并打印可分享的 CPU 基准分数卡
./modchip claude 🤖 启动 Claude 代码 CLI (40 tools)，连接到本地 256K 引擎 (18.9–32.6 ms 热恢复)
./modchip eval 🧪 运行可重复的 100 分质量、工具调用、编码 & 8.5K 针门
./modchip quantize 🗜️ 将 BF16/Q4_0/IQ2_XXS GGUF 转码为 Fractal-64 (3.75 bpw) 或 Fractal-MXFP4 (4.25 bpw)
./modchip status / stop 🔍 检查 CPU 准备状态、2MB HugePages 和 /dev/shm IPC，或停止后台服务

🏆 您的 CPU 能在 64 GB RAM 中运行 284B Frontier MoE 吗？2 秒内测试 (零下载)：

curl -sL https://raw.githubusercontent.com/synchopate/llama-modchip/main/scripts/check_cpu_readiness.py | python3

👉 将您的终端分数卡粘贴到 📊 1-Click GitHub 基准问题 或 GitHub 讨论，以添加到官方社区 CPU 排行榜！

🧩 支持的模型 & 模型特定优化

每个模型系列都有一个专门的深入优化指南，包含精确的数学证明、操作级延迟分解和质量门基准：

模型系列 总 / 活跃参数 磁盘 (GGUF) & 256K RAM (VmRSS) 实施的关键优化 验证速度 (16C Zen 5 / 混合) 详细指南
🚀 NVIDIA-Nemotron-3.5-30B-A3B
(Fractal-64 / MXFP4 / Q4_0) 		30.2B / 3.0B
(23 SSM + 23 MoE + 6 GQA) 		14.35 – 17.59 GiB
(15.4 – 21.7 GiB RSS) 		• Block-64 Fractal-64 (3.75 bpw) & MXFP4 (4.25 bpw) (100/100 质量门)
• Stockfish-PVS v2 (M=7) + RouteCrack (1.64 MB L2/L3 Zobrist TT)
• 432 MB 256K EAKV (Q8_0/Q4_0) + _MM_HINT_NTA L3 隔离
• 18.9 ms /dev/shm Slot-0 恢复 (~6,800x 更快的预热轮次)		 25.0 – 60.4 tok/s (0 GPU)
80.8 tok/s (Vulkan Hybrid)
111.6 tok/s (Threadripper)		 📖 Nemotron 指南
🐋 DeepSeek-V4-Flash-0731-Fractal
(SwiGLU-H2 + Fractal-64) 		284.33B / 13.17B
(43L MLA + 256+1s MoE) 		56.56 GiB (-20.3 GiB)
(58.9 GiB RSS — 可以放入 64 GB！) 		• 解析式第二阶 SwiGLU-H2 MoE + Fractal-64 MLA 转码
• 4 级寄存器 (ZMM AVX-512BW) + L1D (32KB) + L2 (1MB) + L3 (64MB) 多列 ({8,4,3,2}) 预填瓦片 (25.0 -> 44.36 tok/s, +77%)
• 寄存器-固定式 AVX-512 MQA8 FlashAttention (2.0x) + AVX-512 quantize_row_q8_K
• \(L_2\)-四边形 MoE 剪枝 + L1-本地门优先 SwiGLU (10.74 tok/s)
• wo_b * wo_a 的精确 SVD (99.82% CosSim 在 -25% 排名) & \(O(1)\) 回滚修复		 43.2–44.4 tok/s (Prefill)
9.06–9.95 tok/s (Lossless)
9.87–10.15 tok/s (Top-5 L2)
10.41–10.74 tok/s (Top-4+SwiGLU)
11.5–14.7 tok/s (PVS) 		📖 DeepSeek-V4 Guide
⚡ Qwen3-30B-A3B & Qwen3-14B
(Q3_K_M / Q4_K_M) 		30.5B / 3.3B -> 1.7B
(48L GQA, 128 exp) 		13.70 – 17.28 GiB
(14.5 – 19.4 GiB RSS) 		• Norm-Preserving Dynamic MoE Top-K (8 -> 4, +38.5% decode)
• 3:1 Interleaved SWA Safety Lock (LLAMA_SWA_STRIDE=4)
• Windows 11 GB VRAM + 16 GB RAM Hybrid Split (--n-cpu-moe N) 		34.80 tok/s (0 GPU Top-4)
50–58 tok/s (14B RTX 2080 Ti)		 📖 Architecture §3.9
🏎️ NVIDIA-Nemotron-H-8B-128K
(Q8_0 / Q4_K_M) 		8.0B Dense
(48 SSM + 4 GQA) 		4.60 – 8.00 GiB
(210 MB KV @ 128K) 		• 48-Layer Mamba-2 SSM Constant-Memory Backbone
• 100% GPU VRAM Residency on 8–11 GB Cards (0 GB System RAM) 		100+ tok/s (RTX 2080 Ti)
147.6 tok/s (CPU pp512)		 📖 Nemotron Guide

🖥️ Supported Chips & Processor-Specific Optimizations

Full microarchitectural details and tuning flags for every supported processor and GPU hybrid are documented in docs/HARDWARE_OPTIMIZATIONS.md:

Processor / Platform Verified Hardware Hardware-Specific Optimizations Active Platform Guide & Scripts
AMD Zen 5 (Desktop / Mobile / Server) Ryzen 9 9955HX, 9950X, EPYC 9005 Turin • Single-cycle 512-bit AVX-512 (VPDPBUSD, VPRORVQ, VBMI, BF16)
• 48 KB L1D 3D Tiling (TILE_I0=64) on multi-head wo_a projections
• _MM_HINT_NTA Victim-L3 Isolation (64 MB) + 2MB THP (6.14 GB L2 STLB)		 📖 Hardware Guide §2.1
install.sh
AMD Zen 4 Multi-CCD (Threadripper / EPYC) Threadripper PRO 7985WX (64C/128T, 8 CCDs, 256 MB L3) • Dynamic sysfs L3 CCD Topology Discovery (scripts/llama_modchip.py)
• Deterministic 4C/CCD Stride (-t 32): avoids Infinity Fabric saturation (+54% faster than -t 64)		 📖 Hardware Guide §2.2
Issue #1
AMD 3D V-Cache + Radeon Vulkan Hybrid Ryzen 9 7945HX3D (128 MB L3) + RX 9070 XT 16GB (RADV) • Tensor-Role Splitting (-ngl 99 --n-cpu-moe N --load-mode none)
• Native Vulkan SSM_SCAN + Fractal-MXFP4 (15.2 GB) GPU Shaders (80.8 tok/s at 256K)		 📖 Hardware Guide §2.3
FAQ.md Q8
Intel / AMD + NVIDIA RTX (Windows 10/11) Core i9-9900K / 14900K + RTX 2080 Ti 11GB / 3090 / 4090 • Single-Cycle AVX2 vpsllvd + vpmaddwd Sub-Scale Fusion
• Live-VRAM --n-cpu-moe Solver (550 MB WDDM Reserve) + _WIN32 CreateFileMappingA		 📖 Windows Guide
windows/modchip_win.ps1
Apple Silicon (M1 / M2 / M3 / M4) Apple M4 Pro (14C CPU + 20C GPU, 24 GB Unified) • Zero-Copy Unified Memory Metal Shaders + ARM64 NEON/AMX
• 0-Swap 128K Context Budgeting (384 MB KV) + Stockfish-PVS v2		 📖 Apple Silicon Guide
apple-silicon/
ARM64 Cloud & Edge (AWS Graviton / Ampere) AWS Graviton3 m7g.2xlarge (8 vCPU Neoverse-V1, 32 MB L3) • ARMv8.4-A DotProd (SDOT) + 256-Bit SVE + 1-vCPU-per-core pinning (-t 8)
• 32 MB System Level Cache (SLC) retention (44.97 tok/s decode)		 📖 Hardware Guide §1
Issue #2
AMD Zen 4 Compact Mini-PC (Fedora / Linux) Ryzen 7 8745HS (GEEKOM A8, 8C/16T, 16 MB L3 + 780M) • AVX-512 VNNI + 16 MB L3 window auto-tuning (LLAMA_KV_L3_WINDOW=1024)
• Optional Radeon 780M UMA iGPU offload		 📖 Fedora Guide
fedora/nemotron.sh

📊 Headline Benchmarks: Pure CPU & Hybrid Summary

1. DeepSeek-V4-Flash 284B (13.17B Active) on a 64 GB Zen 5 CPU (AMD Ryzen 9 9955HX, 0 GPUs)

Full operator-level profiling and mathematical proofs in docs/DEEPSEEK_V4_OPTIMIZATIONS.md:

DeepSeek-V4-Flash-0731-Fractal (56.56 GiB @ 256K Context) Prefill (pp512) Pure Decode (N=1) With Stockfish-PVS Prob Cosine Sim KL-Divergence (\(\Delta\) PPL) Top-1 / Top-3 Match
Standard IQ2_XXS (76.87 GiB, Unpatched) 🔴 OOM on 64GB 5.91 tok/s (169.3 ms) N/A (Rollback Bug) 1.00000 0.0000 (0.00%) 100% / 100%
1. v2.4.0 Lossless (Top-6 All Layers, Default) 43.16 – 44.36 tok/s (+77.1%) 9.06 – 9.95 tok/s 11.5 – 14.7 tok/s 1.00000 0.0000 (0.00% Bit-Exact) 100% / 100%
2. v2.4.0 Sweet-Spot (Top-5 on il >= 3, \(L_2\) Quadrature) 43.16 – 44.36 tok/s 9.68 – 9.87 tok/s 12.2 – 15.1 tok/s 0.99714 0.0042 nats (+0.42% PPL) 95.8% / 100%
3. v2.4.0 Top-5 L2 + Gate-First SwiGLU (80/128 \(L_2\)) 43.16 – 44.36 tok/s 10.15 tok/s (98.5 ms) 12.8 – 15.6 tok/s 0.99385 0.0531 nats 100% / 100%
4. v2.4.0 Turbo 10+ (Top-4 L2 + Gate-First SwiGLU) 43.16 – 44.36 tok/s 10.12 – 10.74 tok/s (93.2 ms) 13.0 – 16.0 tok/s 0.99126 0.0281 – 0.0694 nats 100% / 100%

2. NVIDIA-Nemotron-3.5-30B-A3B (3.0B Active) at 256K Context (AMD Ryzen 9 9955HX, 0 GPUs)

Full ablation tables and 100/100 Quality Gate report in docs/NEMOTRON_OPTIMIZATIONS.md:

Quantization Profile Disk Size Idle VmRSS (256K) Quality Gate (100 pts) Prefill (pp512) Base Decode (N=1) Stockfish-PVS v2 (M=7) Refactoring
Baseline-Q4_0 (Official GGUF) 17.59 GiB 21.41 GiB 100.0 / 100.0 241.0 – 306.8 tok/s 19.54 tok/s 40.91 avg / 45.43 peak tok/s
Fractal-MXFP4 (4.25 bpw) 15.95 GiB 17.46 GiB 100.0 / 100.0 241.0 – 306.8 tok/s 26.08 tok/s (+33.5%) 48.39 avg / 60.40 peak tok/s (80.8 Vulkan)
Fractal-64-BF16 (3.75 bpw) 14.35 GiB 15.40 GiB (-6.01 GiB) 100.0 / 100.0 241.0 – 306.8 tok/s 25.02 tok/s (+28.0%) 48.39 avg / 60.40 peak tok/s (96.4% acc)

🏆 Community CPU & Hybrid Leaderboard

Run ./modchip bench (or windows\BENCHMARK_PC.bat on Windows) and ➕ Submit Your Scorecard (1-Click GitHub Issue)!

Hardware Platform (CPU / SoC / Hybrid) Cores / Cache Memory Prefill (tok/s) Decode — Prose / C++20 Decode — Stockfish M=7 Burst Config & Contributor
AMD Threadripper PRO 7985WX (Zen 4) 64C/128T (8 CCDs, 256 MB L3) 256 GB 8-Ch DDR5-6000 (0 GPU) 386.00 (-t 32) 73.84 – 80.14 tok/s (70.0% acc) 111.62 tok/s warm / 80.14 cold (-t 32 4C/CCD) @aifartist (Issue #1)
AMD Ryzen 9 7945HX3D + RX 9070 XT (Hybrid) 16C/32T (128 MB 3D V-Cache) + 16 GB Vulkan 94 GB DDR5 + 16 GB VRAM 563.00 (256K ctx) 75.10 tok/s (MXFP4 15.2GB) 80.80 tok/s (Vulkan SSM_SCAN + MXFP4 MoE) Community (RADV/Vulkan) (FAQ.md)
AMD Ryzen 9 9955HX / 9950X (Zen 5) 16C/32T (2 CCDs, 64 MB L3) 64 GB DDR5 (0 GPU) 241.0 (Peak 306.8) 25.02 – 34.5 tok/s (Fractal-64 / MXFP4) 48.39 avg / 60.40 peak (len 6.90) @synchopate (docs/NEMOTRON_OPTIMIZATIONS.md)
Apple M4 Pro (14-Core SoC) 14C CPU + 20C Metal 24 GB Unified (0 Swap) 256.0 – 549.0 47.0 – 48.0 tok/s (128K) 49.0+ tok/s @jarorosFork (apple-silicon/)
AWS Graviton3 m7g.2xlarge (ARM64 Neoverse-V1) 8 vCPU (32 MB L3, SVE-256) 31 GB DDR5 (0 GPU) 101.67 (-t 8) 41.05 tok/s (C++20) 44.97 tok/s (Refactoring) @gerchik (Issue #2)
Windows 11 Hybrid (i9-9900K + RTX 2080 Ti 11GB) 8C/16T (16 MB L3) + 11 GB CUDA 16 GB DDR4 + 11 GB GDDR6 Auto CUDA 12.4 50–58 tok/s (14B) / 30B Hybrid 100+ tok/s (Nemotron-H-8B 128K) windows/
AMD Ryzen 7 8745HS (GEEKOM A8) 8C/16T (16 MB L3) 64 GB DDR5-5600 Verified Fedora 44 Verified (ngram) Verified (CPU & 780M) @jarorosFork (fedora/)
🐋 DeepSeek-V4-Flash 284B on Ryzen 9 9955HX 16C/32T (2 CCDs, 64 MB L3) 64 GB DDR5 (58.9 GiB RSS @ 256K) 43.16 – 44.36 tok/s (32.6 ms Slot-0) 9.06 – 10.74 tok/s (13.17B active) 11.50 – 14.69 tok/s (94.5% PVS acc) @synchopate (docs/DEEPSEEK_V4_OPTIMIZATIONS.md)

🛠️ 点击展开：仓库结构 & 手动 CMake 构建说明 

llama-modchip/
├── modchip                                    # Unified CLI (setup | start | chat | bench | eval | quantize | web | claude | stop)
├── install.sh                                 # 1-Command Automated Installer (Linux)
├── README.md / ARCHITECTURE.md / FAQ.md       # Clean Overview, Full Mathematical Paper & Engineering FAQ
├── RELEASE_NOTES.md                           # v2.4.0 Release Notes
├── docs/
│   ├── NEMOTRON_OPTIMIZATIONS.md              # Deep-dive on Nemotron-3.5-30B-A3B & Nemotron-H-8B optimizations
│   ├── DEEPSEEK_V4_OPTIMIZATIONS.md           # Deep-dive on DeepSeek-V4-Flash 284B profiling, SVD & L2-quadrature MoE
│   └── HARDWARE_OPTIMIZATIONS.md              # Chip-by-chip optimizations (Zen 5, Threadripper, Vulkan, CUDA, Metal, ARM64)
├── patches/
│   ├── deepseek-v4-flash-fractal-256k.patch   # Unified v2.4.0 patch (DeepSeek-V4-Flash 284B + Nemotron-3.5 30B, Linux/macOS/Windows)
│   └── zen5-nemotron-256k-optimizations.patch # Standalone ggml/llama core patch for Nemotron-3.5
├── windows/                                   # 1-Click Windows 10/11 Hybrid GPU+CPU MoE Pack (AVVIA_MODCHIP.bat, modchip_win.ps1)
├── apple-silicon/                             # Apple M4 Pro (24 GB) Metal setup & 128K benchmarks
├── fedora/                                    # Fedora 44 / AMD Ryzen 7 8745HS (GEEKOM A8) all-in-one script
├── speculative/                               # RouteCrack + Stockfish-PVS v2 (rc_stockfish.h, ngram-map.cpp, 96+ techniques)
├── benchmarks/                                # eval_quality_and_tools.py (100-pt Quality Gate) & results/*.json
├── gateway/sse_gateway.py                     # Agentic SSE Proxy + Compact Tool Table + Dark-Mode Web Chat HUD (:8787)
└── scripts/                                   # build_fractal_moe_gguf.sh, transcode_dsv4.{c,py}, chat.py, llama_modchip.py

🏢 企业 & 硬件赞助

llama-modchip 证明了现代多核 CPU 和配备 64–128 GB DDR5 RAM 的紧凑型 Mini-PC 可以在本地以全 256K 上下文运行 284B Frontier MoEs (DeepSeek-V4-Flash) 和 30B Hybrid MoEs (Nemotron-3.5-30B-A3B)—消除对隔离企业代码智能、安全审计和自主代理舰队的 30,000+ 多 GPU 硬件需求

我们积极与 硬件制造商、云硅团队和 AI 研究实验室 合作，构建和验证特定架构的内核补丁：

  • 🖥️ CPU & 工作站 OEMs (AMD Ryzen AI / Threadripper / EPYC, Minisforum, Framework, System76, Apple, Intel)：赞助物理测试单元或工作站以获得专用的 L1D/L2/L3 缓存砌块 & SIMD 内核，并在 官方 README CPU 排行榜 上永久验证。
  • ☁️ 云 & ARM64 硅团队 (AWS Graviton4, AmpereOne, Google Axion, Azure Cobalt)：赞助云计算积分以验证 SVE2 / SME / 多插槽 NUMA 内核
  • 🤝 企业支持 & 定制模型转码：通过 GitHub Issues 或 GitHub Sponsors 联系以赞助定制 SwiGLU-H2 + Fractal-64 模型转码和本地部署.

来源：Hacker News · github.com

#开源权重#推理与训练方法
00