P053 FareedKhan-dev/kimi-k3-in-c

信息卡

项目	内容
仓库	FareedKhan-dev/kimi-k3-in-c
语言 / 许可证	C / Apache-2.0
总星标	⭐ 6508（截至 2026-08-26）
创建时间	2026-08-01
榜单	近30天新星榜第3名

一句话定位

用可移植的 C99 在纯 CPU 上推理 Kimi K3——一个参数量 2.78 万亿、检查点体积 1.56 TB 的 MoE 大模型：无 BLAS、无框架、无 GPU，整个引擎编译为单个约 176 KB 的二进制，宣称 8 GB 内存的机器即可运行且输出与 224 GB 机器字节级一致，"多出的内存只买速度"（8 GB 下约 26.5 s/token，128 GB+ 约 5.6 s/token）。

走红原因分析

"万亿参数模型 + 一个 CPU + 8 GB 内存"的反差叙事极具传播力；README 以严谨的数据链条（5560 GB bf16 → 8.24 GB 峰值 RSS，压缩 675 倍而无近似）回应质疑；逐内核位级一致测试、跨平台 tokenizer 确定性等验证段落赢得了硬核社区的信任；作者延续其"用最朴素语言讲透复杂系统"的风格，工程与教学双重价值叠加。

核心功能拆解

Expert streaming：82,432 个路由专家（92 层 MoE × 每层 896 个、top-16 选通）共 1.447 TB 留在磁盘，直接对打包的 nibble 做乘法，从不反量化；
MXFP4 支持：4-bit E2M1 nibble + 共享 E8M0 scale，仅 0.53125 字节/权重；
Trunk streaming：93 层稠密主干（108.81 GB）打包为单文件，pinned 前缀 + 环形槽把内存变成一个可调旋钮；
KDA（Kimi Delta Attention）：69 层使用固定尺寸循环状态（约 217 MB），与上下文长度无关；
Gated MLA：24 层仅缓存每位置 576 宽的 latent（约 2.37 MB/位置），比展开注意力头小 53 倍；
位精确内核：scalar/OpenMP/AVX2 三条路径输出完全相同的比特。

架构与技术栈浅析

依赖只有 libm 与 OpenMP，7 个 C 文件：k3_ops.c（RMSNorm/KDA/MLA/MoE/MXFP4 matmul 内核）、k3_st.c（手写 JSON 扫描的 safetensors 读取器）、k3_load/k3_trunk/k3_cache/k3_bind/k3_run。I/O 用 O_DIRECT（实测比缓冲读更快）；FNV-1a 哈希索引 96 个分片约 50 万个张量只需四分之一秒；配置读取"拒绝默认值"，任何必需字段缺失即中止启动。

安装与环境要求

Linux x86-64 参考实现（macOS/arm64 与 Windows MSYS2 MinGW-w64 也通过），需 AVX2+FMA、8 GB 内存起步、约 1.7 TB 磁盘、GCC≥9 或 Clang≥10：

git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
cd kimi-k3-in-c && make -j && make test
./scripts/k3-doctor.sh
export HF_TOKEN=hf_your_token_here
./scripts/download-model.sh ~/k3model
./scripts/pack-trunk.sh ~/k3model ~/k3trunk   # 生成约 109 GB trunk.bin

快速上手示例

./bin/k3 ~/k3model --trunk ~/k3trunk --preset workstation \
  --tok ~/k3model --prompt "The capital of France is" --gen 8 --incremental

进阶使用要点

提供 ultra/laptop/desktop/workstation/server/max 六档内存预设，另有 --trunk-gb/--cache-gb/--ultra-low-memory 细调；
非 ASCII 文本建议用 --prompt-file 避开命令行编码问题；
支持 --dump-logits/--dump-cache-trace 调试、--layers 8 部分层绑定、JSON 输出与 systemd-run cgroup 限跑；
make test 无需权重即可通过 13 层 oracle 门禁。

典型应用场景

在无 GPU 服务器上做超大模型的离线批处理与实验复现；
MoE 推理系统（流式加载、LRU 专家缓存、预取）的教学级参考实现；
边缘预算下的极端内存工程案例研究；
用 docs/data/ 的测量数据做 I/O 与缓存策略分析。

资源导航

仓库 README（数字链条与基准硬件说明）、scripts/k3-doctor.sh、tools/sim_cache.py（离线缓存轨迹回放）、tools/devbw.py（磁盘带宽基准）、docs/data/ 测量数据。

FareedKhan-dev/kimi-k3-in-c

信息卡