Note: This page does not support English, using the default language version
9 月 22 日，一组针对 Tesla P100 的 llama.cpp 内核优化被合并进主线。作者是一个 17 岁的开发者，没有科班学历，自己在帖子里说，项目里有不少地方是靠 AI 辅助完成的——有些他能看懂，有些他承认还没搞明白。
硬件是最”寒酸”的那种：两张退役的 Tesla P100，每张二手价大概 80 美元。跑的是 Qwen 3.8 27B 的 q6_k 量化版。成绩是：
| 场景 | 优化前 | 优化后 |
|---|---|---|
| 解码（0 上下文） | 7-15 tps | 50-60 tps |
| 解码（26 万上下文） | 2-4 tps | 30-35 tps |
| 预填充（0 上下文） | 220 tps | 350 tps |
| 预填充（26 万上下文） | 约 40 tps | 110 tps |
而且这还是在两张卡被限到 175W / 250W、温度稳在 79 度、有明显热节流的情况下测出来的。作者说散热好还能再多 5%-10%。他仓库的 README 写的是 decode 1.75x、prefill 1.85x——和他自己报的”从 7-15 到 50-60”口径不同：前者是相对上游主线的倍率，后者是端到端的体感。看数字时得留意这两个基准不是一回事。
P100 是 2016 年的 Pascal 架构，16GB HBM2，没有张量核心，官方也不支持 BF16 / int4。按理说，这种卡在今天的本地推理里早该被判死刑。
但这次优化的核心不只是”快”，还有”准”。P100 是少数有原生快速 FP16 硬件的卡——llama.cpp 的 CUDA 内核顺着这个特性默认用了 FP16 累加，而 FP16 的动态范围不够，量化数学会积累舍入误差，输出会变得”有噪声”。作者的修法是混合 fp16/fp32：存储和吞吐继续用 FP16，实际累加走 FP32，误差就消掉了。
也就是说，这张卡这些年在社区里”跑得像有问题”，不全是它老，而是软件走了一条对量化不友好的路径。我觉得这一点挺有意思：一块硬件，被它自己当年的先进性反噬了。
第一，它给算力焦虑提供了另一条路径。不是所有人都有 4090，但两张合计 32GB 显存的退役服务器卡，恰好装得下 27B 到 32B 的量化模型。另一位玩本地推理的网友写得很直白：他先去问前沿大模型”P100 值不值得买”，模型劝他千万别买——没张量核、量化支持差、散热麻烦——结果他自己买了一块，实测同模型下比他的 RX6600XT 还快近一倍。模型的建议有它的道理，也有它的保守偏见，你得自己验证。
第二，这是一个非常具体的”AI 降低专业门槛”的例子。内核优化原本是很硬核的活，需要懂 CUDA、懂数值精度。一个没有学位的人，靠着 AI 辅助加上极其严格的回归测试（数学结果必须字节一致，否则测试不过），做出了能被主线合并的东西。这比”AI 帮你写周报”要重要得多——它说明个人可以在一个高门槛领域里做出真实贡献。
第三，它提醒我们，性价比的分子在变。我们习惯看”每秒多少 token”，但对个人来说更该看”每美元多少 token”。当软件侧还有成倍的优化空间没被挖出来时，硬件账单不该是唯一的答案。
成本得说清楚：P100 是被动散热卡，没有风扇，你得自己加风道或者水冷，那位网友是 3D 打印外壳配 94mm 猫头鹰风扇；功耗和噪声都不小，有人干脆把整机挪去了厨房；你得自己编译 CUDA 12.x 的版本；参数还很挑——作者明确说要用 -c 262144 -b 32768 -ub 1024 -np 1，少了 -b 32768，MTP 会过载，满深度接受率会掉到接近 0。另外这是个个人 fork，长期能不能跟上上游，本身就是风险。
本地推理的性价比区间，正在被”社区补丁 + 退役硬件”重新定义。这不是说大家都该去捡二手服务器卡，而是说：当你把某个模型判成”跑不动”之前，值得先怀疑一下软件栈。
至于那个 17 岁的作者，他做的事给了我一点信心——AI 把门槛拉平这件事，至少在某些领域，是真的在发生。
（内容由AI生成，仅供参考）
Loading comments...