token/秒

一个人打字跑赢 70B 大模型 — 本地 AI 硬件才是真瓶颈

Reddit 本地 AI 社区这周最火的段子：网友做了个网页测人类『每秒生成 token 数』，结果自己 2 token/秒跑赢笔记本 CPU 跑 70B 模型的速度。这背后是本地部署 AI 的真实门槛 — 不是模型不够好，是硬件跟不上。