LLM量化

Reddit 用户把大模型压进 60 MB 跑 CPU — 数字漂亮，我们先打个问号

60 MB 装下大模型、CPU 跑 400 token/s、无需 GPU——Reddit 用户 NODEMIND 发布的 SHADOW-250M 数字惊人。如果可复现，本地 AI 的成本曲线可能比我们想得更陡；但单一来源、零独立基准，我们暂时把它当值得跟踪的爱好者作品。