Freetoken
Freetoken 让普通电脑也能跑 MoE 大模型 — 本地 AI 开始分流
MoE（混合专家架构，把大模型拆成多个子网络、按需激活）是当前大模型降本的核心技术。本周 Reddit 本地 AI 社区出现一个小信号：Freetoken 等新工具开始支持 MoE 卸载，让 24GB 消费级显卡也能尝试 70B 模型，而以前基本要 48GB 起步。这是边缘 AI 持续渗透的又一步。
找到 1 篇关于此标签的文章
MoE（混合专家架构，把大模型拆成多个子网络、按需激活）是当前大模型降本的核心技术。本周 Reddit 本地 AI 社区出现一个小信号：Freetoken 等新工具开始支持 MoE 卸载，让 24GB 消费级显卡也能尝试 70B 模型，而以前基本要 48GB 起步。这是边缘 AI 持续渗透的又一步。