找到 1 篇关于此标签的文章
MoE(混合专家架构,把大模型拆成多个子网络、按需激活)是当前大模型降本的核心技术。本周 Reddit 本地 AI 社区出现一个小信号:Freetoken 等新工具开始支持 MoE 卸载,让 24GB 消费级显卡也能尝试 70B 模型,而以前基本要 48GB 起步。这是边缘 AI 持续渗透的又一步。