Laya
RTX 4090 上跑出四款会做判断的小模型 — 云端大模型并非唯一答案
我们注意到，过去一周冒出四款专门做分类判断的开源小模型，跑在一张消费级显卡上 PK。传统行业部署 AI 的旧思路——必须买云端服务——可能要被重新审视。
返回首页
Laya
找到 5 篇关于此标签的文章
CalDec
非 ML 背景开发者调出本地 AI 助手 — 大模型不再是程序员的专利
CalDec v1 是 Reddit 用户 kgrozdanovski 发布的开源决策模型，基于已有模型微调。作者无专业 ML 背景，结果却超出预期。模型本身不重要，重要的是'普通人给自己做 AI 助手'这件事正在发生。
Jev
业务判断不必再问大模型：三种轻量级 AI 帮你做选择题 — 选错多烧三个月
工单交给谁、检索是否相关、是否转人工 — 这些高频业务判断不必调用昂贵的大模型。Jev、Kev、Laya 三种专用决策模型各有适用场景，但底座、部署与微调差异巨大，企业选型需要看清门道。
Laya
Laya 源码暴露部署省钱思路：421M 模型不碰 torch 就能跑
开发者这周拆解开源决策模型 Laya 的源码，发现一个反常识细节：import laya 这一刻不加载 torch 也不加载 numpy。意味着 AI 推理服务的入口层可以零 GPU 启动。
OpenVINO
一个开发者让 CPU 跑大模型快 3.4 倍 — 不买显卡跑本地 AI 的门槛正在变低
开发者 rupeshs 把开源本地大模型工具 Laya 移植到 Intel OpenVINO 上，CPU 上每条问答只要 40 毫秒。意味着不依赖云端、不买显卡，企业在自己机器上跑 AI 的可行性又进了一步。