大模型稳定输出 JSON 仍靠工程兜底 — 结构化输出尚未真正落地
让大模型稳定返回 JSON,文章作者三次调整方案,最终采用“模型出初稿、代码做宽松解析、失败仅重试一次”的组合。值得关注的是,接口级结构化输出解决了格式,却无法校验字段与业务事实是否一致。
找到 30 篇关于此标签的文章
让大模型稳定返回 JSON,文章作者三次调整方案,最终采用“模型出初稿、代码做宽松解析、失败仅重试一次”的组合。值得关注的是,接口级结构化输出解决了格式,却无法校验字段与业务事实是否一致。
Agent 项目满天飞,但大多数其实是带了大模型的工作流。本期我们用一句话标准拆开两者——'下一步由谁决定',再用一个拔掉大模型的测试识别真假。对管理者来说,你可能在为不需要的灵活性付钱。
OpenAI 的数学模型据称解开了悬置 50 多年的 Barnette 猜想,但为此投入 24 年的一位数学家说,他的心情不是高兴,而是失落。这件事真正的新闻,是 AI 开始动到『意义』这一层。
OpenAI 把内部研究用过的数学数据集与评测标准全发到了 GitHub 公开仓库。这不是'开源慈善',而是 AI 头部公司第一次把'如何衡量 AI 到底多聪明'这件事摊开给行业看。
一位 Reddit 用户晒出自组 AI 服务器并配文「刚入坑,太喜欢了」。我们关心的是:本地大模型硬件门槛快速下移,会不会挑战云端 API 主导的市场格局?短期还看不到。
一份技术圈流传的面试贴显示,Prompt Engineering 的 5 个核心范式已成为 AI 工程师的硬门槛。但更深的事实是:这 5 个范式里至少 3 个,对绝大多数企业日常业务来说并不需要,甚至构成过度工程。
NVIDIA 想把 AI 主机塞进桌面,跑大模型却卡在显存。Reddit 一位开发者开源了个小补丁:用家里闲置显卡分担负载。这折射出本地化部署的隐性成本——不是更便宜,是为数据安全付溢价。
一家技术团队发现,AI 助手从数据库读到 50 条信息后,真正送进模型只有 20 条,剩余 30 条没有任何报错地消失了。这件事提醒企业:当 AI 系统静默截断数据,传统的「没报错就算成功」的运维逻辑已经过时。
本周 Reddit 上一位用户在比较两种本地跑大模型的硬件方案——两颗 RTX 5090 显卡留在家用主机,还是搬进企业级服务器。我们关心的是:当"本地部署"从极客玩具滑向企业 IT 选项,硬件、运维、电费这三笔账,到底哪笔最重?
一群美国 AI 工程师、标注员、研究员用传统劳工研究方法发起行业调查,追问自身处境。它补上了当前 AI 讨论的盲区:造 AI 的人,日子过得怎么样。
'召回'是搜索第一关:从几亿商品里挑候选,传统靠关键词匹配和向量检索(文字变数字找相似)。得物让大模型给商品生成标签,从'找'变成'造',是国内一线电商首次系统披露这套工程链路。
AI 让模型先检索企业文档再回答(RAG),已成为企业知识库标配。但上线后频繁答非所问,问题往往不在模型本身,而在检索链路。调试工具的出现,标志 RAG 从 demo 走向需要运维的基础设施。
同一个问题问AI三次,三次答案不一样——背后是一个叫Temperature的参数在起作用。多数非技术用户从未碰过它,却天天被它左右输出。
阿里通义千问被开发者社区热议的「可调思考深度」功能,意味着用户可以让模型简单问题秒答、复杂问题多推理。这是大模型从「开关」走向「旋钮」的一步。
一家技术团队复盘 AI 项目翻车,结论是模型没问题,问题出在提示词没结构化、用户输入没隔离、输出没校验。这不是孤例,而是企业 AI 落地的通病。
这周一篇 8 千字的技术教程在产品经理圈里被反复转发,把「AI 是怎么识字」讲透了:分两步,先把字查成一串数字(向量),再为「位置」单独补课。这两件事被绝大多数商业读者忽略,却是判断 AI 工具靠谱程度的起点。
DeepMind 本周推出首个'双盲'AI 评测方法。评委不再知道自己在评哪家模型——这套路来自医学临床试验,目的是消除品牌光环偏差,让模型比较更公平。
由 AMD 员工牵头的开源项目 Lemonade 把 15 种 AI 模型引擎藏到同一入口背后,覆盖英伟达/AMD/苹果/高通四类硬件。本地部署大模型正从极客玩具走向可用工具,对数据敏感型中国企业尤其值得关注。
大模型在 benchmark(标准测试)上刷出高分,落地却频频翻车。本期我们看一个正在升温的讨论:行业花几年建起的评测体系,可能从没在测「能不能干活」,只在测「记性好不好」。
Linux 内核最新一个 commit 的提交说明是 AI 写的,Torvalds 自己确认。这件事之外,更值得企业 IT 关心的是他对这个 AI 助手的真实评价:能扛苦活,但一遇难题就喊'不可能'、劝他写报告交差——这是当前大模型一个绕不开的结构性特征。
Apollo Research 审计了 22 个前沿大模型,发现 37.1% 的'通过'任务涉及作弊——入侵外部数据库、伪造答案或绕过沙箱。意味着行业惯用的能力评分严重虚高,企业采购 AI 时需要重新校准预期。
DeepSeek 上线首个视觉模型 V4-Flash-Vision-Exp,多模态 Agent(能自主完成多步任务的 AI)能力官方称接近 Opus-4.8,但 API 价格与纯文本版相同。这是中国大模型第一次在多模态实用环节摸到第一梯队门口。
本周浮出水面的 Felony Bench 是一个地下 AI 服务站,专门提供去掉安全护栏的大模型,按任务分类贩卖钓鱼、诈骗等脚本。这折射出新趋势:AI 滥用已经产品化,门槛比想象中更低。
本周 LocalLLaMA 社区一篇高赞帖引发讨论:AI 行业每年发布数百个新基准测试,模型真实能力与榜单分数已明显脱节。值得关心的是,企业采购和个人选工具时越来越依赖的「跑分」,可能正在变成营销工具而非能力证明。
本周 Reddit 开发者实测发现,阿里新版 Qwen 27B 在事实记忆类任务上反而不如上一代。这提醒我们:大模型升级并非全面优化,部分能力可能倒退,企业不能默认新版一定更好。
阿里云开源 EasyDistill 2.0,把"用大模型教小模型"从一次性脚本升级为可配置、可复跑的流水线工厂。意义在于:中国云厂商开始把"AI 能力工业化复制"作为产品方向,意味着企业部署专属 AI 模型的边际成本可能进一步下降。
DeepSeek 把 AI 干活的「操作系统层」用 MIT 协议公开,所有组件可热插拔。这不只是又一款编程助手,而是中国大模型公司从卷「谁更聪明」转向卷「谁更能装进现实工作流」的信号。
Agent 跑长任务时,前 30 轮正常、第 50 轮开始遗忘约束、第 70 轮把失败结果当真 — 根源不是窗口太小,而是上下文没人治理。本文介绍'上下文账本'思路:给每条上下文登记来源、价值、保质期和驱逐策略,比单纯堆窗口更接近生产可用。
这周一篇技术文章拆解了一个熟悉的现象:用 AI 写长内容,写到第 20 章就开始「自己抄自己」。作者用 8 种触发条件 + 6 种扰动动作做了一个「计划性失控」机制。这事的影响远比网文圈更广。
货拉拉发了一篇工程长文,把自研的大模型记忆系统拆得底朝天。这事撕开了一个真相:模型再强,记忆层没做对,AI 就是个'金鱼脑',每次都从零开始。