Agent 跑出全绿测试却没执行代码,评测失真比失败更值得警惕
一份 Agent 评测把固定文本“3 passed”当作真实测试结果,实际没有启动测试进程。文章揭示,工具名和绿色界面无法证明任务完成;企业引入 Agent 时,必须核查判定器观察的是程序行为还是预设字符串。
找到 30 篇关于此标签的文章
一份 Agent 评测把固定文本“3 passed”当作真实测试结果,实际没有启动测试进程。文章揭示,工具名和绿色界面无法证明任务完成;企业引入 Agent 时,必须核查判定器观察的是程序行为还是预设字符串。
让 AI 帮你写 App 不翻车的核心,不是写得更快,而是 4 步流程:隔离任务、搭好结构、让 AI 自己测试、最后人工把关。即使你不会读代码,照着走也能让 MVP 上线少踩坑。
HTMX 作者 Carson Gross 这周说:编程的本质是解决问题和控制复杂度,不是敲代码。我们拆解这个不太性感的判断,以及它没说出口的风险。
本周Reddit技术社区一篇实测长文刷屏:作者让AI编程工具Strata连续跑12小时,结果后半程AI开始怀疑自己写过什么、记错文件路径。值得关心的是,当前AI Agent在长任务上的记忆可靠性仍是未解决的硬伤。
AI 编程最大误区是问「能不能做」。工程师给出 4 个判断问题,把任务分成三层委托。这套逻辑不只适用于写代码。
AI 编程世界正在分裂:命令行派接管长链路自动化,图形 IDE 守住视觉审查底线。顶级工程师已开始混用两条路线,单押任何一边都在冒险。
Agency Agents 是 GitHub 上的一个开源项目,把 230 多个写好'人设'的 AI 智能体(一句话理解:各有专长的 AI 助手)打包,自动装进 Claude Code、Cursor 等主流编程工具。它揭示了 AI 智能体生态的真实瓶颈,值得所有想用 AI 提效的人看一眼。
阿里旗下 AI 编程工具 Qoder 被一名开发者「训练」成按自己公司技术栈写代码的助手。AI 编程正从「通用」走向「定制」,但教程里反复补漏的过程说明离「放手不管」还远。
OpenAI 的 Codex CLI 引入「多 AI 同时改代码」能力,背后指向产品逻辑从单兵作战走向多 Agent 并行。一个不起眼的功能更新,藏着 AI 编程工具下一步的方向。
一位开发者用 RTX 3090 跑 27B 模型做本地编程测试:四个 Python 任务三个通过、一个完全失败。失败方式很反直觉——AI 把 8192 个输出额度全花在内部'推理'上,最后没写出任何代码。算力够用,'想太久'才是新问题。
Google 发布 Gemini 4 Argon:单次输出拉到 100 万 Token、API 价格腰斩,跑分超 GPT-6 拿下 12 项第一。但真实工程场景落后 10 个百分点、促销期后反而更贵,普通开发者也拿不到调用权限。
本周 Reddit 开源社区出现一个基于阿里通义千问 Qwen 的社区微调模型 Qwen3.8-27B-pi,主打按问题难度分配推理深度,让 27B 这种中型模型能跑出接近 GPT-4 级的代码 Agent 能力。值得关心的是:过去这种能力几乎只有闭源大模型才有。
Shopify 抛弃用了 6 年的 React Native 重写原生 App,只花 12 周。AI 写代码变强了,连大厂都回头,咱们小团队做产品的门槛是不是也降了?
AI 三小时搭出来的接单页面,第二天客户付款后订单全乱。问题不在 AI,是没搞懂系统怎么跑。给非码农创业者的避坑清单。
一位独立开发者用字节的 Seed-2.1-pro 从零搭出浏览器 3D 对战游戏,包含五种技能、敌人 AI 与完整胜负循环。值得关心的不是它又会写代码,而是它能跨多轮维护一个多模块项目并持续迭代。
Prompt 学得再多,写代码时大多数人还是只会丢一句'帮我实现'——掘金一篇近 10 万阅读的高赞文给出三个可立刻复用的工作流:需求拆解、故障排查、代码审查。核心判断:AI 负责扩展分析,开发者负责验收决策。
掘金这周一篇实测:用一句话提示词,AI 写出了三个可玩的 3D 网页游戏(QQ 飞车、CF 运输船、鹈鹕骑车),全部单文件 HTML、零外部资源。值得关心的不是画面,是它把端游那套规则链也写进去了。
开发者 Jan 用两块 16GB 显卡在家跑 Qwen3 27B 开源模型,让它通宵自动写出两个监控工具。真正值得关心的不是模型本身,而是「记忆存文件、每步先验收、人随时叫停」这套协作流程。用 AI 写代码这件事,已经从大公司预算变成个人显卡能跑的事。
DHH 在 Rails World 大会宣告 37signals 内部不再手写代码。这场争议只在程序员圈撕得厉害,对非码农创业者其实是利好:想法比实现更值钱了。
OpenAI 这周更新 Codex 编程工具,允许用户给 AI 设定『代码分析员』『评审员』等不同岗位。AI Agent 正在从『万能助手』走向『可配置的虚拟团队』,但配置仍依赖手写 TOML 文件,离普通用户还很远。
本周 Reddit 程序员社区一篇求助帖被反复讨论:作者想用公司闲置的 RTX A4500 工作站(20GB 显存 + 256GB 内存)跑本地大模型写代码,纠结选 Qwen 3 27B 量化版还是更大模型。这不是个例,过去半年本地跑模型写代码正从极客玩具变成部分开发者和中小公司的真实选项。
一位独立开发者在第三周账本里记下一组对比:原本估 5-8 天的活 AI 八小时交付,三次推翻 AI 建议却花了 8-10 小时决策成本。值得记的不是 AI 干得多快,而是它在拍板环节靠不住。
掘金一篇 AI 编程常见问题梳理,把 4 类高频痛点摆到台面。清单不新,但指向很清楚:两年过去,写代码变快了,但判断「写得对不对」没有捷径。
AI 编程工具越来越能干,能改文件、能跑命令。Anthropic 的 Claude Code Hooks 想在关键节点强制拦截,这是 AI Agent 进入企业后绕不开的治理问题。
Vibe Coding 是当下最流行的 AI 编程姿势——用聊天框让 AI 写代码,第一周爽、第二周崩。一位开发者用 SDD(规范驱动开发)自救,把流程改成「先写施工图再动代码」。这事值得每个让 AI 写代码的人关心。
开发者用 OpenCode 命令行版调用模型时工具卡死,最终定位是 DeepSeek CLI 安装时留下的文件夹形成符号链接死循环。这事值得关心:多款 AI 工具共存时,没人能预测会出现什么奇葩冲突。
掘金上一篇开发者教程最近被频繁引用:让 AI 列测试场景、写断言代码(断言即「结果必须等于预期值,否则报错」的检查语句)。但作者明确提醒,AI 不懂业务规则——「测什么、不测什么」还是要人来定。这是 AI 写代码从「能不能写」到「写得好不好」的进阶案例。
Reddit 开发者提了个尖锐问题:本地大模型能不能真正写 Rust/C++ 系统级程序,还是只会在演示视频里做简单活?这是 AI 编程能力被高估的老话题。
海外开发者在 RTX 3090 单卡上用阿里通义千问 27B 开源模型对比两款 AI 编程 Agent,PI Agent 在资源占用和上下文管理上明显胜出。虽是小众测试,但反映开源大模型跑 Agent 任务的可行性正在提高。
开发者只用 OpenAI Codex 一条两千字提示词和两张概念图,AI 自动做出一个能通关的 3D 武侠 MMORPG 浏览器原型。值得关心的是:AI 编程在原型验证环节已可用,但离生产可用还差很远。