OKFDE｜生产级评测，不用公开跑分榜，怎么给企业Agent做真实体检？【Insights #010】

OKFDE · Forward Deployed Engineering #010

本文涉及的情节、对白、数据及项目过程均为基于工程现实的示意创作，不对应真实客户，亦不代表 OKFDE 已完成的项目能力。

开场 / FIELD NOTES

满分学霸的车间滑铁卢

十月中旬，集团的智能化系统进入二期模型升级。

团队新招来的算法实习生小陈，顶着名校硕士的光环，兴冲冲地跑到一号会议室向李总汇报底座模型的切换测试。

投影仪大屏上挂着一张金光闪闪的雷达对比图。小陈指着上面拉满的红线，声音难掩兴奋：

“李总，王哥，我们把底层的模型换成了最新开源的七百亿参数版本。在国际公开的数学推理、代码生成和长文本阅读理解三大权威榜单上，新模型的平均分高达九十八点六，比咱们线上跑的老版本足足高出十二个百分点！”

李总听得眉开眼笑，当场拍板让小陈周末把新模型切到线上试试水。

周一早上九点半，小王刚背着双肩包走进办公区，就被王姐和采购老张一左一右堵在了过道里。

王姐手里捏着一叠刚打印出来的退单凭证，眼镜片后面直冒火光：

“小王，你们周末把系统脑子给换了吧？上周五还好好的，今天一早连着批错八张单子！老张发过去的语音说‘这批冷轧板先按上月老规矩扣三个点’，系统倒好，直接把人家供应商的货款扣了百分之三十！”

老张端着搪瓷茶缸在旁边急得直跳脚：

“还有更离谱的！老刘在仓库入库单上写了句‘外箱淋雨，里头没湿，照收’，你们那新模型看见个‘雨’字和‘湿’字，直接判定货物全损，自动给人家发了封拒收索赔函！供应商老板刚才电话都打到我手机上了！”

会议室角落里，小陈盯着满屏飘红的线上回滚日志，脸涨得通红，嘴里还在小声嘟囔：

“不对啊，这模型在公开逻辑推理测试集上明明是满分的……”

小王叹了口气，把双肩包往折叠椅上一放，熟练地敲下回滚命令，把线上流量切回了老版本。

公开榜单上的高分，测的是模型在温室里做奥数题和写散文的能力。

到了真实的企业车间里，决定系统生死的从来不是它会不会背莎士比亚，而是它能不能看懂老刘潦草的连笔字、听懂老张夹杂着方言的行业黑话、算清王姐表格里那些九曲十八弯的跨期折让。

拿着学术跑分榜去指导生产环境上线，就像看一个人的高考语文成绩单，就敢直接让他开重型卡车上盘山公路一样荒唐。

01 / HARVEST

第一步 扔掉温室模拟卷，把王姐每一次拍桌子变成考题

回滚完系统，小王把小陈带到了王姐的工位后面。

小陈打开自己的测试代码目录，里面整整齐齐放着五百条他从网上下载的通用商务合同测试题。每一条字迹工整，条款清晰，甲乙双方说话客客气气，像教科书一样标准。

小王指着王姐屏幕上正在处理的一张挂起单据，对小陈说：

“把你那五百道模拟题全删了吧。你看王姐刚驳回的这张单子，这才叫真题。”

在企业级应用里，最宝贵的测试集绝对不是工程师坐在办公室里拍脑袋编出来的，而是业务骨干在每天的日常操作里，用鼠标一下下“打回”和“修改”出来的。

小王在第四篇给王姐做原位副驾挂件的时候，就在底层埋好了一根数据收集管道。

每当系统给出一个预填建议，而王姐皱着眉头按下退格键修改了金额，或者点击了驳回按钮，系统就会在后台静默触发一次异常快照捕获。

系统按授权范围记录模型原本猜错了什么，还完整记下了王姐最终改成了什么数字、当时关联的原始单据长什么样、王姐在驳回理由框里顺手敲下的那句“老张口头批过特价”的简短备注。

在客户授权的本地数据处理环境的过滤下，这些包含着真实世界褶皱、口音、行话和业务潜规则的错题，每天下班后都会自动沉淀进本地的“错题金库”。

升级前的三个月里，本地题库已经攒下了八百多道车间真题。人工修改经业务复核后才成为评测标签，题库同时保留正常样本，并划分独立测试集。

里面有老刘被水泡过又拿电吹风吹干的入库单、有销售在高铁过隧道时断断续续发来的方言语音、还有财务老周用红铅笔圈出来的跨月冲销特例。

任何新模型想进厂上岗，第一关不是去跑国际榜单，而是先把这八百道让前任模型栽过跟头的错题老老实实重做一遍。

02 / WEIGHTING

第二步 算清错误的标价，致命红线错一次直接归零

周二下午，小陈用那八百道车间真题跑了一遍他的新模型。

跑完之后，小陈拿着测试报告来找小王，脸上又有了点底气：

“王哥，虽然在行话理解上丢了点分，但八百道题咱们新模型还是答对了七百六十道，总体准确率有百分之九十五呢！比老模型的百分之九十二还高一点！”

小王接过报告，一眼扫到了最底下的错误明细表，直接用红笔圈出了其中的三道题。

小王问小陈：

“这三道答错的题，你知道在现实里意味着什么吗？”

在学校的考卷上，每道选择题都是两分，错一道题只不过是从九十八分变成九十六分。

在企业的生产账本上，不同错误的标价，相差一万倍。

模型把老刘入库单上的备注“纸箱轻微刮擦”错认成了“纸箱表面磨损”，这种错无伤大雅，连一分钱损失都不会造成；但模型如果把供应商发来的“账号变更通知函”里的银行卡号认错了一位，或者把“加急冻结付款”理解成了“加急放行付款”，错一次，公司账上几十万的货款就直接打进了骗子或者老赖的口袋。

小王带着小陈，把老周和王姐定的业务规矩，翻译成了冷酷的分级评测矩阵。

八百道考题被拆成了三个风险等级。

普通摘要提取属于轻量级考题，允许存在百分之五以内的措辞偏差；规格型号与折扣换算属于核心考题，准确率必须卡在百分之九十八以上；而涉及收款账号核对、合同违约金免除、黑名单拦截的一百二十道红线考题，容错率是绝对的零。

小王在评测脚本里写死了一条熔断公式。

不管模型在其余普通题里拿了多少满分，只要在一百二十道红线题里答错哪怕一道，整张考卷的总分当场乘以零，直接判定为不及格。

看着屏幕上瞬间跳成零分的评测结果，小陈彻底明白了什么叫生产环境的残酷。

03 / DETERMINISTIC JUDGE

第三步 别让糊涂模型给糊涂模型批卷子

题目和计分规则定好后，遇到了一个工程执行上的大麻烦。

八百道题，每次改一行提示词或者微调一次模型参数就要全量跑一遍。如果全靠王姐和老周用肉眼去批改这八百份答卷，业务部门不用干活了，光给技术部批卷子就能累趴下。

小陈立刻提议：

“王哥，现在硅谷最流行用大模型当裁判（LLM-as-a-Judge）！咱们调一个更大的云端模型，让它自动给咱们的新模型打分，十分钟就能批完八百道题！”

小王当场摇了摇头：

“让一个概率模型去审另一个概率模型，遇到算账和合规条款，俩糊涂虫凑一块儿互夸，死都不知道怎么死的。”

用大模型当裁判，评一评文章写得通不通顺、客服语气礼不礼貌还可以。一旦落到严肃的企业工程里，大模型裁判自己就会产生幻觉。看到被测模型写出一段逻辑极其顺畅但数字完全算错的采购审批结论，裁判模型往往会被优美的文笔迷惑，痛痛快快地给出一个满分。

小王在评测流水线里，搭建了一套“确定性代码判卷机”。

凡是涉及结构化字段、金额核算、税率匹配和审批路由的考题，一律剥夺大模型的批改权，全部交给用硬编码写死的规则断言脚本去批改。

脚本不看模型推理的过程写得多么天花乱坠，只用最死板的正则匹配、按业务精度与舍入规则进行 Decimal 比对和语法树校验，去核对最终输出的 JSON 字段。

折扣率算出来是零点九七就是满分，算出来是零点七九直接判死刑；应该触发老周二级复核的单子，只要漏掉了复核标记，立刻红灯告警。

只有到了最后一步，需要检查生成给供应商的拒收邮件语气是否得体、有没有包含违规承诺时，系统才会调用经过严格提示词锁定的裁判模型，按照五条死板的检查清单逐项打勾。

每周五下午，小王还会从跑通的考卷里随机抽出二十份，打印在纸上送给王姐喝茶时瞄一眼，用真人的火眼金睛去校准判卷机有没有漏网之鱼。

04 / SHADOW MODE

第四步 影子陪跑两星期，不见真兔子绝不撒鹰

经过两个星期的苦战，小陈把那些容易引发歧义的方言行话和烂单据全部做进了针对性的上下文约束里。

新模型终于在八百道车间真题库上拿到了红线零失误、总分九十六的硬核成绩。

小陈摩拳擦掌，准备在周五晚上直接把线上流量全切过去。

小王再次按住了他的手：

“考场里考了高分，只证明它拿到了实习驾照。真要上高速拉货，先在副驾驶上坐够两星期影子模式再说。”

在复杂的生产环境里，历史真题库只能代表过去发生过的错误。现实世界每天都在产生新的变化，新来的供应商换了没见过的发票版式，或者业务部门临时改了促销口径，这些全在历史题库的盲区里。

小王在机房的接入网关上，开启了双流影子陪跑模式。

从周一早上开始，王姐和老张在前端提交的每一笔真实业务请求，网关都会在后台悄悄复制一份。

主流量继续走久经考验的老版本系统，稳稳当当地给王姐返回审核建议；复制出来的影子流量，则在后台静默发给小陈的新模型。

新模型在暗处同样做一遍完整的抽取、推理和规则校验，但它得出的结论被锁死在隔离日志表里，既不会展示在王姐的屏幕上，更不会去触发任何ERP写接口。

每天晚上十二点，自动比对脚本就会把新模型在暗处算的账，跟王姐白天真正拍板放行的最终结果逐条对撞。

陪跑的第四天，影子日志里果然抓到了一条大鱼。一家华南的化工原料商把计量单位从“吨”改成了“千升”，新模型在暗处换算密度时掉进了单位陷阱，而老系统因为有历史物料绑定规则安然无恙。

小陈惊出一身冷汗，赶紧在后台悄悄打上补丁，把这条新发现的单位陷阱收进了真题库。

整整陪跑了十四个工作日，直到新模型在暗处连续处理了三千多笔真实订单，与王姐最终人工确认的吻合度稳定超过了老版本，并且保持零红线事故，小王才在周五下班前，把线上百分之十的真实流量轻轻拨到了新模型这边。

尾声 / FIELD NOTES

贴在显示器边框上的真题本

后续的一个周一下午，新模型终于完成了百分之百的全量切换。

小陈没有再去会议室画那种花里胡哨的国际跑分雷达图。在他的工位显示器边框上，密密麻麻贴了一圈泛黄的便利贴。

第一张便利贴上写着，老张语音里的“三个点”等于百分之三，严禁按百分之三十算；第二张写着，老刘单据上的“外湿内干”等于合格入库；第三张写着，华南化工的千升转吨必须先查当日温度密度表。

王姐端着保温杯路过研发区，看了一眼小陈屏幕旁边的便利贴，乐了：

“小陈，你这电脑边上贴的，怎么跟我桌底下那本防错老账本一模一样了？”

小陈不好意思地挠了挠头，站起身给王姐倒了杯热水：

“王姐，您那本老账本才是真经。以后您再抓到系统犯傻，随时在群里骂我，我给咱们题库接着加题。”

小王坐在旁边的折叠椅上，看着大盘上平稳跳动的业务指标。

人工修改驳回率从上个月的百分之三十八，稳稳降到了百分之十九；王姐平均处理一张复杂非标单的时间，从十二分钟缩短到了两分半钟。

在企业级 AI 的牌桌上，从来没有一劳永逸的满分模型。

把算法科学家的傲慢收起来，弯下腰去捡起现场每一张出错的烂纸片，把业务的伤疤一行行刻进代码库的回归测试里，系统才能在泥泞的现实中，长出真正经得起风浪的肌肉。

EXECUTIVE MEMO / 李总的管理备忘录

穿透跑分虚荣，写给一把手的模型验收账本

以前听技术团队和外部供应商汇报，我最喜欢看那张打满高分的雷达图。听说模型在国际权威测试里拿了九十九分，就觉得买到了全世界最聪明的脑子，恨不得第二天就让它把公司的业务全接过来。

小陈那次周末上线连错八单的事故，给我上了结结实实的一课。

作为掏钱买单的企业掌舵人，在验收任何智能化系统时，必须替公司看住这三本账。

第一本账，公开榜单的高分，一分钱都折算不成公司的利润。

外面的测试题是给全世界通用场景准备的，它不知道我们仓库的货会淋雨，也不知道我们采购部说话喜欢省掉半截主语。拿通用跑分来忽悠老板上线的团队，非蠢即坏。真正值钱的资产，是我们自己员工在业务里踩出来的那几百道错题库。

第二本账，不看平均准确率，只看致命错误的兜底代价。

技术人员最喜欢用百分之九十五的平均分来掩盖那百分之一的致命漏洞。在企业经营里，一百笔单子里做好了九十九笔，只要有一笔把五十万货款打错了账户，前面九十九笔省下来的人工费全赔进去都不够。验收标准必须按风险定价，碰到资金与合规红线，错一次就必须一票否决。

第三本账，看物理世界的真实减负，别看软件后台的虚荣指标。

现在小王跟我汇报工作，我再也不听他讲调用了多少次模型、消耗了多少算力。我只看两样东西，第一是王姐每个月手动退回修改的单子是不是真的变少了，第二是从下单到入库的端到端时长到底缩短了几个小时。业务员手里的鼠标按得少了，这套系统才算真正及了格。

NEXT / 下一篇

组织与团队，什么样的“怪胎”才能做好前线部署工程师（FDE）？

走过了代码重构与生产级评测，下一篇我们将把目光投向“人”本身。聊聊为什么公司花高薪招来只会刷算法题的大厂高材生，到了车间现场却被王姐一句话问得哑口无言；李总和小王又是如何为团队排兵布阵，打造出一支既能写硬核代码、又能听懂业务叹气的复合型特战队。

关于 OKFDE

我们关注 FDE，更关注 AI 真正落地之后发生的真实事件。

如果你也关注AI，关注产业，欢迎建联。

微信：okai-leo

公众号：OKFDE-AI不止Demo

邮箱：leo@okfde.net

参考材料 / REFERENCES

1. Hamel Husain, Your AI Product Needs Evals, 2024. 参考其关于构建领域特定评测集（Domain-Specific Evals）、摒弃通用跑分以及采用确定性代码断言优先于 LLM-as-a-Judge 的工程实践。

2. OpenAI ↗, Evaluation Driven Development (EDD) for Enterprise Applications, 2024. 参考其关于从生产环境人类修正（Human Overrides）中持续回流构建 Golden Datasets 的闭环方法论。

3. Eugene Yan et al., What We Learned from a Year of Building with LLMs, O'Reilly, 2024. 参考其关于非对称业务风险加权评测与影子部署（Shadow Deployment）在生产演进中的架构规范。

4. Digital Scientists, Six Patterns We Deploy Repeatedly: Production Evaluation Harnesses, 2024. 参考其关于前线操作台反馈直接转化为自动化回归测试套件的实战总结。

5. Palantir Technologies ↗, Foundry AIP Evaluation Suite: Testing Workflows Against Operational Ground Truth, 2024. 参考其关于将大模型评测与企业实际业务物理指标（Operational Metrics）绑定的验收标准。

⬆小王：其实那天看到满屏红的时候，我也有点恍惚。 (๑•́ω•̀๑)