OKFDE｜黑天鹅防御，突发断网、接口崩溃与优雅降级【Insights #009】
隔壁工地一铲子挖断了主干光纤，李总的智能化大屏瞬间跳红，车间却一秒钟都不能停。
OKFDE · Forward Deployed Engineering #009
本文涉及的情节、对白、数据及项目过程均为基于工程现实的示意创作，不对应真实客户，亦不代表 OKFDE 已完成的项目能力。
开场 / FIELD NOTES
挖掘机铲断的云端大脑
九月底的最后一个周五，集团迎来了全年最凶猛的备货洪峰。
早上十点，王姐的工位前已经排起了两百多张加急采购单，仓储老刘的叉车在月台上连轴转，财务老周的出纳窗口前堆满了待核销的票据。
十点十五分，小王电脑屏幕上的终端监控图突然齐刷刷断崖式下跌。
原本代表健康的绿色心跳线瞬间消失，满屏跳出刺眼的红色报错，外部网络不可达，上游大模型云端接口全部返回 502 网关错误。
紧接着，办公楼走廊里的内线电话响成一片。
信息部主管老孙顶着一头汗冲出机房，手里的对讲机滋滋作响：
“坏了！园区外面市政修路，挖掘机一铲子把整条街的地下主干光纤全挖断了！电信抢修队说至少得今天半夜十二点才能熔接恢复！”
一号会议室里，李总端着咖啡冲到监控大屏前，脸色铁青。
前两个月，为了冲刺集团数字化改造指标，采购订单初审、仓库入库核对、发票三单匹配已经全面切到了这套新系统上。
李总转过头，声音发紧：
“小王，外网断了，云端的大模型连不上了，我们今天这五百张急单怎么办？车间下午等米下锅，要是停工四个小时，光违约金就得赔进去两百万！”
很多企业在享受智能化红利时，从来没想过一个致命的脆弱点。
过去没有智能系统的时候，断了外网，大家靠局域网老系统照样能开单发货。现在一旦把云端大模型嵌进核心业务链路，只要一条网线被挖断，或者远在几千公里外的算力中心发生故障，整家传统企业就会像被拔掉呼吸机的病人一样当场休克。
小王站在红光闪烁的机房大屏前，没有去翻找抢修电话。他打开本地终端，敲下了一行早已准备好的降级指令。
01 / DECOUPLING 解耦
第一道防线 异步削峰，先把涌进来的单子接住
外网断掉的第一分钟，最危险的事情是业务单据在报错中直接灰飞烟灭。
许多初级团队在写系统集成时，习惯采用同步阻塞调用。王姐在前端点一下提交，系统后台立刻发一个网络请求去调云端大模型，等大模型返回结果了，再把数据存进数据库。
这种写法在平时看起来很顺畅，一旦遇到光纤被挖断或者接口崩溃，前端页面就会卡死转圈。三十秒后，浏览器弹出一个冰冷的系统异常提示，业务员辛辛苦苦填了半小时的采购单直接丢失，连重来的机会都没有。
小王在搭建底座的第一天，就把前端提交与后端模型推理解耦成了异步管道。
十点十六分，大促订单依然像潮水一样涌进内网。
当业务员点击提交按钮时，请求根本不会直接去撞已经断掉的外网墙，而是瞬间写入机房本地的高可用消息队列中，整个耗时不到五毫秒。
前端界面立刻弹出一条温和的橙色提示，单据已安全入库锁定，当前外部算力通道拥堵，系统已自动转入本地应急流水线处理。
前线的销售和采购员甚至没有感觉到外网已经断了。单子一张不少地稳稳落在本地硬盘里，排着队等待下一层防线的消化。
02 / FALLBACK 回退
第二道防线 算力不够规则来凑，八成标品照常跑
单子接住了，接下来必须解决怎么批的问题。
李总站在小王身后，看着队列里攒起来的一百多张订单，急得直搓手：“单子存下来有什么用，不审出去仓库还是发不了货啊！”
小王指了指屏幕右侧跳出来的绿色放行日志：
“李总您看，标准单已经在自动往下走了。”
在企业日常流转的业务里，真正需要大模型动用复杂推理能力去处理的奇葩非标单，往往只占两成左右。剩下的八成，全是常年合作老供应商发来的常规标品采购。
平时网络通畅的时候，大模型会在前面做全套的语义理解和合同比对。当外网主通道熔断的瞬间，系统内部的降级开关自动跳到了第二档，纯确定性规则兜底模式。
小王在第六篇重构时沉淀下来的本地规则引擎，此刻直接顶上了前线。
系统跳过所有大模型调用，直接在内网数据库里拉取历史白名单。只要满足三个硬性条件，供应商在三年长期合作名录内、采购单价与上月完全一致、总金额在五万元以下，本地规则引擎直接加盖应急放行戳，秒级流转到仓库老刘的发货屏上。
不到十分钟，队列里积压的两百张单子，有一百六十张顺顺当当地走完了审核。月台上的叉车依然轰鸣着把货物装上卡车，车间生产线连一分钟都没有耽搁。
03 / EDGE MODEL 边缘模型
第三道防线 机房角落里的老显卡，撑起非标急单
到了上午十一点，常规标品单全跑完了，复核池里剩下了四十多张硬骨头。
里面有临时变更交货地点的补充协议，还有老刘刚刚用高拍仪扫上来的手写急件。这些单据全是非结构化的图片和长文本，死板的规则引擎根本读不懂里面的文字。
老孙看了一眼机房角落里那台嗡嗡作响的二手机架服务器，有些庆幸地说：
“小王，还好上个月听你的，没把那台退下来的旧显卡服务器当废铁卖了。”
当初进场部署的时候，小王坚持在老孙的本地机房里，塞进了一个参数量只有几十亿的轻量级开源小模型，平时处于低功耗休眠待命状态。
这台小模型虽然写不出优美的公文，做不了跨学科的深度推理，但它经过了小王用那上千张合成脏数据专门微调出来的版面抽取训练。
外网切断的第十分钟，这台本地小模型被系统自动唤醒，接管了非标单据的文字抽取工作。
它的推理速度比不上云端大集群，平时一秒钟能出结果的单子，现在需要花上六七秒。抽取出来的置信度也只有八成五左右，没办法处理特别绕弯子的免责暗语。
但它死死守住了最核心的底线，把老刘手写单据上的物料号、数量和加急备注，老老实实地抠出来变成了结构化字段，填进了王姐的审核页面里。
算力降级了，服务响应变慢了，但核心业务的脉搏依然在跳动。
04 / MANUAL OVERRIDE 手动覆盖
第四道防线 抽掉智能拐杖，让王姐丝滑接管方向盘
还有最后五张单子，连本地小模型也败下阵来。
那是两份跨国供应商发来的中英混排扫描件，加上传真机墨迹模糊，小模型给出的置信度低于百分之六十，系统自动触发了最后一道防线，优雅退回人工。
小王走到业务部工位旁。
王姐正戴着浅灰色套袖，不慌不忙地处理着那五张挂起的单子。
很多号称全自动的系统在崩溃时，连人工录入的入口都一起锁死了。因为研发人员当初觉得有了 AI 就不需要人工表单了，直接把老系统的手动编辑按钮给删了，结果系统一挂，神仙也救不回来。
小王当初在改造老 ERP 界面时，专门保留了原生的手动输入通道，并将其设计为无感热切换。
当本地小模型宣告放弃时，王姐屏幕上的插件浮窗没有弹出吓人的代码报错，而是自动展开成了一张左右分栏的半人工辅助工作台。
左边是放大到高清比例的原始扫描件，小模型把自己勉强认出来的几个数字用浅黄色虚线框标了出来；右边是完全解锁的传统手动录入框，光标已经自动跳到了第一个需要补填的空格里。
王姐看了一眼左边的扫描件，右手在数字小键盘上飞快地敲了几下，补齐了模糊的单价，顺手按下了回车键。
王姐转头看了小王一眼，笑着说：
“小王，今天这系统虽然慢了点，但还挺懂事，没学会的题知道自己空出来让我填，比上回那个动不动就白屏死机的强多了。”
晚上十一点四十分，市政抢修队终于把街口的光纤重新熔接打通。
机房大屏上的外网指示灯由红转绿。
小王的系统没有立刻粗暴地切回云端，而是先在后台开启了静默补偿进程。系统把白天走应急规则和本地小模型放行的两百多张单据，在后台悄悄发给云端大模型重新跑了一遍深度复核。
核对无误的自动归档销账，发现有两张轻微折扣偏差的，自动生成了次日复核提醒卡片，安静地躺在王姐明天早上的待办列表里。
尾声 / FIELD NOTES
凌晨十二点的绿灯与旧卡车
午夜十二点，办公大楼外面的马路上，市政工程车的黄色警示灯还在夜色里闪烁。
一号会议室里，李总看着大屏上最后一条日间应急单据完成云端事后复核，整张报表上的五百一十二张备货单全部变成了深绿色。
没有一张单子丢失，车间没有停工一分钟，财务老周的账目没有一分钱错乱。
李总长长舒了一口气，把西装外套搭在椅背上，转头对老孙和小王说：“今天这根光纤断得值。以前别人跟我吹系统高可用，我听着就是个数字。今天要不是你们在底下留了这四道后手，我今晚就得去车间给客户赔笑脸了。”
老孙拍了拍机房里那台还在嗡嗡转着风扇的旧显卡服务器，难得露出了一丝得意：
“李总，这叫家有一老，如有一宝。”
小王把笔记本电脑合上，塞进双肩包里，顺手检查了一下机柜旁那根备用网线的卡扣。
在风平浪静的演示厅里，每家公司的智能体看起来都像无所不能的超人。
只有当挖掘机铲断光缆、暴风雨吹垮网络的那一刻，你才会看清谁是在沙子上搭积木，谁是在泥泞里老老实实给企业修防空洞。
EXECUTIVE MEMO / 李总的管理备忘录
穿透高可用神话，写给一把手的业务连续性账本
园区外面的光纤被挖断的那一刻，我脑子里闪过的第一个念头不是技术怎么修，而是下午发不出货要赔客户多少违约金。
很多老板在采购 AI 系统的时候，习惯把注意力全放在系统正常运转时能省多少人、跑得多快。我们很少去问供应商一句，万一明天断网了，万一你们的云服务挂了，我的工厂还能不能正常开门做生意？
经历了今天这场惊魂十小时，我把企业的防灾账本彻底算清楚了。
第一笔账，越聪明的系统，一旦脆弱起来越致命。
过去我们用老旧的局域网软件，虽然笨重，但它不挑食、不依赖外网。现在引入了云端大模型，如果技术团队偷懒，把所有业务都绑死在一根外网网线上，一旦遇到风吹草动，先进的生产力瞬间就会变成企业的停产毒药。
第二笔账，备胎的价值平时看不见，出事时抵得上千万利润。
小王和老孙当初在机房留那台旧服务器、写那套死板的本地规则时，我还嫌他们多此一举，觉得有了最好的云端大模型干嘛还要维护老规则。今天那八成靠老规则跑通的标品单告诉我，最土的办法，往往是危急关头最硬的保命符。
第三笔账，永远不要把人工操作的钥匙彻底扔掉。
再好的自动化系统，也必须保留随时退回手工操作的能力。系统崩溃时，不能把王姐手里的键盘也一起锁死。让员工在系统断电时依然有路可走，是一家企业对客户履约的最后底线。
NEXT / 下一篇
走过了资金风控、部门权限与断网黑天鹅，下一篇我们将进入第四篇章“规模化与工业化”。聊聊为什么在学术榜上跑出 99 分的大模型，一进工厂就被王姐和老刘的日常业务虐得体无完肤；小王又是如何在客户现场搭建起一套真正关联业务生死的“生产级真题评测体系（Production Eval Suite）”。
关于 OKFDE
我们关注 FDE，更关注 AI 真正落地之后发生的真实事件。
如果你也关注AI，关注产业，欢迎建联。
微信：okai-leo
公众号：OKFDE-AI不止Demo
参考材料 / REFERENCES
1. Michael T. Nygard, Release It!: Design and Deploy Production-Ready Software, 2018. 参考其关于断路器模式（Circuit Breaker）、优雅降级（Graceful Degradation）以及舱壁隔离在极端故障下的设计准则。
2. Google SRE, Site Reliability Engineering: Handling Overload and Cascading Failures, 2016. 参考其关于异步队列削峰、请求抛弃与服务降级梯度的工程实践。
3. Martin Fowler, Enterprise Integration Patterns: Guaranteed Delivery and Dead Letter Channel, 2003. 参考其关于本地持久化消息队列确保极端断网下业务单据零丢失的架构模式。
4. Anthropic, Building Effective Agents: Fallback Strategies and Human-in-the-Loop Continuity, 2024. 参考其关于模型服务不可用时回退至确定性规则与人工工作流的架构规范。
5. Palantir Technologies, Palantir Apollo & Edge AI: Disconnected and Air-Gapped Operations, 2022. 参考其关于弱网、断网环境下本地轻量模型接管与网络恢复后异步状态同步（Eventual Consistency）的工程实现。
⬆今天看似云淡风轻的小王内心OS Σ(ﾟДﾟ;)