OKFDE — Train. Build. Deploy.

OKFDE|我们的研究方法论

我们如何研究企业 AI 的真实交付

OKFDE

我们如何研究企业 AI 的真实交付

OKFDE · Enterprise AI · Research Methodology

一张单据被系统识别出来,距离它能够安全入账,还有多远?

中间可能隔着一份缺少字段的历史记录、一条没有写进制度的业务约定,以及一个无法确认是否提交成功的旧系统接口。操作员需要知道哪些内容可信,遇到差异应该找谁,点击确认之后又将承担什么责任。

OKFDE 从这些具体问题出发,研究企业 AI 如何进入真实业务,以及支撑它长期运行的工程与组织条件。

我们关注企业 AI 的落地与规模化应用。在 OKFDE 的研究框架中,企业 AI 不局限于某一种岗位或交付模式,而是指 AI 能力深入企业的业务与技术环境,直接参与问题定义、流程重构和生产交付,对业务采用与运行结果承担明确责任,并将实践经验沉淀为可复用、可扩展的产品与组织能力。

本文说明我们如何选择研究对象、判断证据,以及描述系统在具体业务中的自主程度。这套方法也接受案例检验,并随新的证据修订。

研究从一项具体业务开始

OKFDE 以具体业务场景及其部署为基本研究单位。

研究一套核销系统,需要明确它处理哪类单据,连接哪些系统,谁有权确认,异常如何处理。讨论排产系统,则需要知道它能够调整哪些约束,计划由谁批准,执行结果如何反馈。

这些边界决定了一项能力描述究竟意味着什么。同一个产品,在不同客户环境中可能具有不同权限,也可能承担完全不同的责任。

因此,我们会区分演示、试点和生产运行。某个场景中的表现,只支持相应范围的判断。对服务商整体能力的评价,需要更多项目和持续交付记录。

在明确研究范围之后,我们从三个相互关联的维度展开分析。

OKFDE

一、系统与数据摩擦

企业 AI 接触的数据有具体的来源与缺陷。扫描件可能模糊,历史字段可能缺失,业务人员对同一个词也可能有不同理解。我们首先观察系统如何识别这些限制,以及它是否会在信息不足时停止判断。

对于文档和图像输入,我们关注结果能否回到原始页码、文本片段或图像区域。低置信度内容是否明确呈现,无法识别的字段是否留待确认,也属于评估范围。口头约定形成的记录,还需要核实其适用范围与确认人,不能仅凭文本抽取就认定为正式业务规则。

系统接入方式同样影响交付质量。我们会追踪一项任务从原始资料进入系统,到最终写回业务系统的完整过程,记录其中仍需人工搬运的信息,以及新增的操作负担。

独立网页、标准接口和桌面自动化都有各自的适用条件。判断依据包括权限是否受控、接口变化后能否维护,以及操作失败时能否查明状态。接入旧系统的技术难度,需要与接入之后的运行可靠性分别讨论。

当 AI 可以触发业务动作时,研究会进一步检查执行边界。

模型生成的建议如何经过业务规则校验?系统能否独立检查执行权限?请求超时之后,怎样确认上一笔操作是否已经完成?

我们关注重复请求是否可能造成重复业务效果,也关注停止执行以后如何恢复、如何核对记录。某个组件的名称,无法单独证明这些问题已经解决。判断需要对应到实际行为及其验证材料。

二、人机权责与组织采用

AI 参与业务的深度,决定了需要怎样的授权与监督。

草拟一段文字与提交一项付款指令,具有不同的后果。研究开始时,我们会明确系统能够读取什么、能够修改什么,以及哪些动作必须经过人工确认。

人工确认本身也需要检查。操作员是否看得到原始依据,是否有足够时间复核?发现问题后能否修改或驳回,争议又由谁处理?

只有一个确认按钮,尚不足以说明人掌握了有效的控制权。我们会结合界面信息与实际操作流程,判断确认是否具有实质意义,并追踪系统提供方、管理者和操作人员各自承担的职责。

组织采用则需要回到员工的日常工作。

原来私下维护的 Excel 是否仍在更新?纸质单据是否减少?跨部门催办是否发生变化?这些现象能够帮助我们观察工作方式是否改变,但都需要解释原因。

Excel 停更,可能意味着系统接替了原有功能,也可能意味着这项工作转移给了其他人。打印量下降,也需要结合业务量判断。

因此,我们将这些现象视为采纳的代理指标,与操作记录和访谈相互核验。调用量、登录次数等数据可以辅助解释使用过程;业务价值还需要结合处理时间、返工与差错情况判断。

三、单位经济与交付经验的产品化

一个项目解决了客户的问题之后,我们还会追问,下一次交付能否因此变得更好。

现场形成的适配器、领域模型和评测用例,具有复用潜力。是否已经形成产品资产,需要观察它们在后续项目中的实际使用情况。

我们会记录复用时需要修改多少内容,维护责任由谁承担,以及它是否减少了重复实施与验证工作。把代码整理成一个独立模块,只能说明团队做了抽象设计,实际收益仍需后续交付证明。

经济性也需要分别从客户与交付方观察。

客户侧关注处理一项业务的总成本、用时和结果质量。交付方则需要考虑实施投入、持续支持成本,以及新增项目对人员投入的依赖程度。两者可能在不同阶段呈现不同结果。

计算单次业务成本时,我们以成功完成并通过约定验收的业务事项为分母,将人工复核纳入成本。失败、重试与返工消耗的资源同样需要计入,一次性实施费用的分摊方式应当说明。

对于尚处于试点阶段的项目,我们会保留其学习价值,同时注明长期经济性仍待验证。规模扩大后是否产生收益,需要数据支持。

事实、解释与假设分别呈现

OKFDE 的研究结论分为三类。

OKFDE

客观事实

这一类记录材料能够直接支持的内容,并注明来源与适用范围。

招标文件能够证明采购方提出了某项要求。官方技术文档能够证明厂商公开描述了某种设计。二者都需要进一步的交付或运行证据,才能支持相应的生产能力判断。

日志和现场观察也有边界。研究应说明它们来自什么环境、覆盖什么时间窗口,以及能够回答哪些问题。

研究解释

这一类呈现 OKFDE 基于事实形成的工程判断或组织分析。

我们会交代事实如何支持结论,说明其中的假设与代价,并保留有实质影响的其他解释。某个流程在引入系统之后变快,尚不足以单独证明变化由 AI 引起,业务量和流程调整也需要核查。

读者应当能够分辨材料中直接记录的内容,与研究者据此作出的推演。

待验证假设与未决问题

这一类记录当前证据无法回答的问题,以及后续需要什么材料才能继续判断。

涉及尚未披露的权限设计、运行指标或成本结构,我们会明确写明暂无公开信息。未披露信息不直接等同于能力缺失,也不能用来补全一个过于乐观的判断。

上述分类区分的是内容性质。证据是否可靠,还需另行检查来源质量与核验状态。我们会记录关键材料的日期、版本及来源之间的关系,避免将同一份材料的多次转载视为独立验证。

业务流程自主性等级

为了描述系统能够在多大程度上参与执行,OKFDE 使用 L0 至 L4 的业务流程自主性分级。

这套分级属于 OKFDE 的研究框架,适用于明确范围内的业务流程。它不代表行业认证,也不直接等同于产品质量。高风险流程保留逐笔人工确认,可以是充分考虑业务约束后的合理选择。

OKFDE

上述等级描述应当同时附带业务范围和证据状态。我们会区分厂商声明、测试验证与生产观察。材料不足时标记为暂不定级,不以 L0 代替未知。

一项研究如何形成结论

每项研究首先明确问题与范围,随后收集能够支持或反驳关键判断的材料。

对于重要结论,我们会记录原始来源、时间与适用条件,检查不同材料是否互相独立,是否存在无法解释的冲突。公开材料不足时,可以在获得授权后通过访谈或运行资料补充核验。

报告应当保留结论与证据之间的对应关系。一个判断依赖哪些材料,哪些部分属于解释,还有什么条件尚未确认,读者应能查明。

商业合作与保密要求也会影响材料的使用。涉及客户、合作方或委托研究时,应披露相关利益关系。未获授权的信息不进入公开报告,保密材料的存在也不能替代可公开说明的论证。

当被研究方或读者提出事实异议时,我们依据新增材料核验。影响结论的修改应记录原因,更新研究日期与版本,避免结论脱离当时的证据条件。

研究参与

OKFDE 欢迎能够帮助核验真实交付情况的材料,包括旧系统集成记录、异常处理过程,以及业务采用前后的变化。

提交线索时,请尽量说明业务范围、发生时间与可提供的证据,并标注保密和引用限制。请勿提交未经授权的客户数据或个人信息。   


关于 OKFDE

我们关注 FDE,更关注 AI 真正落地之后发生的真实事件。

如果你也关注AI,关注产业,欢迎建联。

微信:okai-leo

公众号:OKFDE-AI不止Demo

邮箱:leo@okfde.net

OKFDE

⬆OKFDE三“贱”客希望陪伴大家的AI项目成功落地,持续高效!(◍・ᴗ・◍)