跳到主要内容
返回企业 AI 落地实践

AI Agent 的哪些操作需要人工确认,哪些情况需要人工接管?

AI Agent 参与客户服务与流程执行时,需要区分操作授权、客户确认和人工接管。本文面向已规划业务流程的企业团队,梳理确认节点、接管条件与会话恢复的检查方法,具体规则由项目参与方约定。

流程图中的自动执行路线在关键节点转向人工确认窗口

本文回答

  • AI Agent 的哪些业务操作需要人工确认?
  • 人工接管后怎样避免人与 AI 同时回复?

AI Agent 参与客户服务时,可以先按操作对象划分权限,再分别约定客户确认和人工接管的条件。本文面向业务负责人、客服主管与系统对接人,给出操作清单、会话切换和恢复测试的准备建议,具体执行规则需结合业务系统确认。

词元映射的企业 AI 服务页提到,按业务需要接入资料与授权工具,并在关键环节保留人工确认1。下文的权限分类和测试步骤属于方案建议,不代表各类项目都已具备相同功能,也不承诺统一的开发工作量。

先区分谁有权确认什么

建议先把 Agent 将要执行的动作列出来,逐项记录读取的数据、可能改变的业务状态,以及受到影响的客户或工作人员。读取公开说明、查询本人订单、修改订单资料应分别列项,不能把整段会话笼统归为可自动处理。

客户确认可以用于核对本人提供的信息,但不能替代企业内部的业务授权。建议由业务负责人决定哪些字段允许修改、由谁复核,技术对接人再核对接口是否支持相应的限制。客服收到客户回复后,也不应自行扩大允许修改的字段范围。

在航逸机场停车案例中,返程航班、同行人数和行李等信息经客户确认后更新到订单;司机派单仍由后台人员完成,AI 不选择司机、不生成司机位置,也不代替客户付款2。这些是该停车案例公开的业务规则,其他服务的操作范围应重新约定。

准备清单时,建议为每项写入动作补上确认内容的展示方式、确认记录的保存位置和撤回后的处理办法。客户改变主意、订单已经进入下一阶段或接口返回结果不明时,可以先停止继续执行,交给负责人员核对实际状态,再决定下一步。

把人工接管写成可以核对的过程

建议由业务团队列出需要人工介入的情形,例如客户主动要求人工沟通、请求不在已约定的服务范围内,或系统无法核对操作对象。这些情形可以用作接管测试条件,不应被写成所有企业必须采用的统一规则。

每个条件都需要配套的接收人员和响应安排。业务负责人可以约定通知由谁接收,技术团队则说明发送失败、人员未响应时系统能显示什么状态。如果拟增加升级提醒,应单独确认通道能力和值守安排,不能把发出提醒当作已经有人处理。

航逸停车案例明确区分监控告警和人工接管,并在人工接管通知成功后暂停 AI 回复,满足恢复条件后再继续服务2。公开页面没有据此证明所有消息通道都能使用同一种实现。

项目团队可以把通知发送、人工接手和自动回复暂停分别记录,检查各阶段能否得到可核对的结果。测试时应覆盖通知失败和人员未响应的情况,观察系统是否仍然误报已接管,以及是否向客户作出了未经确认的处理承诺。

检查会话切换期间的消息发送

避免人与 Agent 同时回复,需要结合会话平台实际提供的状态和发送控制能力设计。建议技术团队先说明是否能识别当前服务主体、是否能停止待发送消息,以及状态变更通知延迟时怎样处理,再选择实现方式。

如果平台支持会话状态控制,可将自动服务、等待接手、人工服务和恢复确认等状态分别记录。进入人工服务前后,应测试已经生成但尚未发送的消息如何处理。不能仅检查新的模型请求是否停止,却忽略队列中已有的回复。

如果现有通道无法提供可靠的接管状态,项目团队应先缩小自动服务范围,或约定由人工暂停相关会话。是否需要额外开发、哪些业务线可以复用,要通过接口调查与联调判断,不能提前承诺无需定制。

还建议测试接管通知延迟、重复到达和恢复请求交叉发生的情形。由工程团队记录实际发送结果,业务人员核对客户看到的消息顺序。发现状态与发送结果不一致时,应先停止相关自动发送,保留问题记录,修复后再验证。

恢复自动服务前核对上下文与权限

人工处理结束后,建议由业务团队约定恢复的发起人和适用条件。可以检查当前事项是否已经处理完毕、是否仍有待核对的订单操作,以及客户是否还在等待人工说明。具体采用按钮确认还是其他流程,需要根据通道和岗位安排决定。

恢复前可以整理一份必要的交接摘要,保留客户已确认的信息、当前事项进度及仍未解决的问题。内部处理备注不应无差别发送给模型,技术与业务人员需要共同确认哪些内容允许进入自动服务的上下文。

恢复测试应同时覆盖信息和权限。建议检查 Agent 是否重复询问已确认事项,是否把人工尚未完成的动作误报为成功,以及是否仍然遵守原来的接口权限。恢复会话不应被当作重新授予全部系统权限的机会。

用实际消息记录完成上线检查

上线前建议保留正常接管和异常接管的测试记录,记录触发请求、通知结果、实际服务主体及最终发送内容。判断依据应来自实际消息和业务系统状态,不能只看配置页面上的开关。

  • 对照操作清单,核对每项写入动作的确认主体和可修改字段。
  • 模拟接管通知失败,检查系统是否错误显示人工已经接手。
  • 在回复生成过程中触发接管,检查待发送消息是否按约定处理。
  • 让人工补充处理结果后恢复自动服务,核对回答依据和权限范围。
  • 将未通过的情形交给明确的负责人,约定修复后的复测条件。

测试中若无法解释某条消息由谁触发,建议先保留人工处理,不急于扩大自动执行范围。接管方案需要随接口、业务规则与岗位安排的变化重新核对,历史测试通过记录不能替代变更后的验证。

参考来源

  1. 词元映射 · 企业 AI 解决方案、Agent 定制与平台开发
  2. 词元映射 · 航逸,用 AI 持续跟进机场停车订单