baize白泽明理

安全可信

Agent 接 CRM 之前,上线测试先跑模拟企业数据?

Agent 上线测试先在模拟企业环境里跑,再接真实 CRM。Eon 的 Era 能生成一家完整的虚拟公司,带 Salesforce、Zendesk、Slack 等系统的仿真接口和 MCP 端点,数据全部合成。它也写明:上线前还要在自己的预发环境用真实数据再验一次。

白泽明理

玻璃沙盒里的模型公司和正在测试的 Agent,旁边是通往真实 CRM 档案柜的关闭闸门

Agent 上线测试,先在模拟企业数据上跑,再接真实 CRM。顺序是三步:模拟环境里测对错和权限,预发环境里用真实数据复核,最后才进生产。直接拿生产 CRM 试,测错一次就可能改坏客户记录。

左边是模拟、预发、生产三步上线测试;右边是数据一致的模拟公司和真实系统里的脏数据对比
图:「Agent 上线 测试」|「模拟 企业数据」

模拟企业环境能测什么

Eon 在 2026 年 10 月 8 日公开了免费工具 Era。选行业、公司规模和要用的系统,它会生成一家虚拟公司:客户、商机、工单、通话记录、聊天和文档在各系统之间互相对得上。(来源:Eon 博客)

  1. 接口和真的一样。 Era 按 Salesforce、HubSpot、Zendesk、Jira、Slack 等厂商的 REST 接口格式返回数据,每个系统还带 MCP 端点。Agent 测完后,把地址换成生产环境即可。
  2. 每次测试一家新公司。 环境按参数生成,同样的参数生成同样的公司。可以每次 CI 跑一家,跑完就删。
  3. 能查权限。 Era 的 GitHub 说明里写到,测试可以断言答案、工具选择,以及只读 Agent 有没有写数据。(来源:eon-io/era README)

答案有标准,分数才可比

Eon 团队 2026 年 9 月在 arXiv 发了论文。每道题的答案由代码从生成的数据里算出来,评分是精确比对。9 个模型对同一组 33 道题各答 3 次,准确率在 42.4% 到 76.8% 之间。按题型平均:简单筛选 92.6%,跨系统 39.6%,多跳 3.7%。(来源:arXiv 2609.09853)

同团队的另一篇论文专测「隐藏知识」:比如电话里答应过客户的事,或者几份记录里公司实际用的是哪一份。证据在系统里,但不在题目点名的那条记录里。12 个 Agent 里,最好的答对 24 次里的 18 次;有 4 个模型在两种程序下最多只对 6 次。(来源:arXiv 2609.30055)

对企业来说,这说明一件事:Agent 读得到 CRM,不等于读得懂跨系统的业务上下文。上线前要专门出这类题。

模拟数据替代不了预发环境

Era 自己的说明写得很直白:环境 100% 合成,不能替代带真实数据的预发系统,上线前要在自己的预发环境里再验证。

模拟数据测的是流程对不对、权限有没有越界。字段乱填、历史脏数据、同名客户这些问题,只有真实数据里才有。

上线前的分工:

  1. 模拟环境:功能题、跨系统题、只读权限断言,每次改动都跑。
  2. 预发环境:脱敏后的真实数据,抽样复核答案。
  3. 生产:小范围开,先只读,再开写权限。

改提示词、换模型、加工具时,模拟环境都要重跑一遍。Era 这类工具可以接进 CI,每次提交自动跑。

规模化之前要先定哪些事,见 Agent 治理要赶在扩规模之前。工程上怎么设护栏,见 AI 原生时代的软件工程:从「写代码」到「约束代码」。

Agent 上线测试:常见问题

Agent 上线测试能直接用生产 CRM 吗?

不建议。测试中 Agent 可能写错、删错记录。先在模拟环境里跑通,再到预发环境复核。

模拟环境的分数能代表上线效果吗?

只能代表流程和权限这一层。真实数据的脏乱程度,要在预发环境里看。

模拟企业数据从哪里来,要自己造吗?

可以自己造,也可以用现成工具。Eon 的 Era 能按行业和规模生成整家公司的模拟企业数据,各系统之间数据一致,Eon 说对开发者免费。自己造的话,至少要让客户、商机和工单在几个系统里对得上,否则测不出跨系统的问题。