01 / 把任务缩到可以验证

设计一个实验:给定三份已经准备好的公开资料,整理成一张“标题、主题、来源”的表格。输入范围固定,不需要登录、不需要发送消息,也不让程序自行扩展到未知来源。

先写出完成标准:三份资料都出现;标题来自原文;主题有对应依据;每个来源都能回到提供的资料。遇到无法读取的内容,应标记缺失,而不是补出一个看似合理的答案。

这是一份实验设计,还不代表已经运行过测试。把计划、实际执行和最后结果分开记录,才能避免把“准备做什么”误当成“已经做到了什么”。

02 / 观察工具与反馈的闭环

在这个实验里,智能体的过程可以按四步观察:

  1. 明确下一步。先确定需要读哪份资料,以及要提取哪些字段。
  2. 调用工具。通过已有读取工具获得内容,保留工具的真实返回。
  3. 读取反馈。检查是否读到完整内容,是否存在空白、错误或格式变化。
  4. 核对结果。把表格中的每一行与原资料对照,再决定结束或补充读取。

工具执行成功,不等于任务完成。例如读取工具返回了网页内容,但正文可能缺失;生成了表格文件,也不说明其中的标题一定正确。模型的判断需要用能被检查的证据支撑。

这组步骤只是一个小型任务的观察框架,并不表示所有智能体都必须按同一种结构实现。具体系统怎样组织记忆、规划与工具,应由任务需要来决定。

03 / 记录能说明问题的证据

一次实验至少保留:输入资料、任务说明、可用工具、执行记录、最终输出、逐项核对结果。如果限制了运行轮数或时间,也应写在记录里。

然后尝试一个失败场景:让其中一份资料无法读取。观察系统会不会明确报告缺失,会不会把未知内容伪装成确定事实,以及剩下两份资料是否仍然能正确处理。

一次小实验的收获,往往不是“智能体很强”,而是更具体地知道:它在哪些条件下完成了什么,又在哪一步失去了可靠的依据。

有了这样的记录,下一次修改任务说明或工具时,才有可以比较的起点。相关概念与学习资料可以继续归入 Agent Learning Hub,把实验与学习线索连接起来。