写AI Agent时最头疼的问题不是模型不够强,而是它经常一本正经地跑偏:任务做一半就开始自由发挥,最后交上来一个看似完整其实没对题的结果。
对付跑偏,与其堆复杂的监督流程,不如在每个关键阶段加一道轻量自检闸门。
核心思路:CoT + 岔路口检查
让Agent在每个决策点先输出一段简短的思维链(CoT),然后回答一个固定问题:"我刚做的这一步,和最终目标是否仍然相关?"把这件事做成一票否决:一旦相关度低于阈值,立刻回退一步重新推理,而不是硬着头皮往下推。
具体实现(伪代码)
关键点在于:check这一步用固定模板,不追求准确打分,只要一个粗粒度的"偏没偏"信号。0/1判断比让模型自评分数可靠得多,因为模型自评容易被自己的推理带偏。
三个实用细节
- 闸门放在状态变更前,而不是输出后。Agent最容易在改context时引入噪声。
- 阈值宁可高一点,误回退只是多算一次,漏回退才真正出错。
- 把闸门日志打出来。回退次数本身就是衡量任务难度的信号,攒一段时间你能发现哪些环节总让Agent走丢,值得单独拆成子Agent,或者调提示词。
什么时候不适用
任务链条极短(两步之内)、或坏结果无副作用时,这层自检是纯开销,直接跑完整流程更快。只有当"跑偏成本"高于"多几次推理成本"时才值得上。
一句话总结:给Agent加自检,加一道粗粒度闸门,别加一套模型去评判模型。