智能体回答不准,先别急着换模型。先判断它到底是“没知识、理解错、胡说、算错、还是执行错”。然后按下面顺序优化,通常最有效。
第一,把任务说清楚。提示词里写明白:用户是谁、要解决什么问题、输入是什么、输出要什么格式、哪些不能做、遇到不确定怎么办。最好给一两个正确示例。很多“不准”,其实是要求太模糊。
第二,补知识库。把常见问题、产品资料、业务规则整理好,让智能体先查资料再回答。不要只靠模型自己记。资料要更新,最好标注来源和有效期。
第三,加检索和工具。需要查数据、算数字、查订单、看库存时,让智能体调用工具或数据库,不要让它猜。能查就查,能算就算,查不到就说查不到。
第四,把复杂问题拆步骤。先理解问题,再找资料,再给答案,最后自检。比如先确认用户问的是哪个产品,再查规则,再回答。复杂任务不要一步到位。
第五,加回答前检查。让智能体检查:有没有答非所问,关键数字对不对,引用来源有没有,不确定的是不是标出来了。重要场景可以二次核对,或者让另一个流程复核。
第六,建立错题本和评测集。把答错的案例收集起来,定期测试。每次改提示词、换模型、加知识库后,都跑一遍错题。这样才知道是真变好,还是碰巧。
第七,做用户反馈闭环。让用户能点“有用、没用、纠错”。把高频错误整理进知识库和示例里。错误反复出现,就说明流程或资料有问题。
第八,问题模糊时先追问。用户说得不清楚,不要硬答。先问一句“您说的是哪个产品、哪个场景”,准确率会明显提高。
第九,控制模型参数和版本。温度不要太高,重要场景尽量稳定。换模型要做对比测试,不要凭感觉换。
最后给一个优先级:先收集错题,再改提示词和知识库,然后加检索和工具,最后加自检和评测。大多数智能体回答不准,不是模型不聪明,而是资料不全、要求不清、流程太粗、缺少检查。 |
|