Table of Contents
代理(Agent)定义
代理是通过循环使用工具的模型
何时构建代理系统
最佳实践
核心原则:像你的代理一样思考
提示工程(Prompting)
随着模型变得更智能,提示工程应当更加重要而非减少重要性。 需要明确模型应掌握的概念以及在特定环境中应有的行为。
例如这些规则:
- 简单问题使用不超过5个工具
- 复杂问题可使用10-15个工具
工具设计
不能只是简单地给代理提供工具描述,你还需要告诉代理何时使用这些工具。
上下文管理
管理上下文窗口非常重要:
- 总结之前的聊天历史
- 写入外部文件
- 使用子代理
评估(Eval)
没有评估就无法改进系统:
- 可以从小的评估开始,但不应延迟评估
- 即使少量测试用例也很重要
- 注意每次修改提示时的变化
- 使用真实测试任务
- 应确保调整后的代理有能力解决实际问题
-
使用LLM作为评判者
- 没有什么能替代人工评估
- 在真实环境中使用代理
- 在真实环境中使用代理
代理系统开发建议
从小规模开始
避免少量示例(Few-shot)方法
使用少量示例会限制LLM的能力。 应该给它规则,让它自己思考,而不是替它思考。
大家一起来讨论