Table of Contents

  1. 代理(Agent)定义
  2. 何时构建代理系统
  3. 最佳实践
    1. 核心原则:像你的代理一样思考
    2. 提示工程(Prompting)
    3. 工具设计
    4. 上下文管理
    5. 评估(Eval)
  4. 代理系统开发建议
    1. 从小规模开始
    2. 避免少量示例(Few-shot)方法

代理(Agent)定义

代理是通过循环使用工具的模型 trae架构

何时构建代理系统

trae架构

最佳实践

核心原则:像你的代理一样思考

提示工程(Prompting)

随着模型变得更智能,提示工程应当更加重要而非减少重要性。 需要明确模型应掌握的概念以及在特定环境中应有的行为。

例如这些规则:

  • 简单问题使用不超过5个工具
  • 复杂问题可使用10-15个工具

工具设计

不能只是简单地给代理提供工具描述,你还需要告诉代理何时使用这些工具。

上下文管理

管理上下文窗口非常重要:

  1. 总结之前的聊天历史
  2. 写入外部文件
  3. 使用子代理

评估(Eval)

没有评估就无法改进系统:

  1. 可以从小的评估开始,但不应延迟评估
    • 即使少量测试用例也很重要
    • 注意每次修改提示时的变化
  2. 使用真实测试任务
    • 应确保调整后的代理有能力解决实际问题
  3. 使用LLM作为评判者

  4. 没有什么能替代人工评估
    • 在真实环境中使用代理 trae架构

代理系统开发建议

从小规模开始

trae架构

避免少量示例(Few-shot)方法

使用少量示例会限制LLM的能力。 应该给它规则,让它自己思考,而不是替它思考。

请我喝杯咖啡

示例图

Written by

雷哥(微信:leigeaicom)

带你AI编程和AI工程化落地, 让你少走弯路, 做更有价值的创造者.

大家一起来讨论