一、核心问题：为什么在专业领域应用LLM如此困难？
1. 最后一公里问题
二、解决方案：构建有效Agent的评估体系
1. 评估指标与标记方法
2. 聚焦问题标记
三、持续改进策略
1. 充分利用领域专家&&评估-改进循环
四、成功关键要素
1. 领域专家洞察的重要性
2. 角色分工与协作机制
  1. 产品经理（领域PM）的职责
  2. 工程师团队的执行流程
总结

视频来源：https://www.youtube.com/watch?v=MRM7oA3JsFs&list=WL&index=2

关键

领域知识的洞见~! > 强大的模型和工作流

一定要挖空领域专家的知识.

示例图

一、核心问题：为什么在专业领域应用LLM如此困难？

最后一公里问题

在专业垂直领域应用大语言模型时，最大的挑战在于”最后一公里”的落地问题。虽然通用模型能力强大，但在具体的专业场景中往往无法精准满足业务需求。

示例图

二、解决方案：构建有效Agent的评估体系

评估指标与标记方法

建立专业化评估Agent体系的三个关键步骤：

定义用户关心的指标
- 明确业务目标和用户真正在意的衡量标准
专家定义失败类型
- 让领域专家建立失败模式的本体论分类
- 构建专业化的错误类型分类体系
专家人工评判
- 通过专业人士的人工标注确保评估质量

示例图

聚焦问题标记

示例图

三、持续改进策略

充分利用领域专家&&评估-改进循环

示例图

![[CleanShot 2025-08-18 at 13.05.31.png]]

四、成功关键要素

领域专家洞察的重要性

要在垂直领域成功应用AI，必须深度依赖领域专家的洞察，包括：

评估指标的制定
失败模式的识别

角色分工与协作机制

产品经理（领域PM）的职责

识别和选择最重要的改进方向
制定具体的优化策略和优先级

工程师团队的执行流程

包括领域工程师和AI工程师，主要工作包括：

多样化实验
- 运行不同的实验方案
- 探索各种可能的改进思路
技术优化手段
- 调整提示词工程
- 更换不同的模型
- 进行精细化微调
- 其他技术优化方法
紧密迭代循环
- 利用现成的失败模式数据集
- 快速运行评估
- 实时观察改进效果
成果反馈
- 达到目标性能指标后
- 向产品经理汇报具体改进措施和效果影响

总结

垂直领域Agent成功的关键在于建立”专家洞察 + 技术迭代 + 持续评估”的闭环体系，通过领域专家的深度参与和工程团队的快速迭代，最终实现AI在专业场景的精准落地。

请我喝杯咖啡

示例图

垂直领域Agent的关键

Table of Contents

关键