Table of Contents
![[LLM judge的洞见 2025-11-16 09.42.06.excalidraw]]
评估测试 Ragas: LLM as judge
query:
dsafdjsfklds
1 2 3
自我反思的 RAG
“自我反思”的流程：
- 行动：先尝试一次。
- 检查：停下来评估一下这次尝试的效果好不好。
- 反思：如果效果不好，思考问题出在哪里，如何改进。
- 修正：根据反思，制定一个更好的新方案。
- 再行动：用新方案再试一次。
评分提示词 :
查询: {query}
检索结果: {results[:200]}...
相关度评分 1-5. 值返回分值
if 分值有小于3的:
查询 "{query}" 返回结果过低.
建议改善原始查询. 值返回相应的查询语句.
具体做法:
- 根据query-> 查询出相关片段: 10个
- 让模型基于这10个的相关度进行打分,比如1-5分
- 分数低于3的, 重写query 然后在进行检索.
为什么你需要关注AI工程化落地？
- 如果你是一家科技公司，尤其深耕AI应用技术——工程化是把技术变为价值的关键一步。
- 如果你来自传统行业（电商、医疗、法律、制造、金融、物流等）——AI能重构效率，但你需要懂行的人带你避开陷阱。
- 如果你是企业决策者，关注降本增效、竞争力与创新——AI不是选修题，而是生存题。
- 如果你是独立开发者或创业者——AI能帮你抓住机会，为企业赋能，在竞争中脱颖而出。
在我的知识星球，我们不谈虚的
我一直在一线做AI落地. 我希望这些经验可以帮到你.
欢迎加入我们，思考技术对商业的价值.
如果你有场景和困难, 欢迎找我聊聊AI
- 可以找AI咨询
- 可以找我AI落地
我的微信: leigeaicom
大家一起来讨论