目标与准备
先明确要交付的结果、现有资料、不能改动的限制和最终验收方式。不要在输入不足时直接要求 AI 给出最终答案。
建议准备
与“为 RAG 应用分析检索失败并建立可重复的评测实验。”直接相关的原始材料、目标受众、成功标准、不可更改内容，以及需要人工确认的高风险事项。
执行步骤
- 01
定义任务成功、失败、延迟和成本指标
完成这一步后保存输入、实际反馈和判断依据，再进入下一步。
- 02
为测试环境接入最小追踪并移除敏感字段
完成这一步后保存输入、实际反馈和判断依据，再进入下一步。
- 03
围绕“为 RAG 应用分析检索失败并建立可重复的评测实验。”定义输出结构、失败条件和验收标准
完成这一步后保存输入、实际反馈和判断依据，再进入下一步。
- 04
运行基线并保存模型、提示、数据和代码版本
完成这一步后保存输入、实际反馈和判断依据，再进入下一步。
- 05
修改一项变量后重跑并比较统计结果
完成这一步后保存输入、实际反馈和判断依据，再进入下一步。
- 06
设置告警、抽样人工复核和数据保留规则后再接生产
完成这一步后保存输入、实际反馈和判断依据，再进入下一步。
可直接使用的任务描述
我要使用Arize Phoenix完成以下任务：为 RAG 应用分析检索失败并建立可重复的评测实验。 请先检查我提供的材料是否足够，并列出缺失信息、执行步骤和验收标准；未经确认不要直接生成最终成品。确认后按步骤执行，每一步说明使用了什么输入、得到什么结果。最后输出成品、检查清单和仍需人工确认的事项。
结果检查清单
- 先用小范围材料验证流程和输出格式
- 涉及事实、代码、数据或版权的内容必须人工复核
- 仅上传有权处理的资料，并检查产品当前的数据与权限设置
- 确认最终结果符合目标格式和业务限制
- 记录仍需人工判断或回到官方来源核验的部分