BP7 · Rubric 评测与零 GPU 迭代#

定位：面试官追问评测体系与迭代方法论时的拷问预备。

核心口述（30 秒）#

“三级动态 Rubric：P0 一票否决、P1 扣分、P2 质量打分。零 GPU 迭代闭环：评测→定位 bad case→改 prompt/工具/机制→再评测对照。核心洞察：先校准 judge 再改 Agent——三类假阳性校准后均分 +61%，一行 Agent 代码不动。“

低分两种原因：Agent 问题 or judge 误判。先排除误判才知道 Agent 真正水平线。校准本身 +61%——尺子歪是主因。

① 轨迹里的 item_id 当信息泄露 ② 无预算 query 凭空造预算红线 ③ 非购物意图强加检索规范

18 条固定种子覆盖 13 场景桶。对策：① 场景多样性 ② 每轮改进有明确归因 ③ 飞轮数据从使用增量收集，种子集只做回归基线。

取决于上下文学习能力上限。32.8→58.5(+78%) 全靠上下文改进。真正需要 GPU 的是模型基础能力不够。

诚实负结果：加 few-shot 后均分没有显著提升。记录了——不是每个”应该有效”的改进都真的有效。

run_agent 显式返回 trace_id（不用 ContextVar——子 task set 不回传父）。三条 score 挂 Langfuse trace。

统计意义弱——但这不是统计问题而是工程问题。种子集的价值是回归基线：改完重跑，分数跌了就是退步。大规模需线上 A/B。