DocMind模拟深挖追问#

说明：🎤 = 面试官追问，💬 = 你的答法，⚠️ = 红线/陷阱。每条链路模拟真实的”答完再追”节奏，越往后越深。

链路 A：架构合理性（为什么是 Agent）#

🎤 简单介绍下 DocMind？ 💬 面向研发团队的 Agentic RAG 知识问答系统，Spring Boot 3.4 + Spring AI 自研，Supervisor-Worker 架构编排 6 步流水线，核心指标 MRR 从 0.421 提到 0.731、Recall@5 0.673→0.788、Faithfulness +0.037。

🎤 这不就是个 RAG 吗？为什么叫 Agent，固定流水线不行？ 💬 工具选择确实可以规则化——我就是这么做的（RetrievalPlanner 规则引擎）。但编排决策（继续检索 / 切换策略 / 终止 / 触发反思）需要基于置信度动态判断，这正是 ReAct loop 适合的地方。证据：Supervisor 支撑 5-action fallback cascade，新增 Worker 只加 1 个文件。

🎤 那 Supervisor-Worker 具体怎么实现的？状态怎么传？ 💬 Supervisor 持有共享 State（query、检索结果、置信度、已执行步骤），按当前状态决定派发给哪个 Worker；Worker 执行完写回 State。fallback cascade 是说某个 Worker 失败或低置信时，Supervisor 按预设级联降级到下一个动作，而不是直接报错。

🎤 加一个新能力（比如新的检索源）代价多大？ 💬 只加一个 Worker 文件 + 在 Supervisor 注册，不动核心编排逻辑。这正是当初没把所有逻辑堆在一个类里的原因——早期 DocMindAgent 膨胀到 1400 行耦合了路由/检索/生成，重构成 Supervisor-Worker 后扩展性才上来。

⚠️ 别把”Agent”吹成全自主智能体；诚实说”工具选择我故意用规则不用 LLM”，反而显得懂权衡。

链路 B：检索层（混合检索 + RRF 往死里问）#

🎤 为什么要混合检索，纯向量不够吗？ 💬 纯向量有语义漂移，对含精确关键词的查询召回差。混合 BM25+向量+RRF 后 Recall@5 +0.115，其中事实类查询 BM25 贡献 +0.200（关键词精确匹配）。

🎤 RRF 公式手写一下。 💬 score(d) = Σ weight / (k + rank_i)，对每个检索路径取文档排名 rank，k=60（Cormack 2009 经验值）。配置 rrfK=60、vectorWeight=1.0、bm25Weight=1.0。

🎤 为什么用 RRF 不用加权求和分数？ 💬 向量相似度是 0-1 有界的，BM25 得分无界，两者量纲不可比，加权和需要归一化且对分布敏感。RRF 只用排名不用原始分，天然规避归一化问题。

🎤 k 为什么是 60？调过吗？ 💬 60 是 Cormack 原论文的经验默认值，k 越大越削弱高排名文档的优势、让低排名也有贡献。我沿用默认并在评测集上验证过它表现稳定，没有为了调参而调参——这个量级的数据集精调 k 收益不显著且容易过拟合。

🎤 那为什么 BM25 对事实类 +0.200，但推理类 +0.000？ 💬 事实类如”RRF 的 k 默认值？“含关键词 k/60，BM25 精确命中；推理类如”top-1 正确但答案差为什么”无字面重合，BM25 返回空。RRF 融合时”空 + 向量 = 纯向量”，所以推理类零提升。这说明混合检索的收益是结构性的、可解释的，不是碰运气。

⚠️ RRF 公式、k=60 来源、不用加权和的原因——这三个是检索轮必考，必须脱口而出。

链路 C：重排层（Cross-Encoder）#

🎤 重排用的什么？和检索的 embedding 有什么区别？ 💬 用交叉编码器（DashScope gte-rerank）。区别：检索用的是 bi-encoder（双塔，query 和 doc 分别编码算相似度，可离线建索引、快）；rerank 用 cross-encoder（query+doc 拼一起进模型，能建模交互、更准但慢、不能预计算）。所以 cross-encoder 只用于对召回的 top-k 精排。

🎤 cross-encoder 一次 387ms 不慢吗？为什么不重排 top-100 提召回？ 💬 它不是瓶颈——LLM 生成 ~1843ms 才是大头。而且数据说明问题：rerank 带来 MRR +0.137 远大于 Recall +0.077，说明它的作用是”把已经召回的相关文档推到 top-1”，不是发现新文档。既然如此重排 top-5 就够，扩到 top-100 只增延迟不增收益。

⚠️ 这里考的是”会不会用数据反驳直觉”。MRR>Recall 的增益差是关键论据。

链路 D：自反思（最有故事性，也最易被戳穿）#

🎤 自反思怎么触发的？全量反思吗？ 💬 条件触发，三层过滤：约 65% 的 query 因高置信度短路（rerank top1≥0.85 且候选≥3）直接跳过；剩下里约 50% 通过初评；最终约 15% 真正触发重写。这样省掉大部分反思的 LLM 调用。

🎤 Faithfulness +0.037 这么小，怎么确定不是噪声？ 💬 重复 3 次取中位数，测量噪声 ±0.028 std，+0.037 > 1σ；而且 8 个被重写的 query 全部有改善，方向一致。

🎤 +0.037 听起来还是很微弱，值得做吗？ 💬 值得，因为它修的是幻觉——8 处事实性错误，在知识问答场景里一次幻觉的代价远大于平均分微涨。Faithfulness 提升不靠”涨分多”取胜，靠”消除致命错误”。

🎤 你说”最初评测 0 增益”，那是怎么回事？ 💬 这是我最有价值的一个 bug：第一次评测自反思 +0 增益，排查发现是流式输出（SSE push）导致反思后的修正结果没真正回写到最终答案，反思白做了。Iter#11 修复后才复现 +0.037。这恰恰证明我真在做评测——不评测永远不知道它没生效。

⚠️ 主动讲这个 bug 是加分项（体现评测驱动），但要讲清”怎么定位的”，否则像背稿。

链路 E：评测严谨性（最容易翻车的死亡链路）#

🎤 52 条评测集是不是太小了，结论可信吗？ 💬 承认局限：52 条对应约 ±0.05 置信区间，小于 0.05 的差异确实不显著。但我的核心结论 V1→V4 差异都 >0.10，远超噪声带；规划扩展到 200 条 + 双人标注算 Cohen’s Kappa。

🎤 你用 LLM 给 LLM 打分，这不是循环论证吗？ 💬 不是同一模型：qwen-plus 生成、qwen-turbo 评分（同系不同模型）。我验证过：30 个样本用 plus 和 turbo 交叉评分 Pearson r=0.91，相对排名稳定。而且评分标准对所有配置一致，所以相对比较有效——我比的是 V1 vs V4 谁好，不是绝对分。

🎤 单人标注 ground truth，偏差怎么办？ 💬 这是真实局限，我诚实披露。缓解：标注标准文档化、下一轮做双人交叉标注算一致性。但当前结论靠的是大幅差异，对标注偏差不敏感。

⚠️ 评测轮是 Agent 岗最硬的一轮。三连防御：①核心差异>噪声 ②同系不同模型+相关性验证 ③诚实披露局限+改进计划。切忌嘴硬说”没问题”。

链路 F：工程深度（并发 / 线程安全 / 性能）#

🎤 工具调用结果怎么传回 Agent 的？ 💬 Spring AI Function Calling 回调签名是固定的，没法给工具方法塞业务上下文。我用 AgentToolContext（ThreadLocal 侧信道）让工具结果绕过 LLM 直接回传 Agent，规避了”LLM 改写结构化结果”导致的字段污染。

🎤 用 ThreadLocal，并发下安全吗？会不会串数据？ 💬 ThreadLocal 天然线程隔离，每个请求线程独立。要注意的是线程池复用场景必须在请求结束时 remove 清理，否则脏数据会带到下个请求——这块我在 finally 里清理。如果用异步/响应式跨线程，ThreadLocal 会失效，那种场景得换成显式上下文传递。

🎤 延迟怎么优化的？用户等很久吧？ 💬 三招：SSE 流式输出让用户秒级看到首 token、感知延迟大幅降低；RetrievalPlanner 规则路由 <1ms 替代 LLM 工具选择的 ~300ms；多工具用 CompletableFuture 拓扑排序并行调用。端到端瓶颈在 LLM 生成 ~1843ms，这是模型侧硬延迟。

⚠️ “ThreadLocal 并发安全”这种追问是在试探你懂不懂底层——答出”线程池要清理 + 异步会失效”才算过关。

链路 G：成本治理#

🎤 单次查询成本多少？怎么压下来的？ 💬 ¥0.005-0.007，综合降本约 50%。三个手段：双模型级联（qwen-plus 生成、qwen-turbo 做决策类如查询理解/工具选择/反思初评）、反思短路（约 70% 达标直接跳过）、语义缓存（命中率 45%）。

🎤 缓存命中率 45% 怎么算的？相似问题怎么判命中？ 💬 语义相似度 ≥0.92 且知识库版本一致才算命中——光相似还不够，知识库更新了旧缓存要失效，所以加了版本校验。45% 是真实评测流量下的命中率，把频率阈值从 3 调到 2 后还提升了约 15%。

🎤 0.92 这个阈值怎么定的，拍脑袋？ 💬 不是。阈值太低会把”看起来像但其实不同”的问题误命中返回错答案，太高则缓存形同虚设。我在评测集上扫了一段阈值，0.92 是”命中率”和”误命中导致错答”的平衡点。

⚠️ 任何”魔法数字”（0.85/0.92/k=60/阈值3）都要准备”怎么定的”，答”在评测集上权衡 X 和 Y 选的”，绝不能答”试出来的/默认的”。

链路 H：边界与红线（诚实度测试）#

🎤 多租户隔离做了吗？ 💬 ⚠️ 老实说：架构上预留了，但没完整实现和验证，目前是规划态。我不会把它说成已落地。

🎤 RBAC 权限呢？ 💬 同样——有权限模型设计，但完整的多角色 RBAC 还在设计中，没全部落地。

🎤 MCP 对外暴露是生产级的吗？ 💬 内部 Agent 调用和 IDE（Cursor）集成已验证；但外部生产级加固（认证、限流、审计的完整链路）是规划态，没做。

⚠️ 这整条链路是诚实度陷阱。红线：规划态绝不主动说成已落地，被问到就答”架构预留了，但还没完整实现和验证”。一旦被抓到吹牛，整场信任崩塌。

链路 I：灵魂拷问（压力 / 价值 / 反思）#

🎤 这就一个自用项目，用户规模这么小，有什么价值？ 💬 self-dogfooding，设计支撑 50-200 人团队。我不拿规模当卖点，卖点是工程深度和评测严谨性——验证了 Agentic RAG 在技术文档场景的工程可行性，每个决策有量化依据。诚实承认规模有限。

🎤 说白了不就是调调 RAG，难度够吗？ 💬 难度不在”调通”，在”知道为什么这么调、能证明它更好”。我能手写 RRF、解释 BM25 的 k1/b、说清 cross-encoder 替换的是 rerank 不是检索、用 624 个数据点支撑 20 轮迭代每轮有量化增益。这是”理解每层原理”和”调 API”的区别。

🎤 如果重做，最想改什么？ 💬 一是评测集从一开始就做大（200+双人标注），早期小样本走了弯路；二是多跳查询的 Query Decomposition 我代码写了（Iter#4）但还没评测验证，重做会优先把这块的评测补上。

🎤 这个项目你最大的成长是什么？ 💬 从”凭感觉调参”转到”评测驱动迭代”。最典型就是自反思那个 bug——如果不建评测体系，我会一直以为反思生效了，实际上它白跑。这件事让我养成”任何优化都要有可量化的前后对比”的习惯。

⚠️ 灵魂拷问考的是心态。不防御、不浮夸，用”工程深度 + 诚实 + 方法论”接住，比硬撑”我这很牛”得分高。

我准备 DocMind 深挖的思路是按追问链路分块演练，而不是背单点答案。比如检索层我能从”为什么混合检索”一路被追到”RRF 公式、k 为什么是 60、为什么不用加权和、为什么 BM25 对事实类有用对推理类没用”，每一层都有数据或原理支撑。自反思那块我会主动讲一个 bug：最初评测 0 增益，排查发现是流式输出导致反思结果没回写，修复后才有 +0.037，这反而证明我真在做评测。最容易翻车的是评测严谨性那一轮——52 条小、LLM 给 LLM 打分、单人标注，我的防御是核心差异都大于噪声带、用同系不同模型交叉验证相关性 0.91、诚实披露局限加改进计划，绝不嘴硬。还有一条红线是诚实度：多租户、RBAC、MCP 外部加固这些是规划态，我绝不说成已落地，被问到就明确说”架构预留了但没完整验证”。灵魂拷问比如”自用项目价值小""不就是调 RAG”，我不防御，用工程深度和方法论接——卖点是评测驱动、每个决策有量化依据、能手写每层原理。

追问方向：

• 面试官连环追问时节奏怎么把握？ → 每答完留一个”可以继续深挖的钩子”（如”这块还有个 bug 的故事”），引导对方往你准备充分的方向问，而不是被动挨打
• 被问到完全没准备的细节怎么办？ → 诚实说”这块当时是 XX 做法，具体数值我得查”，再把话题拉回你有数据的地方；绝不编数字
• 怎么避免像背稿？ → 讲清”怎么定位/怎么权衡”的过程而非结论，过程无法背、只能真懂才讲得出
• 数据被质疑造假怎么办？ → 主动给出可验证细节：624 数据点的构成（52×7×4×3）、噪声 std、交叉验证 Pearson r，细节密度本身就是可信度

易错点：

• ❌ 规划态说成已落地 → 一旦穿帮全场信任崩，多租户/RBAC/MCP 外部加固都是红线
• ❌ 魔法数字答”试出来的” → 必须答”在评测集上权衡 X 和 Y”
• ❌ 灵魂拷问硬撑 → 用诚实 + 工程深度接，比嘴硬得分高
• ❌ 只背单点 → 按”追问链路”演练，练的是被连追 5 层还能接住