Guardrails与输出安全护栏#

1. 护栏 vs 注入防御的边界#

两者叠加才完整：注入防御是”门禁”，护栏是”安检机”。

2. 输入护栏（Input Guardrails）#

• 内容安全：拦截涉政/暴恐/违法/未成年等违规输入
• PII 检测：识别身份证/手机号/银行卡，脱敏或拒绝
• 话题边界：off-topic 检测，超出业务范围的提问直接拒答（防”客服机器人被诱导写代码”）
• 越权意图：识别试图获取系统 Prompt、绕过限制的请求

3. 输出护栏（Output Guardrails）#

• 内容安全复检：模型可能生成违规内容，输出前再过一遍
• PII 泄露防护：防止把训练数据/上下文里的敏感信息吐出
• 格式/Schema 校验：见 结构化输出与约束解码
• 事实性/相关性：RAG 场景校验答案是否被检索证据支撑（Faithfulness），不支撑就拒答或标注
• 拒答与兜底话术：触发护栏时返回安全话术，而非裸露错误

4. 实现方式（三类）#

生产常级联：先规则快筛（拦掉明显违规），再小模型/LLM 兜复杂判断。代表框架：NeMo Guardrails、Guardrails AI、Llama Guard。

5. 工程注意点#

• 护栏在关键路径上会加延迟，输入护栏可并行预检，输出护栏可与流式输出配合（边生成边检，违规即截断）
• 误杀（false positive）伤体验，违规漏过（false negative）出事故，需按业务调阈值并可观测埋点
• 护栏决策要可审计：记录触发了哪条规则、为什么拒答

Guardrails 是套在 LLM 输入输出两端的安检层，要和 Prompt Injection 防御区分开：注入防御防的是”被攻击、被越权操纵”，护栏防的是”输出了不该输出的内容”，两者互补。输入护栏做几件事：内容安全拦违规输入、PII 检测脱敏身份证手机号、话题边界检测把超出业务范围的提问拒掉、识别试图套系统 Prompt 的越权意图。输出护栏做内容安全复检、防 PII 泄露、格式 Schema 校验，还有 RAG 场景下校验答案是否被检索证据支撑，不支撑就拒答或标注，最后触发护栏时返回安全兜底话术而不是裸错误。实现有三类：规则正则快但易漏易误杀，小模型分类器比如 Llama Guard 准但有延迟，LLM-as-Judge 最灵活但最贵。生产一般级联，先规则快筛再小模型兜底。代表框架有 NeMo Guardrails、Guardrails AI。工程上要注意护栏在关键路径会加延迟，输出护栏可以配合流式边生成边检违规就截断；还要平衡误杀和漏过，按业务调阈值，并且决策要可审计记录触发了哪条规则。

追问方向：

• 护栏放在哪一层？会不会拖慢响应？ → 输入护栏在请求入口、可并行预检；输出护栏在返回前，流式场景边生成边检、违规即截断。规则层快筛先行，把昂贵的模型判断留给少数复杂样本来控制延迟
• 怎么平衡误杀和漏过？ → 按业务设阈值并分级：高危场景宁可误杀（金融/医疗），开放场景容忍度高。所有命中埋点可观测，定期用 badcase 校准阈值
• 和约束解码、幻觉缓解是什么关系？ → 互补的几层：约束解码保格式、Faithfulness 校验保事实、内容安全护栏保合规，分别守不同维度，叠起来才是完整输出质量保障
• LLM-as-Judge 做护栏可靠吗？ → 灵活但有成本和被绕过风险（评判者本身也可能被注入），适合做兜底而非唯一防线；高危规则仍要硬编码

易错点：

• ❌ “有了注入防御就不用护栏” → 两者防不同问题，模型自发生成的违规内容注入防御管不了
• ❌ “全靠 LLM-as-Judge 判违规” → 慢、贵、可被绕过，应规则先筛、模型兜底
• ❌ “护栏只在输出端做” → 输入端拦截能省掉无效生成的成本，且更早阻断风险

项目实践（DocMind）： DocMind 评测集专门设了 adversarial 和 unanswerable 两类 query，倒逼护栏能力：unanswerable 走 Faithfulness 校验——答案若不被检索证据支撑就拒答而非硬编，避免幻觉式回答；Self-Reflection 低置信度时复核答案与证据的一致性，相当于输出端的事实性护栏。全链路用 Langfuse 追踪，护栏触发与拒答原因可审计回溯。