AI评测与治理#

AI 全栈 ⑥ 评测、可观测、安全与治理：怎么证明它好、怎么看见它、怎么防住它、怎么管住成本。

知识脉络#

AI评测与治理
├── 评测与可观测
│   ├── LLM评测方法
│   ├── Rubric评测与LLM-as-Judge偏差校准
│   ├── Agent评测平台设计
│   └── Agent可观测性与质量保障
└── 安全与治理
    ├── Agent安全与Prompt Injection防御
    ├── Guardrails与输出安全护栏
    ├── 多租户隔离与配额治理
    └── AI应用成本与质量量化治理

plaintext

知识点清单#

评测与可观测#

#	题目	频率	难度	状态
1	LLM评测方法	中	进阶	done
2	Rubric评测与LLM-as-Judge偏差校准	高	进阶	done
3	Agent评测平台设计	高	困难	done
4	Agent可观测性与质量保障	高	进阶	done

安全与治理#

#	题目	频率	难度	状态
5	[Agent安全与Prompt Injection防御](/topics/ai-governance/Agent安全与Prompt Injection防御)	高	困难	done
6	Guardrails与输出安全护栏	高	进阶	done
7	多租户隔离与配额治理	高	困难	done
8	AI应用成本与质量量化治理	中	困难	done

建议学习顺序#

评测：LLM 评测方法 → Rubric 与 LLM-as-Judge → Agent 评测平台
可观测：Agent 可观测性与质量保障
安全：Prompt Injection 防御 → Guardrails
治理：多租户配额 → 成本与质量量化

口诀速记#

Agent 安全: “过滤→隔离→限权→沙箱→审查，五层防线”
Guardrails: “进门安检 + 出门安检，门禁防注入，安检防违禁”

跨域关联#

可观测 → 可观测性三件套（DevOps）
权限 → [Spring Security核心架构](/topics/spring/Spring Security核心架构)（Spring）
限流配额 → 限流方案设计（系统设计）
成本 → AI应用成本优化（推理与模型服务）