消息丢失与可靠性保证#

Producer ──发送──→ Broker ──存储──→ Consumer
   │                │                 │
   ├── 网络丢失     ├── 宕机丢失      ├── 自动提交后处理失败
   ├── 超时未重试   ├── 副本不足      └── offset 跳过
   └── 序列化失败   └── 刷盘前崩溃

如果 ISR 中只有 Leader 一个副本（其他副本被踢出 ISR）
→ acks=all 效果等于 acks=1
→ Leader 宕机仍会丢消息

解决：配合 min.insync.replicas=2
→ ISR 副本数 < 2 时，Producer 直接报错拒绝写入
→ 用可用性换可靠性

# Producer 端
acks = all
retries = 3                          # 发送失败重试
retry.backoff.ms = 100               # 重试间隔
max.in.flight.requests.per.connection = 1   # 保证重试时消息有序（防止乱序）

# Broker 端
min.insync.replicas = 2              # ISR 至少 2 个副本
replication.factor = 3               # 每个 Partition 3 个副本

Producer → Leader Broker (写入 Page Cache) → 操作系统异步刷盘
                         ↓
                 Follower 从 Leader 拉取复制

Consumer 拉取消息 → 自动提交 offset → 处理消息失败
→ offset 已提交，消息不会再投递 → 消息"丢失"（实际是跳过了）

consumer.poll(Duration.ofMillis(100));
for (ConsumerRecord record : records) {
    // 1. 先处理业务逻辑
    processMessage(record);
    // 2. 处理成功后再提交 offset
    consumer.commitSync();
}

Producer:
  ✅ acks = all
  ✅ retries = 3+
  ✅ enable.idempotence = true（防止重试导致的重复消息）

Broker:
  ✅ replication.factor = 3
  ✅ min.insync.replicas = 2
  ✅ unclean.leader.election.enable = false（不允许非 ISR 副本成为 Leader）

Consumer:
  ✅ enable.auto.commit = false
  ✅ 手动 commitSync / commitAsync + callback
  ✅ 消费逻辑做幂等