Tình huống: Kafka consumer lag tăng giữa campaign Trung cấp

Bốn sự cố nối tiếp nhau trên một consumer group trong đêm campaign. Mỗi bước có một cách sửa “ai cũng từng làm” và một cách sửa đúng.

• Đọc kỹ output CLI và metric trước khi chọn: câu trả lời thường nằm ở từng partition, không ở con số tổng.
• Chọn sai thì đọc giải thích rồi Chọn lại. Điểm chỉ tính lựa chọn đầu tiên ở mỗi bước.

Tình huống

Campaign 11.11: lag của order-events tăng mãi

Bạn là on-call của service fulfillment, đọc topic order-events (12 partition, 12 pod) và gọi API kho. Mỗi lựa chọn hiển thị ngay hậu quả trên các chỉ số bên dưới.

Time lag partition xấu nhất17 phút

Tốc độ xử lý (producer ghi 2.400/s)1.800 event/s

Rebalance mỗi giờ0

Event bị bỏ qua không dấu vết0

Bước 1/4 · Lag tăng, nhưng ở đâu?

20:10, campaign bắt đầu được 30 phút. Alert: đơn sang kho trễ 17 phút, SLO là 1 phút. Producer ghi 2.400 event/s; mỗi pod xử lý được khoảng 400 event/s, cả group 4.800/s, dư sức. Bạn chạy kafka-consumer-groups.sh --describe.

message key

merchantId

merchant M-001 (flagship)

38% traffic campaign

partition 7 nhận

~1.000 event/s, consumer xử lý 400/s

PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG      CONSUMER-ID
6          1204511         1205380         869      fulfillment-6-…
7          3880120         4291402         411282   fulfillment-7-…
8          1198004         1198760         756      fulfillment-8-…
... 9 partition còn lại: LAG < 1.000

Bạn làm gì?

AScale deployment từ 12 lên 24 podkubectl scale deploy/fulfillment --replicas=24BTăng partition của order-events từ 12 lên 48 ngay bây giờkafka-topics.sh --alter --topic order-events --partitions 48CĐổi key từ merchantId sang orderId, vì nghiệp vụ chỉ cần thứ tự trong từng đơnDTổng lag cả group khoảng 420.000, cả group xử lý 4.800/s, chờ 2–3 phút là xả xong

Chơi xong, đọc Consumer lag trong Kafka để xem cây chẩn đoán đầy đủ và cách alert theo time lag.