Giao tiếp khi ứng cứu: phân vai IC, Ops, Comms và cập nhật trạng thái Trung cấp

Trang này trả lời: khi nhiều người cùng xử lý, ai làm gì, và cập nhật cho stakeholder thế nào để không ai phải hỏi lại.

Phân vai

SRE Workbook đặt ba vai chính: Incident Commander (IC), Communications Lead (CL) và Operations Lead (OL); CL và OL báo cáo cho IC. SRE book bổ sung vai Planning cho sự cố dài.

Đang tải diagram…

Vai	Làm gì	Không làm gì
Incident Commander	Giữ bức tranh tổng thể, phân việc, quyết định mitigate, duy trì incident doc	Tự tay debug (sự cố nhỏ thì một người có thể kiêm)
Operations Lead	Nhóm duy nhất được thay đổi hệ thống trong lúc ứng cứu	Đổi gì mà không báo IC
Communications Lead	Cập nhật định kỳ cho team, stakeholder, status page	Hứa thời điểm hồi phục khi chưa có căn cứ
Planning	Ghi lại hệ thống đã lệch khỏi bình thường thế nào (flag tắt, config tạm) để hoàn tác sau	Bỏ qua các thay đổi tạm “nhỏ”

Thực hành nên có

• Incident doc sống. SRE book coi đây là trách nhiệm quan trọng nhất của IC: tài liệu ghi diễn biến, có thể lộn xộn nhưng phải dùng được. Timeline postmortem sẽ lấy từ đây.
• Cập nhật đều đặn. SRE Workbook chỉ nói “regular status updates”, không quy định tần suất. Mốc phổ biến trong ngành là 15-30 phút với sự cố nghiêm trọng; quan trọng là luôn nói rõ lần cập nhật kế tiếp lúc nào.
• Bàn giao rõ ràng. IC chỉ rời vị trí khi người nhận xác nhận rõ ràng (“Bạn là IC từ bây giờ, ok?”), và cả nhóm được báo.

Mẫu cập nhật trạng thái

Một bản cập nhật tốt có đủ năm thành phần:

Thành phần	Trả lời
Mức độ + giờ (UTC) + trạng thái	Nghiêm trọng cỡ nào, đang ở bước nào?
Ảnh hưởng	Ai bị gì, bao nhiêu, từ lúc nào? Có mất dữ liệu không?
Đã làm	Hành động gần nhất và kết quả đo được
Tiếp theo	Bước kế tiếp của nhóm ứng cứu
Cập nhật kế tiếp + IC	Khi nào nghe tin tiếp, hỏi ai?

[SEV2][14:35 UTC] Checkout chậm — ĐANG MITIGATE
Ảnh hưởng: ~30% request checkout > 2s từ 14:05 UTC. Không mất dữ liệu.
Đã làm: rollback api v2.31 → v2.30 lúc 14:31, p99 đang giảm.
Tiếp theo: theo dõi 15 phút, xác nhận nguyên nhân.
Cập nhật kế tiếp: 15:00 UTC. IC: @an

Bản cập nhật thiếu ảnh hưởng và giờ cập nhật kế tiếp là lỗi rất hay gặp — xem cặp bad/good ở Lỗi hay gặp.

Tiếp theo: Postmortem blameless.