Ghép cặp: log, metric hay trace cho từng câu hỏi Cơ bản
Thời gian đọc ước tính: 1 phút
Có đủ dữ liệu chưa đủ; on-call giỏi biết mở signal nào trước cho từng câu hỏi. Kéo signal vào từng tình huống.
Sai thì game giải thích vì sao signal đó gần đúng nhưng không phải. Cặp hay nhầm nhất: trace với correlation ID, và metric với log khi cần tra một khách cụ thể.
Câu hỏi này cần signal nào?
Tám câu hỏi on-call hay gặp với một hệ thống checkout chạy nhiều service, có Prometheus, log JSON và OpenTelemetry tracing (head sampling 5%). Kéo signal phù hợp nhất vào từng câu hỏi. Một thẻ có thể dùng nhiều lần.
Mẹo: hỏi "tôi cần con số tổng hợp, hay chi tiết của một sự kiện cụ thể?" trước khi chọn.
Chạm Chọn đáp án ở từng tình huống. Trên máy tính có thể kéo thẻ bên dưới thả vào tình huống.
Đã giải 0/8 · sai 0 lần
1Sếp hỏi: p99 latency của checkout trong 30 ngày qua là bao nhiêu, và có xấu đi sau đợt release tháng này không?
2Khách gửi ticket: "Đơn #123 của tôi báo lỗi lúc 14:02". Cần biết chính request đó lỗi vì sao.
{"event":"payment.failed","orderId":123,"trace_id":"4bf92f35...","reason":"card_declined","provider":"vnpay","duration_ms":812}3Checkout gọi 6 service phía sau (price, voucher, stock, payment, shipping, loyalty), có cái chạy song song. p99 tăng từ 400 ms lên 1,8 s. Chặng nào làm chậm?
4On-call bị gọi dậy 40 lần/tháng vì "CPU > 80%" và "có log ERROR", phần lớn khách không thấy gì. Muốn chỉ page khi người dùng thật sự bị ảnh hưởng.
5pricing-service chạy CPU 100% sau deploy, traffic không đổi, p99 tăng gấp 3. Cần biết hàm nào đang đốt CPU.
6CSKH gửi mã lỗi khách nhìn thấy. Cần mọi dòng log của request đó trên gateway, checkout, payment và worker gửi email (qua Kafka).
7Dashboard cần số lượng 5xx theo từng endpoint mỗi phút, để thấy route nào lỗi sau deploy.
sum by (route) (rate(http_requests_total{status=~"5.."}[5m]))8CSKH muốn biết khách u_829113 có gặp 5xx tuần trước không. Dev đề xuất thêm label userId vào counter "cho dễ lọc". Hệ thống có 184.000 khách.
httpRequests.labels(route, status, req.user.id).inc();
Chơi xong, đọc Logs, metrics và traces để xem đường drill-down từ alert qua exemplar, trace tới log.