Họ đang đo gì
Bạn có văn hoá kỹ thuật không — đây là câu hỏi về đội, không phải về công cụ.
Trả lời ngắn~30 giây
Dòng thời gian theo mốc giờ thật (phát hiện lúc nào, ai được gọi, khôi phục lúc nào), ảnh hưởng đo được (bao nhiêu người dùng, bao lâu, mất bao nhiêu tiền hoặc bao nhiêu ngân sách lỗi), nguyên nhân theo tầng chứ không phải một dòng, và các hành động có NGƯỜI SỞ HỮU và HẠN. Quan trọng nhất: không nêu tên ai như nguyên nhân. Nếu một lệnh gõ tay làm sập production thì phát hiện thật là hệ thống cho phép điều đó xảy ra.
Giải thích sâu
Lý do blameless không phải vì lịch sự mà vì hiệu quả: ở nơi người ta bị khiển trách, người ta ngừng báo cáo. Bạn mất đi những sự cố suýt xảy ra — nguồn thông tin rẻ nhất và giá trị nhất có — vì không ai muốn ghi lại việc mình vừa gần làm hỏng thứ gì. Đội càng an toàn về mặt tâm lý thì càng biết nhiều về hệ thống của chính mình.
Phần kém nhất của phần lớn postmortem là mục hành động: “sẽ cẩn thận hơn” hoặc “bổ sung tài liệu” không phải hành động, vì không đo được và không ai kiểm được. Hành động tốt là thay đổi HỆ THỐNG: thêm một cảnh báo với ngưỡng cụ thể, thêm một xác nhận trước lệnh nguy hiểm, chặn một cấu hình sai ở CI. Nếu hành động không đổi hành vi của hệ thống thì sự cố đó sẽ lặp lại.
Về việc đo, hai con số đáng theo dõi theo thời gian hơn là số lượng sự cố: thời gian tới khi PHÁT HIỆN và thời gian tới khi KHÔI PHỤC. Số lượng sự cố phụ thuộc vào tốc độ thay đổi và không tự nó xấu; còn phát hiện chậm thì luôn xấu, và nó thường chỉ ra một lỗ hổng trong quan sát hệ thống chứ không phải trong code.
Câu hỏi tiếp theo họ sẽ hỏi
?Sự cố nhỏ có cần postmortem không?
Cần một bản ngắn, vì sự cố nhỏ thường là bản xem trước của một sự cố lớn với cùng nguyên nhân. Đặt ngưỡng rõ ràng (ví dụ mọi lần vượt ngân sách lỗi, hoặc mọi lần có người bị gọi ngoài giờ) để không phải tranh luận từng lần.
Trả lời thế này là mất điểm
- Nguyên nhân gốc là “lỗi con người”. Con người là một phần của hệ thống; câu hỏi tiếp theo phải là vì sao hệ thống cho phép lỗi đó gây hậu quả lớn đến vậy.
- Hành động không có người sở hữu và không có hạn. Chúng sẽ không được làm, và postmortem sau sẽ liệt kê lại đúng chúng.