At-most-once, at-least-once, exactly-once — cái nào có thật?

Cách Kafka làm exactly-once đáng hiểu vì nó cho thấy điều kiện thật sự. Producer idempotent gán số thứ tự cho mỗi bản ghi nên broker loại được bản trùng do retry. Rồi transaction cho phép ghi vào topic đầu ra VÀ commit offset của topic đầu vào trong cùng một giao dịch — nên nếu consumer chết, cả hai cùng quay lại. Nhưng điều này chỉ đúng TRONG Kafka: ngay khi kết quả đi ra ngoài, ví dụ ghi vào database khác, bảo đảm đó biến mất.

Vì vậy trong thực tế, câu trả lời gần như luôn là at-least-once cộng consumer idempotent. Cách làm consumer idempotent thì tuỳ bài toán: lưu id message đã xử lý vào bảng có UNIQUE, hoặc dùng upsert với khoá tự nhiên, hoặc thiết kế thao tác sao cho lặp lại không đổi trạng thái (SET status = 'paid' thì lặp bao nhiêu lần cũng vậy, còn balance = balance - 10 thì không).

Ở mức senior, cần nói thêm về poison message: một bản ghi luôn làm consumer lỗi sẽ được retry vô hạn và chặn cả partition phía sau nó. Cần dead letter queue với ngưỡng số lần thử, và quan trọng không kém là quy trình cho những gì vào DLQ — một DLQ không ai xem là một cách im lặng làm mất dữ liệu, chỉ khác là mất chậm hơn.