Thread pool nên đặt bao nhiêu luồng?

Điều đáng nói là hàng đợi cũng là một tham số, và thường quan trọng hơn số luồng. Một pool 10 luồng với hàng đợi vô hạn sẽ không bao giờ từ chối việc — nó chỉ tích tụ cho tới khi hết bộ nhớ, và độ trễ tăng không giới hạn trong lúc mọi thứ trông vẫn “bình thường”. Hàng đợi CÓ GIỚI HẠN kèm chính sách từ chối rõ ràng (trả 503, hoặc đẩy ngược lên caller) làm hệ thống thất bại theo cách nhìn thấy được, và đó là điều bạn muốn.

Cái bẫy kinh điển là dùng CHUNG một pool cho tác vụ chặn và tác vụ không chặn. Một tác vụ gọi API bên ngoài chiếm luồng suốt thời gian chờ mạng; đủ nhiều tác vụ như vậy là pool cạn và những tác vụ nhanh cũng không chạy được. Cách chữa là bulkhead: pool riêng cho từng loại phụ thuộc, để một dịch vụ chậm không kéo theo cả hệ thống.

Với JVM hiện đại thì câu hỏi này đang đổi hình dạng: virtual thread làm việc chặn rẻ tới mức pool gần như không còn cần cho tác vụ I/O. Nhưng nguyên lý vẫn giữ nguyên — bạn vẫn phải giới hạn đồng thời ở nơi có giới hạn thật, chỉ là bằng semaphore thay vì bằng kích thước pool. Nói được điều đó cho thấy bạn hiểu vấn đề chứ không thuộc công thức.