Posted inDevelopment

Xây dựng Job Queue với BullMQ và Redis: Bí kíp xử lý tác vụ nền ‘mượt’ như lụa

Development tutorial - IT technology blog
Development tutorial - IT technology blog

Cái chết vì “Request Timeout”

Hãy nhớ lại lần gần nhất bạn xây dựng tính năng đăng ký tài khoản. Sau khi người dùng nhấn nút, hệ thống phải lưu DB, gửi email chào mừng, tạo ảnh đại diện và bắn thông báo về Slack. Nếu làm tuần tự, người dùng sẽ phải nhìn màn hình loading suốt 8-10 giây. Tệ hơn, chỉ cần server email phản hồi chậm, toàn bộ quy trình sẽ sụp đổ, để lại một trải nghiệm cực kỳ ức chế.

Trong một dự án thương mại điện tử mình từng tham gia, khi lượng traffic tăng gấp 5 lần vào ngày sale, hệ thống bắt đầu “thở dốc”. CPU liên tục chạm ngưỡng 90% và lỗi 504 Gateway Timeout xuất hiện dày đặc. Lúc đó, giải pháp cứu thua duy nhất là tách các tác vụ nặng ra khỏi luồng chính. Chúng mình đưa chúng vào một hàng đợi (Queue) để xử lý âm thầm ở background.

Đó chính là lúc BullMQ và Redis vào việc. Cùng mình mổ xẻ cách thiết lập một hệ thống Job Queue chuẩn chỉnh để giải quyết triệt để bài toán này.

Job Queue hoạt động như thế nào?

Hãy tưởng tượng Job Queue giống như quầy order tại Starbucks. Khách hàng (Producer) gọi món, nhân viên ghi order vào tờ phiếu (Job) và dán lên thanh chờ. Barista (Worker) sẽ lấy từng tờ phiếu để pha chế. Dù quán có đông đến mấy, khách hàng sau khi thanh toán có thể thong thả tìm chỗ ngồi thay vì đứng chôn chân tại quầy.

Tại sao lại chọn Redis? Đây là database lưu trữ trên RAM với tốc độ phản hồi cực nhanh. BullMQ tận dụng Redis để quản lý hàng triệu job mà vẫn đảm bảo không mất dữ liệu nếu server Node.js chẳng may bị crash. Nhờ cấu trúc dữ liệu tối ưu, nó xử lý việc tranh chấp giữa các Worker cực kỳ mượt mà.

Triển khai BullMQ trong 5 phút

1. Chuẩn bị hạ tầng

Bạn cần một instance Redis đang chạy. Cách nhanh nhất để bắt đầu là dùng Docker:

docker run --name redis-bullmq -p 6379:6379 -d redis

Sau đó, khởi tạo project và cài đặt các thư viện lõi:

mkdir node-job-queue && cd node-job-queue
npm init -y
npm install bullmq ioredis

2. Producer – Người giao việc

File producer.js sẽ đóng vai trò đẩy yêu cầu vào hàng đợi. Lưu ý: BullMQ yêu cầu maxRetriesPerRequest phải bằng null khi kết nối qua ioredis.

const { Queue } = require('bullmq');
const IORedis = require('ioredis');

const connection = new IORedis({ maxRetriesPerRequest: null });
const emailQueue = new Queue('email-queue', { connection });

async function addEmailJob(userEmail) {
  await emailQueue.add('send-welcome-email', {
    email: userEmail,
    subject: 'Chào mừng bạn!',
    body: 'Cảm ơn bạn đã gia nhập team.'
  });
  console.log(`[+] Đã xếp hàng email cho: ${userEmail}`);
}

addEmailJob('[email protected]');

3. Worker – Người thực thi

Worker sẽ liên tục “lắng nghe” hàng đợi. Tạo file worker.js để xử lý logic:

const { Worker } = require('bullmq');
const IORedis = require('ioredis');

const connection = new IORedis({ maxRetriesPerRequest: null });

const worker = new Worker('email-queue', async (job) => {
  console.log(`[*] Đang xử lý job ${job.id}...`);
  
  // Giả lập gửi email mất 2 giây
  await new Promise(res => setTimeout(res, 2000));

  if (Math.random() > 0.8) throw new Error('SMTP Connection Failed!');

  console.log(`[OK] Đã gửi tới ${job.data.email}`);
}, { connection });

worker.on('failed', (job, err) => console.log(`[!] Job ${job.id} lỗi: ${err.message}`));

Ba tính năng “đáng đồng tiền bát gạo” của BullMQ

Nếu bạn tự viết Queue bằng mảng hay object, bạn sẽ sớm hối hận khi hệ thống scale. BullMQ cung cấp sẵn những tính năng mà mọi backend developer đều thèm muốn.

Cơ chế Retry thông minh

Việc gọi API bên thứ ba bị lỗi 500 hay timeout là chuyện cơm bữa. Thay vì bỏ cuộc, hãy cấu hình để hệ thống tự thử lại sau một khoảng nghỉ tăng dần (exponential backoff).

await emailQueue.add('welcome-job', data, {
  attempts: 5,
  backoff: {
    type: 'exponential',
    delay: 2000 // Thử lại sau 2s, 4s, 8s...
  }
});

Phân cấp độ ưu tiên (Priority)

Email reset mật khẩu cần được gửi ngay, trong khi email bản tin có thể chờ. BullMQ xử lý việc này cực đơn giản bằng trọng số.

await emailQueue.add('critical-job', { type: 'reset-pwd' }, { priority: 1 });
await emailQueue.add('low-job', { type: 'newsletter' }, { priority: 10 });

Trì hoãn (Delay)

Bạn muốn gửi email nhắc nhở giỏ hàng sau đúng 24 giờ? Đừng dùng setTimeout vì nếu server restart, dữ liệu sẽ bốc hơi. Hãy dùng option delay của BullMQ để đảm bảo độ tin cậy.

Kinh nghiệm thực chiến để không bị “ăn hành”

Vận hành Queue trong môi trường production đòi hỏi sự cẩn trọng hơn mức bình thường. Đây là 3 bài học xương máu của mình:

  • Luôn thiết kế Idempotency: Hãy đảm bảo một job nếu có lỡ chạy 2 lần cũng không gây lỗi. Ví dụ: Trước khi trừ tiền, hãy kiểm tra xem transaction ID đó đã được xử lý chưa.
  • Tách biệt Worker: Đừng bao giờ chạy Worker chung với server API. Hãy tách chúng ra các container riêng. Khi Worker bị overload do resize ảnh nặng, API của bạn vẫn phải phản hồi mượt mà cho người dùng.
  • Giám sát bằng BullBoard: Đừng mù quáng nhìn log console. Hãy cài đặt BullBoard để có một dashboard trực quan, giúp bạn theo dõi số lượng job lỗi và retry chúng chỉ bằng một cú click.

Lời kết

Sử dụng Job Queue không chỉ là cài một thư viện, đó là thay đổi tư duy từ xử lý tuần tự sang xử lý bất đồng bộ. Với bộ ba Node.js, BullMQ và Redis, bạn hoàn toàn có thể tự tin xây dựng những hệ thống chịu tải lớn. Nếu ứng dụng của bạn đang chậm, hãy thử đưa các tác vụ nặng vào Queue ngay hôm nay. Trải nghiệm người dùng sẽ thay đổi rõ rệt, và quan trọng nhất là bạn sẽ kê cao gối ngủ ngon hơn mỗi đêm.

Share:
Tags: