Data Engineering Archives - ITFROMZERO

Xử lý file Parquet trong Python bằng PyArrow: Đọc, ghi và kinh nghiệm tối ưu trên production

By IT From Zero Tháng 10 27, 2026

Kinh nghiệm thực chiến 6 tháng dùng PyArrow và Apache Parquet trong Python: cứu VPS khỏi lỗi OOM, giảm dung lượng log từ 12GB xuống 1.4GB và rút ngắn thời gian xử lý từ 18 phút xuống 42 giây.

Artificial Intelligence tutorial - IT technology blog

Hướng dẫn sử dụng ScrapeGraphAI: Tự động hóa cào dữ liệu web bằng LLM và Python

By IT From Zero Tháng 10 9, 2026

Hướng dẫn chi tiết cách cấu hình ScrapeGraphAI với OpenAI và Ollama, tối ưu token và xây dựng pipeline bóc tách dữ liệu tự phục hồi trong môi trường production.

Python

Chặn đứng ‘dữ liệu rác’ bằng Pandera: Bảo hiểm cho Data Pipeline của bạn

By IT From Zero Tháng 9 12, 2026

Đừng để dữ liệu rác làm sập hệ thống lúc nửa đêm. Hướng dẫn sử dụng Pandera để kiểm định dữ liệu cho Pandas và Polars hiệu quả, tối ưu hiệu suất.

Git

Dùng DVC kết hợp Git: Đừng để Dataset 10GB làm “nát” Repo của bạn

By IT From Zero Tháng 9 12, 2026

Đừng để dữ liệu lớn làm chậm tiến độ dự án. Học cách kết hợp DVC và Git để quản lý Dataset, Model chuyên nghiệp, giúp Repo luôn nhẹ nhàng và dễ dàng truy xuất phiên bản cũ.

Python

Xây dựng Data Pipeline ‘bất tử’ với Prefect: Đừng để script Python chết trong im lặng

By IT From Zero Tháng 9 10, 2026

Đừng để script Python của bạn chết trong im lặng. Hướng dẫn xây dựng Data Pipeline chuyên nghiệp với Prefect: Tự động retry, giám sát Dashboard và xử lý lỗi thông minh.

Database

Làm chủ dbt Core với PostgreSQL: Từ SQL ‘rời rạc’ đến quy trình Data chuẩn chỉnh

By IT From Zero Tháng 9 9, 2026

Dẹp bỏ nỗi lo quản lý SQL thủ công. Hướng dẫn chi tiết cách dùng dbt Core với PostgreSQL để tự động hóa biến đổi dữ liệu, kiểm tra chất lượng và tạo tài liệu tự động.

Database

Làm chủ Airbyte: Đồng bộ dữ liệu ELT tự động, không cần viết code

By IT From Zero Tháng 9 7, 2026

Hết thời viết code ETL thủ công. Hướng dẫn sử dụng Airbyte để tự động hóa pipeline dữ liệu từ MySQL, Postgres đến BigQuery chỉ với vài cú click.

Docker

Dockerize Apache Airflow: Triển khai CeleryExecutor chuyên nghiệp với Docker Compose

By IT From Zero Tháng 9 6, 2026

Cách Dockerize Apache Airflow với CeleryExecutor và Redis bằng Docker Compose. Giải pháp tối ưu để triển khai workflow dữ liệu ổn định, dễ dàng mở rộng.

Python

Làm chủ PySpark trên Linux: Xử lý hàng trăm GB dữ liệu với Python

By IT From Zero Tháng 8 18, 2026

Bạn gặp khó khăn khi xử lý file dữ liệu hàng chục GB bằng Pandas? Khám phá cách cài đặt và tối ưu PySpark trên Linux để xử lý Big Data hiệu quả thông qua tính toán song song.

Database

Làm chủ Apache Hop: Xây dựng Pipeline ETL tự động hóa đồng bộ Database từ A-Z

By IT From Zero Tháng 8 16, 2026

Tạm biệt việc viết script thủ công. Hướng dẫn chi tiết cách dùng Apache Hop để xây dựng pipeline ETL tự động, giúp đồng bộ dữ liệu giữa các Database chuyên nghiệp và hiệu quả.