Fine-tune LLM trên RTX 4090: tinh chỉnh mô hình AI bằng dữ liệu doanh nghiệp

Tóm tắt: Fine-tune (tinh chỉnh) là dạy thêm cho một mô hình ngôn ngữ mã nguồn mở bằng dữ liệu của doanh nghiệp để nó trả lời đúng giọng văn, đúng định dạng, đúng thuật ngữ. Với kỹ thuật QLoRA và thư viện Unsloth, một card RTX 4090 24GB tinh chỉnh được mô hình tới khoảng 14B tham số; một lần tinh chỉnh mô hình 8B thường chỉ mất vài giờ. Vì việc này chạy theo đợt, thuê GPU theo giờ thường rẻ hơn mua card.

Fine-tune hay RAG?

Nhiều doanh nghiệp muốn “dạy AI tài liệu công ty” và nghĩ ngay tới fine-tune. Thực tế có hai cách khác nhau:

RAG (tra cứu tài liệu)Fine-tune (tinh chỉnh)
Mô hình học gìKhông học thêm; tra tài liệu rồi trả lờiHọc cách trả lời: giọng, định dạng, quy trình
Hợp vớiHỏi đáp quy định, sản phẩm, tài liệu hay thay đổiViết theo mẫu cố định, phân loại, trích xuất, giọng thương hiệu
Cập nhật dữ liệuThêm tài liệu là xongPhải tinh chỉnh lại
GPUChỉ cần chạy mô hìnhCần GPU khi huấn luyện, theo đợt

Nếu mục tiêu là trả lời đúng nội dung tài liệu, bắt đầu với RAG trước (xem bài chạy LLM cục bộ). Fine-tune hợp khi bạn cần mô hình làm một việc hẹp thật tốt: viết mô tả sản phẩm theo khung của shop, phân loại phiếu hỗ trợ, trích thông tin từ hợp đồng ra JSON, trả lời khách đúng giọng thương hiệu. Một mô hình nhỏ được tinh chỉnh tốt cho việc hẹp thường chạy rẻ và nhanh hơn mô hình lớn dùng chung.

QLoRA và Unsloth: vì sao một card RTX là đủ

Tinh chỉnh toàn bộ một mô hình 8B cần giữ trọng số, gradient và trạng thái optimizer trong VRAM cùng lúc, vượt quá 60GB (ComputingForGeeks). LoRA chỉ huấn luyện các lớp “chuyển đổi” nhỏ gắn vào mô hình; QLoRA đi xa hơn, nạp mô hình gốc ở dạng 4-bit. Unsloth là thư viện tăng tốc chạy trên nền đó.

Trong bài thử của ComputingForGeeks trên một RTX 4090, một lần tinh chỉnh QLoRA Llama 3.1 8B với bộ dữ liệu mẫu nhỏ chạy xong trong khoảng 34 giây, VRAM đỉnh 6,6GB. Với bộ dữ liệu thật, thời gian tính bằng giờ: theo ToolHalla, cùng một lần tinh chỉnh mô hình 8B mất 9,4 giờ với PyTorch thuần nhưng 0,8 giờ với Unsloth (ToolHalla).

Kích thước mô hìnhVRAM với QLoRAGPU gợi ý
3–4Bkhoảng 4–6GBRTX 4060 Ti 16GB
7–8Bkhoảng 7–12GBRTX 3090, 4090
13–14Bkhoảng 14–18GBRTX 4090
30–34Bkhoảng 20–26GBRTX 5090 32GB
70Bkhoảng 40–48GBNhiều GPU hoặc card chuyên dụng

Số liệu tổng hợp từ ComputingForGeeks và ToolHalla; VRAM thực tế còn phụ thuộc độ dài chuỗi và batch size. Với LoRA 16-bit (chất lượng cao hơn QLoRA một chút), mô hình 8B đã cần khoảng 24GB (LocalAIMaster).

Quy trình tinh chỉnh cho doanh nghiệp

  1. Xác định việc cụ thể: “trả lời khách theo giọng shop” quá rộng; “viết phản hồi đánh giá 1–2 sao theo 4 bước của bộ phận chăm sóc khách hàng” là việc đo được.
  2. Chuẩn bị dữ liệu: ít nhất khoảng 1.000 cặp câu hỏi và câu trả lời mẫu chất lượng cao; ít hơn thì thường dùng ví dụ trong câu lệnh là đủ (EgoistAI). Xóa thông tin cá nhân của khách trước khi đưa vào huấn luyện.
  3. Chọn mô hình gốc: bắt đầu từ mô hình nhỏ nhất làm gần đạt yêu cầu, thường 3–8B; kiểm tra mô hình hiểu tiếng Việt tốt trước khi tinh chỉnh.
  4. Huấn luyện: thuê RTX 4090 theo giờ, chạy Unsloth, theo dõi đường loss, dừng khi đường đi ngang.
  5. Đánh giá: so sánh mô hình đã tinh chỉnh với mô hình gốc trên 50–100 câu kiểm tra mà mô hình chưa thấy.
  6. Triển khai: xuất mô hình sang định dạng GGUF hoặc trọng số gộp để chạy bằng Ollama, vLLM trên máy nhỏ hơn.

Ví dụ phần nạp mô hình bằng Unsloth:

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit",
    max_seq_length = 2048,
    load_in_4bit = True,
)

Chi phí: vì sao thuê theo giờ hợp lý

Huấn luyện là việc theo đợt: chạy vài giờ, đánh giá, sửa dữ liệu, chạy lại. Giữa các đợt, GPU không có việc. GigaGPU ước tính một lần tinh chỉnh mô hình 8B với 50.000 mẫu, 3 epoch mất khoảng 5 giờ, hoặc 2,7 giờ với Unsloth trên RTX 4090 (GigaGPU). Nếu mỗi tháng chỉ tinh chỉnh vài lần, tổng số giờ GPU nhỏ hơn rất nhiều so với một card nằm chờ cả tháng.

Sau khi tinh chỉnh xong, chạy mô hình để phục vụ thường cần card nhỏ hơn, có thể là gói theo tháng. Giá thuê GPU hiện tại:

GPUVRAMGiá theo giờPhù hợp
RTX 3090 24GB 12.000đ Tạo ảnh Flux, video AI, LoRA Dùng thử

Giá tính theo giờ sử dụng thực tế, chưa gồm VAT nếu có. Cập nhật: 14/11/2026.

Câu hỏi thường gặp

Fine-tune mô hình 8B cần bao nhiêu VRAM?

Với QLoRA khoảng 7–12GB tùy độ dài chuỗi; RTX 4090 24GB chạy thoải mái. LoRA 16-bit cho mô hình 8B cần khoảng 24GB.

Cần bao nhiêu dữ liệu để fine-tune?

Nên có từ khoảng 1.000 mẫu chất lượng cao. Ít hơn thì thử ví dụ trong câu lệnh hoặc RAG trước.

RTX 4090 tinh chỉnh được mô hình lớn tới đâu?

Khoảng 14B với QLoRA một cách thoải mái; mô hình 30B trở lên nên dùng RTX 5090 32GB hoặc nhiều GPU.

Fine-tune xong có cần GPU lớn để chạy không?

Không nhất thiết. Mô hình 8B đã tinh chỉnh, lượng tử hóa 4-bit chạy được trên card 8–12GB.

Nguồn tham khảo

Về tác giả

Dang Tan Dat

Dang Tan Dat Kỹ sư hạ tầng GPU và Gaming

10 năm kinh nghiệm trong vận hành các nền tảng ảo hóa, GPU và gaming

Cloud gamingOBSHyper VWindows server

Bài viết tuân theo chính sách biên tập. Thấy thông tin sai? Báo cho chúng tôi.

Zalo
RTX theo giờ từ 5.000đDùng thử