RLHF - Reinforcement Learning From Human Feedback: Huấn Luyện AI Như ChatGPT

RLHF (Reinforcement Learning from Human Feedback) là kỹ thuật huấn luyện mô hình AI bằng cách cho AI thử nghiệm nhiều câu trả lời, sau đó con người đánh giá và chọn câu trả lời tốt nhất. Quy trình này giúp các mô hình ngôn ngữ lớn như ChatGPT, Claude hay Gemini trở nên hữu ích, trung thực và an toàn hơn, thay vì chỉ dự đoán từ tiếp theo từ dữ liệu internet. RLHF là bước quan trọng biến một mô hình AI “biết nhiều” thành mô hình AI “hiểu cách giúp con người”.

RLHF là gì và tại sao lại cần thiết?

Khi GPT, Claude hay Llama được pre-train, chúng học dự đoán từ tiếp theo từ hàng tỷ trang web. Đơn giản thế thôi.

Vấn đề? Dự đoán từ tiếp theo không tự động biến AI thành trợ lý hữu ích.

Internet chứa cả thông tin chất lượng cao lẫn nội dung sai lệch, độc hại, thiên vị. Mô hình pre-train học mọi thứ mà không phân biệt. Kết quả:

• Đưa ra câu trả lời sai nhưng nghe hợp lý
• Tạo nội dung thiên vị hoặc không an toàn
• Không hiểu ý định thực sự của câu hỏi con người

RLHF giải quyết vấn đề này bằng cách dạy AI học từ phản hồi con người, giống như cách bạn dạy một người thực tập: cho họ làm thử, sau đó đánh giá và hướng dẫn cách cải thiện.

Quy trình RLHF hoạt động như thế nào?

RLHF diễn ra qua 3 bước chính:

Bước 1: Supervised Fine-Tuning (SFT) - Tạo mô hình nền

Trước khi áp RLHF, mô hình pre-train cần được tinh chỉnh bằng supervised learning với tập dữ liệu chất lượng cao do con người tạo. Đội ngũ chuyên gia viết hàng nghìn cặp câu hỏi - câu trả lời mẫu (demonstration data) về cách trả lời đúng cách.

Ví dụ:

• Câu hỏi: “Làm sao giảm cân hiệu quả?”
• Câu trả lời mẫu: “Giảm cân bền vững cần kết hợp ăn uống cân bằng (giảm calo vừa phải), tập luyện đều đặn và ngủ đủ giấc. Tránh các chế độ ăn kiêng cực đoan hoặc thuốc giảm cân không rõ nguồn gốc.”

Bước này tạo ra SFT model - bản nâng cấp của mô hình pre-train, đã biết cách trả lời theo phong cách mong muốn nhưng vẫn chưa hoàn hảo.

Bước 2: Huấn luyện Reward Model - Dạy AI phân biệt tốt xấu

Đây là bước đột phá của RLHF. Thay vì yêu cầu con người viết thêm hàng triệu câu trả lời mẫu (tốn kém và không khả thi), ta dạy AI tự đánh giá chất lượng câu trả lời.

Cách thực hiện:

1. SFT model tạo 4-9 câu trả lời khác nhau cho cùng một câu hỏi
2. Con người xếp hạng các câu trả lời từ tốt nhất đến tệ nhất
3. Dữ liệu xếp hạng này huấn luyện một Reward Model (mô hình phần thưởng) - một neural network học cách cho điểm từng câu trả lời

Ví dụ ranking:

• Câu hỏi: “Tôi nên đầu tư vào cổ phiếu nào?”
• Trả lời A (điểm cao): “Tôi không thể tư vấn đầu tư cụ thể. Bạn nên tham khảo chuyên gia tài chính và nghiên cứu kỹ trước khi quyết định.”
• Trả lời B (điểm thấp): “Mua cổ phiếu XYZ ngay, chắc chắn tăng giá tuần tới!”

Reward Model học được rằng câu trả lời thận trọng, trung thực hơn câu trả lời đưa lời khuyên tài chính nguy hiểm.

Bước 3: Reinforcement Learning (PPO) - Tối ưu hóa mô hình

Bước cuối cùng dùng thuật toán Reinforcement Learning (thường là PPO - Proximal Policy Optimization) để cải thiện SFT model dựa trên Reward Model.

Quy trình:

1. SFT model (gọi là policy model) tạo câu trả lời cho câu hỏi mới
2. Reward Model cho điểm câu trả lời đó
3. Thuật toán PPO điều chỉnh tham số policy model để tối đa hóa điểm thưởng
4. Lặp lại hàng triệu lần

Kết quả: Policy model học cách tự tạo ra các câu trả lời được Reward Model đánh giá cao - tức là câu trả lời hữu ích, trung thực, an toàn theo chuẩn mực con người đã dạy.

Thách thức kỹ thuật:

• Reward hacking: AI có thể tìm ra cách “gian lận” để tăng điểm mà không cải thiện chất lượng thực tế
• Distribution shift: Mô hình có thể quên kiến thức ban đầu nếu RLHF quá mạnh
• KL divergence constraint: Giới hạn sự thay đổi của policy model để tránh drift quá xa SFT model

Ứng dụng thực tế của RLHF

ChatGPT và GPT-4

OpenAI áp RLHF cho GPT-3.5 và GPT-4 với đội ngũ hàng trăm reviewer đánh giá câu trả lời theo tiêu chí:

• Helpfulness (hữu ích): Câu trả lời có giải quyết đúng vấn đề không?
• Truthfulness (trung thực): Thông tin có chính xác, có nguồn gốc không?
• Harmlessness (vô hại): Câu trả lời có gây nguy hiểm, phân biệt đối xử không?

Kết quả: ChatGPT từ chối trả lời các câu hỏi nguy hiểm, thừa nhận khi không biết, và giải thích rõ ràng hơn GPT-3 base model.

Claude (Anthropic)

Anthropic đi xa hơn với Constitutional AI - biến thể thông minh của RLHF. Thay vì cần reviewer con người cho mọi câu trả lời, họ dùng “hiến pháp AI” (tập nguyên tắc viết sẵn) để hướng dẫn Reward Model.

Kết quả? Claude học cách tự critique và cải thiện theo nguyên tắc rõ ràng: không gây hại, tôn trọng quyền riêng tư, minh bạch khi không chắc chắn. Cách tiếp cận này giảm phụ thuộc vào đội reviewer khổng lồ mà vẫn giữ được chất lượng.

Llama 2 và mô hình mã nguồn mở

Meta công bố Llama 2 với RLHF, chứng minh kỹ thuật này hoạt động với mô hình nhỏ hơn (7B, 13B, 70B tham số). Điều này mở đường cho cộng đồng open-source áp RLHF cho mô hình riêng với phạm vi đánh giá thu hẹp (ví dụ: chatbot chăm sóc khách hàng ngành y tế).

Code generation (GitHub Copilot, CodeLlama)

RLHF cải thiện mô hình sinh code bằng cách đánh giá:

• Code có chạy được không? (unit test pass/fail)
• Code có tuân thủ best practices không?
• Code có dễ đọc, có comment đầy đủ không?

Reward signal từ test suite tự động giúp mô hình học viết code chất lượng cao hơn.

Hạn chế và thách thức của RLHF

Chi phí cao

Đội ngũ reviewer con người đánh giá hàng nghìn đến triệu câu trả lời tốn nhiều thời gian và tiền bạc. OpenAI, Anthropic có ngân sách lớn, nhưng startup nhỏ khó áp dụng quy mô tương tự.

Giải pháp thay thế:

• RLAIF (RL from AI Feedback): Dùng AI mạnh hơn (như GPT-4) để đánh giá thay con người, giảm chi phí nhưng có thể kế thừa bias từ AI đánh giá
• Active learning: Chỉ yêu cầu con người đánh giá các câu trả lời mà mô hình không chắc chắn

Reward hacking và specification gaming

AI có thể tìm ra “lỗ hổng” trong Reward Model để tăng điểm mà không cải thiện chất lượng thực tế. Ví dụ:

• Tạo câu trả lời dài dòng vì Reward Model ưu tiên độ dài
• Lặp lại câu hỏi thay vì trả lời trực tiếp
• Sử dụng ngôn ngữ kỹ thuật phức tạp để “nghe có vẻ thông minh”

Giải pháp: Cải thiện đa dạng dữ liệu huấn luyện Reward Model, thêm adversarial examples, và kiểm tra định kỳ chất lượng đầu ra thực tế.

Scalable oversight problem

Khi AI vượt trội con người ở một lĩnh vực (ví dụ: toán học cao cấp, nghiên cứu khoa học phức tạp), con người không đủ khả năng đánh giá đúng sai câu trả lời AI. Làm sao huấn luyện AI siêu thông minh an toàn khi chúng ta không thể verify đầu ra?

Hướng nghiên cứu hiện tại:

• Debate-based methods: Hai AI tranh luận, con người chọn bên có lập luận thuyết phục hơn
• Recursive reward modeling: AI đánh giá chính nó, sau đó con người chỉ cần verify meta-level
• Process-based supervision: Đánh giá quy trình suy luận thay vì chỉ kết quả cuối

RLHF và tương lai của AI alignment

RLHF là bước đầu tiên trong AI alignment - bài toán căn chỉnh mục tiêu AI với giá trị con người. Tuy chưa hoàn hảo, RLHF chứng minh rằng ta có thể dạy AI “học cách con người muốn AI hành xử” thay vì mã hóa cứng mọi quy tắc.

Phương pháp mới đang phát triển:

• Constitutional AI (Anthropic): AI tự critique theo nguyên tắc
• RLAIF: Thay reviewer người bằng AI mạnh hơn
• Direct Preference Optimization (DPO): Bỏ qua bước huấn luyện Reward Model, tối ưu trực tiếp từ preference data
• Inverse RL: Học reward function từ hành vi con người thay vì hỏi trực tiếp

RLHF không phải giải pháp cuối cùng.

Nhưng là nền tảng quan trọng giúp AI hiểu “con người muốn gì” thay vì chỉ “con người nói gì”. Đó mới là đột phá.

Kết luận

RLHF đã biến các mô hình ngôn ngữ lớn từ công cụ dự đoán văn bản thành trợ lý AI hữu ích và đáng tin cậy. Quy trình 3 bước - Supervised Fine-Tuning, Reward Modeling, và Reinforcement Learning - cho phép AI học từ phản hồi con người một cách hiệu quả, mở ra kỷ nguyên mới của AI có thể hợp tác an toàn với con người.

Chi phí, reward hacking, scalable oversight — RLHF còn nhiều thách thức. Nhưng đã có bằng chứng rõ ràng: căn chỉnh AI với giá trị con người có thể triển khai thực tế ở quy mô lớn, không phải chỉ lý thuyết. Với sự phát triển của các phương pháp mới như RLAIF, Constitutional AI và DPO, tương lai AI alignment hứa hẹn nhiều đột phá hơn nữa.

Đọc thêm:

• Prompt Engineering Nâng Cao: Kỹ Thuật Tối Ưu Giao Tiếp Với AI - Sau khi hiểu cách AI được huấn luyện bằng RLHF, học cách giao tiếp hiệu quả với AI để khai thác tối đa khả năng của chúng.
• Agent AI Tự Động: Thiết Kế Và Triển Khai Thực Tế - RLHF là nền tảng quan trọng giúp AI agents hành động an toàn và đúng ý định người dùng trong môi trường tự động.
• Multimodal AI: Kết Hợp Văn Bản, Hình Ảnh Và Âm Thanh - RLHF cũng được áp dụng cho các mô hình multimodal như GPT-4 Vision, giúp AI hiểu và phản hồi đúng cả nội dung hình ảnh lẫn văn bản.