Chưng cất tri thức

Đây là khái niệm khiến tôi tin rằng "nhỏ mà đủ dùng" nhiều khi khôn ngoan hơn "to mà cồng kềnh".

Chưng cất tri thức là gì

Hãy hình dung một người thợ cả làm mấy chục năm, trong đầu đầy những phán đoán khó nói thành lời, đứng cạnh chỉ cho người thợ trẻ. Người trẻ không cần học lại từ đầu mọi thứ thầy từng học, chỉ cần bắt được cái cốt lõi để làm được việc. Chưng cất tri thức (knowledge distillation) trong AI là vậy: một mô hình nhỏ, gọi là trò, được huấn luyện để bắt chước cách trả lời của một mô hình lớn, gọi là thầy, nhờ đó giữ phần lớn năng lực mà gọn hơn nhiều.

Điểm tinh tế nằm ở chỗ trò không chỉ học đáp án đúng, mà học cả cách thầy phân vân. Ý tưởng này được Hinton và cộng sự nêu năm 2015. Một ví dụ nổi tiếng là DistilBERT của Sanh và cộng sự năm 2019: mô hình trò nhỏ hơn 40%, chạy nhanh hơn 60%, mà vẫn giữ được khoảng 97% khả năng hiểu ngôn ngữ của mô hình thầy BERT.

Ứng dụng vào quản trị ra sao

Tôi thấy nhiều doanh nghiệp mặc định rằng muốn kết quả tốt thì phải dùng công cụ lớn nhất, đắt nhất. Nhưng trong phần lớn công việc hằng ngày, một mô hình nhỏ, rẻ, chạy nhanh lại đủ dùng và hợp túi tiền hơn nhiều. Chọn đúng cỡ công cụ cho đúng việc là một quyết định quản trị, không chỉ là chuyện kỹ thuật.

Bài học rộng hơn nằm ở cách một tổ chức truyền nghề. Người giỏi nhất không nhất thiết phải tự tay làm mọi việc. Giá trị lớn hơn là chắt được cách làm của họ thành quy trình gọn để người khác dùng lại. Đó cũng là một kiểu chưng cất, giúp năng lực không dừng lại ở một cá nhân.

Trong đội bạn, tri thức của người thầy nào đang nằm trong đầu một vài người mà chưa được chắt lại thành thứ cả đội dùng được?