Token hoá

Có một chuyện nhỏ làm nhiều người dùng AI lần đầu phải ngớ ra: một mô hình viết được cả bản hợp đồng lại đếm sai số chữ cái trong một từ đơn giản. Không phải nó kém. Là vì nó chưa bao giờ nhìn thấy từng chữ cái.

Token hoá là gì

Hãy hình dung một người thợ chỉ nhận hàng theo kiện. Bạn đưa họ một cuộn vải, họ không đo bằng xăng-ti-mét, họ cắt thành từng kiện theo cỡ quen tay rồi đếm kiện. Mọi thứ họ nói về cuộn vải ấy, từ giá cho tới thời gian làm, đều tính theo kiện.

Token hoá (tokenization) là bước cắt như vậy. Trước khi đọc, máy băm câu chữ thành những mảnh nhỏ gọi là token, thường là một từ ngắn hoặc một phần của từ, rồi đổi mỗi mảnh thành một con số. Từ đó trở đi máy chỉ còn làm việc với các con số ấy, chứ không còn thấy chữ cái nào nữa. Hỏi nó một từ có mấy chữ cái cũng giống hỏi người thợ kia cuộn vải dài bao nhiêu xăng-ti-mét.

Cỡ mảnh ra sao thì tuỳ bộ cắt. Với tiếng Anh, quy tắc ước lượng mà OpenAI đưa ra là một token vào khoảng bốn ký tự, hay chừng ba phần tư một từ, nên một trăm token rơi vào khoảng bảy mươi lăm từ.

Chỗ đáng chú ý hơn là cùng một nội dung, số mảnh lại khác nhau rất xa giữa các thứ tiếng. Ahia và cộng sự, trong nghiên cứu công bố tại hội nghị EMNLP năm 2023, cho thấy có ngôn ngữ cần tới gấp năm lần số token so với tiếng Anh để nói cùng một điều. Vì tiền được tính theo token, cùng một câu hỏi, người dùng ngôn ngữ này trả nhiều hơn người dùng ngôn ngữ kia.

Ứng dụng vào quản trị ra sao

Điều tôi thấy ở đây là chuyện đơn vị đo. Máy không sai, nó chỉ đang đo bằng một đơn vị khác với đơn vị ta tưởng nó dùng. Hỏi "mấy chữ cái" trong khi nó đếm "mấy mảnh" thì lệch là đương nhiên.

Tôi cho rằng chỗ này phản chiếu khá nhiều việc trong công ty. Một đội báo cáo theo số đơn, một đội theo doanh thu. Mỗi đơn vị đều đúng trong phạm vi của nó, nhưng khi ghép lại thành một bức tranh thì các con số không cộng được với nhau, và cuộc họp biến thành tranh luận về cách đếm thay vì về việc cần làm.

Đơn vị đo bạn chọn không chỉ ghi lại kết quả. Nó định hình cả cách mọi người xoay xở để đạt kết quả đó.

Trong bảng số bạn xem mỗi tuần, có con nào mà hai người trong đội đang hiểu theo hai đơn vị khác nhau không?

Đến bàn làm việc

Máy cắt chữ thành mảnh rồi tính tiền theo mảnh, nên người không để ý đơn vị đo sẽ thấy hoá đơn lạ hơn mình nghĩ.

Một việc có thể thử tuần này, mất chừng hai mươi phút: lấy đúng một chỉ số quan trọng trong công ty, rồi hỏi riêng hai người đang dùng nó xem họ định nghĩa nó thế nào, tính từ mốc nào, trừ đi những gì. Nếu hai câu trả lời khác nhau thì chỉ số ấy chưa phải một chỉ số. Nó đang là hai chỉ số dùng chung một cái tên.