Cửa sổ ngữ cảnh

Bạn đưa cho một người rất giỏi toàn bộ hồ sơ của công ty rồi nhờ tìm một chi tiết nằm ở giữa. Họ đọc hết, nhưng nhớ rõ nhất phần đầu và phần cuối. Mô hình ngôn ngữ cũng vậy, và chuyện này đã được đo đạc hẳn hoi.

Cửa sổ ngữ cảnh là gì

Hãy hình dung một cái bàn làm việc. Mặt bàn rộng đúng chừng ấy, và mọi hồ sơ bạn cần đối chiếu cùng lúc đều phải nằm trên đó. Đặt thêm một tập là một tập khác phải rời bàn.

Cửa sổ ngữ cảnh (context window) là mặt bàn ấy của một mô hình: lượng chữ tối đa nó giữ được cùng một lúc, tính bằng token, gồm cả thứ bạn đưa vào lẫn thứ nó viết ra. Vượt quá thì phần cũ bị đẩy ra ngoài, và mô hình không còn nhớ nữa.

Mặt bàn này rộng ra rất nhanh. GPT-3, công bố tháng 6 năm 2020, giữ được 2.048 token. Tới tháng 2 năm 2024, Gemini 1.5 Pro đã nhận một triệu token, rồi tháng 5 cùng năm lên hai triệu.

Nhưng rộng hơn không có nghĩa là dùng tốt hơn. Liu và cộng sự, trong bài công bố trên tạp chí TACL năm 2024, thử dịch chuyển vị trí của thông tin cần tìm trong một ngữ cảnh dài và thấy một đường cong hình chữ U: mô hình trả lời đúng nhất khi thông tin nằm ở đầu hoặc ở cuối, và sụt rõ khi nó nằm ở quãng giữa. Ngữ cảnh càng dài thì kết quả càng kém, kể cả với thông tin chắc chắn có liên quan.

Ứng dụng vào quản trị ra sao

Tôi thấy điều này phản chiếu đúng cách một tổ chức tiếp nhận thông tin. Mỗi người, mỗi cuộc họp đều có một mặt bàn hữu hạn. Dồn thêm việc vào không làm mặt bàn rộng ra, nó chỉ đẩy một việc khác khỏi tầm nhìn, thường là việc không ai kịp nhận ra là đã rơi.

Đường cong chữ U cũng rất quen. Trong một bản trình bày dài hay một cuộc họp hai tiếng, phần được nhớ là lúc mở đầu và lúc kết, còn quãng giữa thì loãng. Điều quan trọng nhất mà đặt ở giữa thì gần như chắc chắn trôi.

Việc quan trọng nhất tuần này của bạn đang nằm ở đầu, ở cuối, hay ở quãng giữa?

Đến bàn làm việc

Mô hình không nhớ thêm chỉ vì được đưa thêm. Quá một ngưỡng, phần cũ bị đẩy ra ngoài mà không báo gì cả.

Một việc có thể thử tuần này: mở lại biên bản cuộc họp dài gần nhất và đánh dấu xem điều quan trọng nhất đã được nói ở phút thứ mấy. Nếu nó nằm ở quãng giữa, thử đổi chỗ cho lần sau, đưa lên đầu hoặc chốt lại ở cuối. Cùng một nội dung, chỉ đổi chỗ thôi mà người nghe giữ lại được nhiều hơn.