Suy giảm tín hiệu

Bạn có nhớ trò chơi "tam sao thất bản" hồi nhỏ không? Một câu được thì thầm truyền tai qua năm bảy người, đến người cuối cùng thì nội dung méo mó gần hết. Hoá ra máy học, khi được xếp thành nhiều tầng, cũng gặp đúng rắc rối đó — và trong ngành nó có tên là suy giảm tín hiệu (vanishing gradient).

Nhớ lại hôm trước, ta nói máy học bằng cách nhìn vào chỗ sai ở kết quả rồi lần ngược về chỉnh lại từng tầng. Vấn đề là cái "lời nhắc sửa" ấy cứ yếu dần đi qua mỗi tầng nó đi qua, hệt như câu nói bị loãng dần qua từng người trong trò tam sao thất bản. Với một kiểu tính toán phổ biến một thời (hàm sigmoid), qua mỗi tầng lời nhắc bị teo lại còn chưa tới một phần tư; đi ngược qua mươi tầng thì gần như chẳng còn gì. Đến các tầng đầu tiên — nơi lẽ ra học những điều nền tảng nhất — thì gần như không nhận được lời nhắc nào để mà sửa.

Ngành phải mất nhiều năm mới gỡ được nút này, bằng những cách tính mới và những "đường tắt" nối thẳng giữa các tầng cho tín hiệu khỏi bị loãng. Nhờ vậy, năm 2015 một mô hình sâu tới 152 tầng (tên là ResNet) đã thắng lớn ở cuộc thi nhận diện ảnh danh giá ImageNet.

Tôi thấy điều này phản chiếu đúng một căn bệnh của tổ chức nhiều tầng nấc. Ý định từ trên truyền xuống, hay phản hồi từ dưới truyền lên, đều loãng dần qua mỗi cấp trung gian, đến nơi thì chỉ còn lại một cái bóng mờ. Trong tổ chức của bạn, một tín hiệu quan trọng đang phải đi qua bao nhiêu tầng trước khi tới đúng người cần nghe?

Đến bàn làm việc

Trong một mô hình sâu, tín hiệu học cứ loãng dần khi đi qua nhiều tầng — tới tầng xa nhất thì gần như biến mất. Thông tin trong tổ chức cũng hao hụt y như vậy.

Tuần này, thử chọn một thông điệp quan trọng gần đây và lần lại xem nó đã đi qua bao nhiêu cấp trước khi tới người trực tiếp làm, và tới nơi thì còn giữ được bao nhiêu so với ban đầu. Nhiều khi trục trặc không nằm ở nội dung, mà ở chỗ nó đã phải đi qua quá nhiều tầng.

Một đường trao đổi thẳng, đúng lúc, thường giữ được nhiều hơn cả một quy trình vòng vèo nhiều bước.