A Spectral View of Attention: Rank Collapse and Remedies

Trần Minh Khoa, Đặng Hoàng Nam, Lukas Meier

Tạp chíTMLR - Transactions on Machine Learning Researchtháng 6 năm 2023

DOI
arXiv

học sâu
lý thuyết

Tóm tắt

Tóm tắt. Ta phân tích ma trận chú ý $A = \mathrm{softmax}(QK^\top/\sqrt{d})$ qua phổ của nó và chỉ ra rằng sau $\ell$ lớp, hạng hiệu dụng giảm theo cấp số nhân, hiện tượng gọi là rank collapse. Chúng tôi đề xuất một chuẩn hoá phổ đơn giản giúp duy trì hạng và cải thiện huấn luyện mạng sâu.

BibTeX

@article{khoa2023spectral,
  title = {A Spectral View of Attention: Rank Collapse and Remedies},
  author = {Trần Minh Khoa and Đặng Hoàng Nam and Lukas Meier},
  journal = {Transactions on Machine Learning Research},
  year = {2023},
  url = {https://doi.org/10.0000/example.tmlr.2023.07}
}