A Spectral View of Attention: Rank Collapse and Remedies

Trần Minh Khoa, Đặng Hoàng Nam, Lukas Meier

JournalTMLR - Transactions on Machine Learning ResearchJune 2023

DOI
arXiv

học sâu
lý thuyết

Abstract

Tóm tắt. Ta phân tích ma trận chú ý $A = \mathrm{softmax}(QK^\top/\sqrt{d})$ qua phổ của nó và chỉ ra rằng sau $\ell$ lớp, hạng hiệu dụng giảm theo cấp số nhân, hiện tượng gọi là rank collapse. Chúng tôi đề xuất một chuẩn hoá phổ đơn giản giúp duy trì hạng và cải thiện huấn luyện mạng sâu.

BibTeX

@article{khoa2023spectral,
  title = {A Spectral View of Attention: Rank Collapse and Remedies},
  author = {Trần Minh Khoa and Đặng Hoàng Nam and Lukas Meier},
  journal = {Transactions on Machine Learning Research},
  year = {2023},
  url = {https://doi.org/10.0000/example.tmlr.2023.07}
}