Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation

As the foundational architecture of modern machine learning, Transformers have driven remarkable progress across diverse AI domains. Despite their transformative impact, a persistent challenge across various Transformers is Attention Sink (AS), in which a disproportionate amount of attention is focu...

Mô tả đầy đủ

Chi tiết về thư mục

Những tác giả chính:	Su, Zunhai, Zhang, Hengyuan, Wu, Wei, Zhang, Yifan, Liu, Yaxiu, Xiao, He, Yang, Qingyao, Sun, Yuxuan, Yang, Rui, Zhang, Chao, Xiong, Jing, Shen, Hui, Fan, Keyu, Ye, Weihao, Tao, Chaofan, Wu, Taiqiang, Wan, Zhongwei, Zhang, Tiantian, Yan, Bowen, Li, Zhen, Zhang, Yiming, Xie, Congkai, Qian, Yulei, Xie, Yuchen, Wu, Yik-Chung, Yang, Hongxia, Wong, Ngai
Định dạng:	Bài viết
Được phát hành:	2026
Những chủ đề:	Machine Learning
Truy cập trực tuyến:	https://arxiv.org/abs/2604.10098 http://arxiv.org/abs/2604.10098
Các nhãn:	Thêm thẻ Không có thẻ, Là người đầu tiên thẻ bản ghi này!