#unrealneural
Log-linear attention - новый тип внимания, предложенный
Massachusetts Institute of Technology (MIT)
Он использует небольшое, но растущее число слотов памяти, которое логарифмически увеличивается с длиной последовательности.
https://arxiv.org/abs/2506.04761
https://github.com/HanGuo97/log-linear-attention
>>Click here to continue<<
