Исследователи Яндекса разработали новое поколение рекомендаций — на основе больших генеративных моделей

Команда RecSys R&D преодолела фундаментальные ограничения современных рекомендательных систем, разработав ARGUS (AutoRegressive Generative User Sequential Modeling) — первую в России production-ready действительно большую рекомендательную модель на базе трансформеров. Алгоритмы анализируют большой массив обезличенных данных, что позволяет точнее рекомендовать контент, предсказывая потребности пользователей.

Архитектурно

Модель: AR трансформер, context length 8192 событий — на порядки больше стандартных RecSys моделей. Двухбашенная архитектура решает проблему computational bottleneck: user tower и item tower генерируют эмбеддинги независимо, что позволяет предвычислять представления для сотен миллионов пользователей/айтемов в offline режиме.

Multi-task learning: Одновременное обучение на задачах next item prediction и feedback prediction повышает качество персонализации через shared representations и regularization эффекты.

Real-time inference в Музыке - критический engineering challenge. Запуск трансформера на каждый трек в "Моей волне" требовал:

- Caching стратегии для user embeddings
- Latency budget <100ms для seamless UX

Love. Death. Transformers.

Исследователи Яндекса разработали новое поколение рекомендаций — на основе больших генеративных моделей

Команда RecSys R&D преодолела фундаментальные ограничения современных рекомендательных систем, разработав ARGUS (AutoRegressive Generative User Sequential Modeling) — первую в России production-ready действительно большую рекомендательную модель на базе трансформеров. Алгоритмы анализируют большой массив обезличенных данных, что позволяет точнее рекомендовать контент, предсказывая потребности пользователей.

Архитектурно

Модель: AR трансформер, context length 8192 событий — на порядки больше стандартных RecSys моделей. Двухбашенная архитектура решает проблему computational bottleneck: user tower и item tower генерируют эмбеддинги независимо, что позволяет предвычислять представления для сотен миллионов пользователей/айтемов в offline режиме.

Multi-task learning: Одновременное обучение на задачах next item prediction и feedback prediction повышает качество персонализации через shared representations и regularization эффекты.

Real-time inference в Музыке - критический engineering challenge. Запуск трансформера на каждый трек в "Моей волне" требовал:

- Caching стратегии для user embeddings
- Latency budget <100ms для seamless UX

hottg.com/lovedeathtransformers/9449

6.8K viewsedited  Jun 25 at 11:55