🔺 MERA
Ещё один большой и полезный релиз. Коллеги вложили очень много сил в новый фреймворк для оценки языковых моделей, который назвали MERA.
🔸 Сейчас есть 21 задача с текстом, постепенно будут добавляться таски в других модальностях. Есть задания на логику, математику, знания о мире, этику, память и другие.
🔸 Проект коллективный, ведётся совместно с Альянсом в сфере ИИ.
🔸 Сделали открытый лидерборд, на котором можно будет наблюдать текущий уровень развития русскоязычных моделей.
Написали про это небольшую статью для интересующихся деталями разработки. Ждём ваших сабмитов!
👉 Хабр | GitHub | Сайт проекта
>>Click here to continue<<
