Учёные представили новый вид языковых моделей — Block Diffusion Language Models (BD3-LMs)
Это гибридный метод, который сочетает в себе автогрегрессию и диффузию.
❓ В чем отличие от классических моделей: BD3-LMs используют блочную диффузию: текст разбивается на блоки, внутри которых применяется диффузионный процесс, а блоки генерируются последовательно, как в автогрегрессивных моделях.
Этот подход сочетает высокое качество текста и гибкость автогрегрессии с параллельной обработкой и скоростью диффузионных моделей. В результате BD3-LMs могут быстрее обрабатывать данные и обеспечивать высокую производительность, устанавливая новый стандарт среди диффузионных языковых моделей.
Ну а насколько это прорывной метод — время покажет ⏰
>>Click here to continue<<