Интересный talk про использование нейросетевых моделей для интерпретации данных и открытия физических законов. В этой парадигме данные сначала обучают нейронку (происходит сжатие), а затем обученная нейронка дистиллируется в теорию (через символьную регрессию, например https://github.com/MilesCranmer/PySR этого же автора).

Вторая часть рассказа про важность foundation models и про проект Polymathic AI (https://polymathic-ai.org/) нацеленный на обучение foundation models для физики. Из прикольного, рандомная инициализация — очень плохой prior. Даже предобучение на видео котиков даёт сильно лучший результат.

В целом я тоже до сих пор восхищаюсь, как задача "всего лишь" предсказания следующего токена даёт нам такие офигительные модели.

https://www.simonsfoundation.org/event/the-next-great-scientific-theory-is-hiding-inside-a-neural-network/

gonzo-обзоры ML статей

Интересный talk про использование нейросетевых моделей для интерпретации данных и открытия физических законов. В этой парадигме данные сначала обучают нейронку (происходит сжатие), а затем обученная нейронка дистиллируется в теорию (через символьную регрессию, например https://github.com/MilesCranmer/PySR этого же автора).

Вторая часть рассказа про важность foundation models и про проект Polymathic AI (https://polymathic-ai.org/) нацеленный на обучение foundation models для физики. Из прикольного, рандомная инициализация — очень плохой prior. Даже предобучение на видео котиков даёт сильно лучший результат.

В целом я тоже до сих пор восхищаюсь, как задача "всего лишь" предсказания следующего токена даёт нам такие офигительные модели.

https://www.simonsfoundation.org/event/the-next-great-scientific-theory-is-hiding-inside-a-neural-network/

Simons Foundation

The Next Great Scientific Theory is Hiding Inside a Neural Network

The Next Great Scientific Theory is Hiding Inside a Neural Network on Simons Foundation

hottg.com/gonzo_ML/2657

5.5K viewsMay 17, 2024 at 17:10