Ян Лекун славен и известен тем, что не стесняется суверенностью говорить вещи, которые кажутся ересью поклонникам консенсуса и общего мнения. Пока все обсуждают LLM и революционную роль трансформеров, Лекун полагает, что эта конкретная технология достигла своего пика возможностей — разнообразные улучшизмы будут, но прорывов уже не будет. Язык — гениальный, конечно, способ описания мира, но он — далеко не полная его репрезентация и слишком сильно скомпрессированная: модели мира должны включать другие репрезентации, возможно, специфичные для разных областей. Фундаментальные модели должны опираться на какие-то репрезентации фундаментальных свойств мира: e.g. gravity, object permanence, thermodynamics or physical and chemical laws, correctly encapsulated.
Здесь Лекун, конечно же, вспоминает системы 1 и 2 по Канеману (но, в отличие от Хуанга, как раз считает, что языковые модели ближе к эвристикам системы 1, а не рассуждениям системы 2). И дальше предлагает свои варианты построения неязыковых систем репрезентации мира. Посмотрим, куда это нас приведет, но, кажется, теперешние модели скоро потеряют гордый эпитет «фундаментальные», а пришедшие им на смену будут прорывом качественным, а не просто улучшением.
Читать текст не везде просто, но оно того стоит.
https://www.newsweek.com/ai-impact-interview-yann-lecun-llm-limitations-analysis-2054255

TechSparks

Ян Лекун славен и известен тем, что не стесняется суверенностью говорить вещи, которые кажутся ересью поклонникам консенсуса и общего мнения. Пока все обсуждают LLM и революционную роль трансформеров, Лекун полагает, что эта конкретная технология достигла своего пика возможностей — разнообразные улучшизмы будут, но прорывов уже не будет. Язык — гениальный, конечно, способ описания мира, но он — далеко не полная его репрезентация и слишком сильно скомпрессированная: модели мира должны включать другие репрезентации, возможно, специфичные для разных областей. Фундаментальные модели должны опираться на какие-то репрезентации фундаментальных свойств мира: e.g. gravity, object permanence, thermodynamics or physical and chemical laws, correctly encapsulated.
Здесь Лекун, конечно же, вспоминает системы 1 и 2 по Канеману (но, в отличие от Хуанга, как раз считает, что языковые модели ближе к эвристикам системы 1, а не рассуждениям системы 2). И дальше предлагает свои варианты построения неязыковых систем репрезентации мира. Посмотрим, куда это нас приведет, но, кажется, теперешние модели скоро потеряют гордый эпитет «фундаментальные», а пришедшие им на смену будут прорывом качественным, а не просто улучшением.
Читать текст не везде просто, но оно того стоит.
https://www.newsweek.com/ai-impact-interview-yann-lecun-llm-limitations-analysis-2054255

Newsweek

Yann LeCun, one of the 'Godfathers of AI,' says LLMs are on their way out

Yann LeCun, Chief AI Scientist at Meta, believes LLMs are doomed due to their inability to represent the high-dimensional spaces that characterize our world

👍64🔥29❤10💩3👎1

hottg.com/techsparks/4988

10.5K viewsApr 11 at 19:56