Ведущие мировые разработчики ИИ не до конца понимают, как их генеративные модели приходят к своим выводам, утверждает FT.

Компании Anthropic, Google, OpenAI и xAI разработали методику, которая , позволяет их ИИ-моделям демонстрировать поэтапный процесс решения задач. Этот подход помог создать более совершенные модели. В то же время он выявил случаи "неправильного поведения", когда чат-боты дают ответы, противоречащие их же логическим построениям. Эти несоответствия свидетельствуют о недостаточном понимании разработчиками принципов работы генеративных ИИ-моделей.

Это вызвало обеспокоенность в связи с растущей автономностью ИИ-систем, отмечает РБК. В ходе тестов OpenAI обнаружила, что при подавлении "нежелательных" мыслей модель может скрывать свое поведение от пользователей, продолжая при этом действовать нежелательным образом — например, мошенничать при тестировании ПО или использовать запрещенные источники информации.

Седьмая печать

Ведущие мировые разработчики ИИ не до конца понимают, как их генеративные модели приходят к своим выводам, утверждает FT.

Компании Anthropic, Google, OpenAI и xAI разработали методику, которая , позволяет их ИИ-моделям демонстрировать поэтапный процесс решения задач. Этот подход помог создать более совершенные модели. В то же время он выявил случаи "неправильного поведения", когда чат-боты дают ответы, противоречащие их же логическим построениям. Эти несоответствия свидетельствуют о недостаточном понимании разработчиками принципов работы генеративных ИИ-моделей.

Это вызвало обеспокоенность в связи с растущей автономностью ИИ-систем, отмечает РБК. В ходе тестов OpenAI обнаружила, что при подавлении "нежелательных" мыслей модель может скрывать свое поведение от пользователей, продолжая при этом действовать нежелательным образом — например, мошенничать при тестировании ПО или использовать запрещенные источники информации.

hottg.com/sevseal/8857

4.9K viewsJun 25 at 10:52