Безопасность и интерпретируемость остаются первостепенными проблемами; по мере самомодификации агентов их внутренняя логика может становиться всё более сложной и непрозрачной. Текущая зависимость системы от замороженных FM означает, что её конечные возможности ограничены этими моделями, и она пока не учится улучшать сами FM. Высокая вычислительная стоимость и временные затраты также являются значительными практическими препятствиями. Хотя DGM демонстрирует обнадёживающие результаты, её производительность на SWE-bench всё ещё уступает некоторым закрытым, высокооптимизированным системам. Наконец, весь процесс опирается на предположение, что выбранные бенчмарки являются достоверными показателями желаемых сложных способностей. Эти ограничения хорошо осознаются и формируют важную исследовательскую повестку. Прозрачность в отношении взлома метрики особенно похвальна и подчёркивает нюансы проблем при согласовании самосовершенствующихся систем.

Машина Дарвина-Гёделя знаменует собой заметный прогресс в стремлении к подлинно самосовершенствующемуся ИИ. Изобретательно сочетая эмпирическую валидацию самостоятельно написанных модификаций с принципами неограниченной эволюции, авторы разработали систему, которая не только демонстрирует значительный прирост производительности в сложных задачах программирования, но и предлагает новую парадигму того, как возможности ИИ могут автономно расти. Особенно впечатляют способность системы обнаруживать новые улучшения инструментов и стратегий рабочих процессов, а также обобщающая способность этих открытий.

Эта статья — важный и заставляющий задуматься вклад в данную область, прокладывая путь для нового класса систем ИИ. Хотя значительные проблемы, связанные с вычислительными затратами, безопасностью, истинной неограниченностью и риском взлома метрики, остаются, фреймворк DGM представляет собой убедительный proof-of-concept. Его исследование самореферентного улучшения и эволюционной динамики в ИИ-агентах, несомненно, послужит толчком для дальнейших исследований и приближает нас на ощутимый шаг к системам ИИ, которые действительно могут научиться учиться и строить на собственных открытиях.

gonzo-обзоры ML статей

Forwarded from gonzo_ML_podcasts

Безопасность и интерпретируемость остаются первостепенными проблемами; по мере самомодификации агентов их внутренняя логика может становиться всё более сложной и непрозрачной. Текущая зависимость системы от замороженных FM означает, что её конечные возможности ограничены этими моделями, и она пока не учится улучшать сами FM. Высокая вычислительная стоимость и временные затраты также являются значительными практическими препятствиями. Хотя DGM демонстрирует обнадёживающие результаты, её производительность на SWE-bench всё ещё уступает некоторым закрытым, высокооптимизированным системам. Наконец, весь процесс опирается на предположение, что выбранные бенчмарки являются достоверными показателями желаемых сложных способностей. Эти ограничения хорошо осознаются и формируют важную исследовательскую повестку. Прозрачность в отношении взлома метрики особенно похвальна и подчёркивает нюансы проблем при согласовании самосовершенствующихся систем.

Машина Дарвина-Гёделя знаменует собой заметный прогресс в стремлении к подлинно самосовершенствующемуся ИИ. Изобретательно сочетая эмпирическую валидацию самостоятельно написанных модификаций с принципами неограниченной эволюции, авторы разработали систему, которая не только демонстрирует значительный прирост производительности в сложных задачах программирования, но и предлагает новую парадигму того, как возможности ИИ могут автономно расти. Особенно впечатляют способность системы обнаруживать новые улучшения инструментов и стратегий рабочих процессов, а также обобщающая способность этих открытий.

Эта статья — важный и заставляющий задуматься вклад в данную область, прокладывая путь для нового класса систем ИИ. Хотя значительные проблемы, связанные с вычислительными затратами, безопасностью, истинной неограниченностью и риском взлома метрики, остаются, фреймворк DGM представляет собой убедительный proof-of-concept. Его исследование самореферентного улучшения и эволюционной динамики в ИИ-агентах, несомненно, послужит толчком для дальнейших исследований и приближает нас на ощутимый шаг к системам ИИ, которые действительно могут научиться учиться и строить на собственных открытиях.

arXiv.org

Darwin Godel Machine: Open-Ended Evolution of Self-Improving Agents

Today's AI systems have human-designed, fixed architectures and cannot autonomously and continuously improve themselves. The advance of AI could itself be automated. If done safely, that would...

hottg.com/gonzo_ML/3681

5.9K viewsMay 30 at 16:12