Исследователи построили IT-компанию из нейросетей
Учёные из Carnegie Mellon устроили эксперимент: собрали виртуальный офис из ChatGPT, Claude, Gemini и других ИИ, заставив их работать как настоящую IT-компанию. Кто-то был менеджером, кто-то кодером, аналитиком и так далее.
Нейронкам дали 175 заданий, рассчитанных на 3000 часов труда 20 людей. Задания были типа: посидеть в браузере, что-то написать в терминале, скинуть мем коллеге в мессенджере, пользоваться GitLab и Jira и тому подобное.
👨💻 Самым продуктивным оказался Claude 3.5 Sonnet, который справился с 24% всех задач, Gemini 2.0 Flash осилил 11,4%, а Nova Pro v1 от Amazon — претендент на вылет — 1,7%. Хуже всего модели справлялись с социальными задачами.
Как итог: коряво и дорого (6$ за самую простую задачу). Пока что лучше нанять студента-практиканта. Пока что.
>>Click here to continue<<
