TG Telegram Group & Channel
Компьютерный клуб | Технологии | United States America (US)
Create: Update:

Исследователи построили IT-компанию из нейросетей

Учёные из Carnegie Mellon устроили эксперимент: собрали виртуальный офис из ChatGPT, Claude, Gemini и других ИИ, заставив их работать как настоящую IT-компанию. Кто-то был менеджером, кто-то кодером, аналитиком и так далее.

Нейронкам дали 175 заданий, рассчитанных на 3000 часов труда 20 людей. Задания были типа: посидеть в браузере, что-то написать в терминале, скинуть мем коллеге в мессенджере, пользоваться GitLab и Jira и тому подобное.

👨‍💻 Самым продуктивным оказался Claude 3.5 Sonnet, который справился с 24% всех задач, Gemini 2.0 Flash осилил 11,4%, а Nova Pro v1 от Amazon — претендент на вылет — 1,7%. Хуже всего модели справлялись с социальными задачами.

Как итог: коряво и дорого (6$ за самую простую задачу). Пока что лучше нанять студента-практиканта. Пока что.

Исследователи построили IT-компанию из нейросетей

Учёные из Carnegie Mellon устроили эксперимент: собрали виртуальный офис из ChatGPT, Claude, Gemini и других ИИ, заставив их работать как настоящую IT-компанию. Кто-то был менеджером, кто-то кодером, аналитиком и так далее.

Нейронкам дали 175 заданий, рассчитанных на 3000 часов труда 20 людей. Задания были типа: посидеть в браузере, что-то написать в терминале, скинуть мем коллеге в мессенджере, пользоваться GitLab и Jira и тому подобное.

👨‍💻 Самым продуктивным оказался Claude 3.5 Sonnet, который справился с 24% всех задач, Gemini 2.0 Flash осилил 11,4%, а Nova Pro v1 от Amazon — претендент на вылет — 1,7%. Хуже всего модели справлялись с социальными задачами.

Как итог: коряво и дорого (6$ за самую простую задачу). Пока что лучше нанять студента-практиканта. Пока что.


>>Click here to continue<<

Компьютерный клуб | Технологии






Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)