Треды с этим исследованием были у каждого второго блогера в Х, что с одной стороны не умаляет его ценности, с другой - давайте рассмотрим его повнимательнее.
Дано: статья под названием "Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task". Если коротко, то исследователи попросили "студентов" из университетов США написать за 20 минут эссе самостоятельно, с использованием поисковиков и с использованием LLM.
После написания эссе участники прошли ряд исследований и опросов (ЭЭГ, NLP-анализ эссе и интервью), как вы можете предположить условно негативные результаты были у группы, которая использовала LLM, условно позитивные результаты у тех, кто самостоятельно писал эссе, где-то посерединке оказались те, кто пользовались поисковиками.
Для начала надо понять, что такое cognitive debt - это метафора, "когнитивный долг" или "когнитивные издержки", означающая скрытые долгосрочные последствия от упрощения выполнения умственных задач. Идея когнитивного долга в том, что аутсорс умственных усилий (перекладывание на LLM) может привести к деградации критического мышления, памяти, творчества и (когнитивной) самостоятельности.
Итак, после написания эссе и проведения исследования у тех студентов, которые пользовались LLM было установлено: (а) снижение активности в диапазонах ЭЭГ, которые отвечают за память и креативность; (б) 83% студентов не смогли воспроизвести аргументы из своих текстов через 20 минут; (в) студенты не ощущали "чувство авторства" (принадлежности им работы).
У тех, кто писал эссе самостоятельно была обратная история: они чувствовали себя авторами, прекрасно ориентировались в тексте, их показатели ЭЭГ указывали на активную работу мозга.
Есть пара нюансов, почему к справедливому, но алармистскому выводу о когнитивном долге надо относиться аккуратно (в целом СМИ его все равно растащат, но меньше ИИ агентами пользоваться не будут).
Во-первых, это не лонгитюдное исследование: говорить о когнитивном долге справедливо, когда на протяжении нескольких сеансов (нескольких лет, а то и десятилетий) контрольная группа показывает стабильное снижение когнитивных функций (если это можно так назвать). Данное исследование длилось всего 4 месяца, где каждый участник должен был завершить 3 обязательные сессии (tool-free, LLM, search engine), а 18 из них также приняли участие в 4 сессии.
Во-вторых, выборка участников не только скромная (54 человека, не считая дополнительную группу в 18 человек из имеющихся участников), но и не репрезентативная. Мы имеем дело со "студентами" от 18 до 39 лет (медианный возраст группы около 23 лет), из довольно престижных университетов: MIT, Wellesley, Harvard, Tufts, Northeastern - поэтому выводы исследования могут быть не релевантны для людей со средним образованием, слушателей из других вузов, специалистов из разных возрастных групп, "белых/синих воротничков".
В-третьих, поставленная задача касается очень быстрого выполнения задания - написания текста, мы не знаем как на мозговую активность будет влиять использование ИИ для других целей (генерация изображений и музыки, анализ текста, работа с рекомендациями) и повлияет ли на результаты использование ИИ в течение более длительного времени или чередование разных видов обработки информации и ее поиска.
В-четвертых, из описания исследования не очень ясно стояла ли перед участниками задача соблюдать специфическую цифровую гигиену и какой опыт использования LLM у них был до этого. Возможно, для человека, который только начал использовать LLM или не погружен в ИИ грамотность показатели когнитивного аутсорса будут более высокими?
В итоге, нельзя отрицать, что мы никогда не будем думать так, как думали наши предки, мы сами за время учебы и работы могли поменять свои когнитивные паттерны, это однако не означает, что использование LLM плохое, а те, кто не используют подобные сервисы лучше решают какие-то задачи или умнее. С чем нельзя спорить, так это подход к LLM как к инструменту, результаты которого надо проверять, верифицировать и ставить под сомнение.
>>Click here to continue<<
