🔎 Исследования в оценке персонала (первый квартал 2024)⏯️ Обзор задач, связанных с тестами, в которых может использоваться машинное обучение. Мы в ЭКОПСИ разные методы машинного обучения используем давно, поэтому дополню нашим опытом:
⏯️ Создание пунктов (вопросов) тестов. Большие языковые модели уже сейчас неплохо справляются с этой задачей. В самоотчетных опросниках помогают решить проблему белого листа, в кейс-тестах — создают основу для кейса. Что убыстряет работу разработчиков. Мы в ЭКОПСИ используем для этой задачи ChatGPT-4, в нашем последнем инструменте примерно 15% пунктов разработаны GPT.
Кстати, недавно вышла
статья, которая как раз показывает, как языковые модели могут создавать пункты опросников.⏯️ Изменение предъявления теста или его расчета — для повышения валидности и / или снижения длительности. Здесь работают уже более классические регрессионные модели. С их помощью мы в
delta.ai Спрогнозируем оценки по компетенциям на основе самоотчета, а в
FADE сокращаем длительность прохождения примерно на 30%.
⏯️ Помощь в принятии решения с помощью экспертных систем. Не уверен, что это возможно в оценке персонала, причина одна — HR требует прозрачности. А экспертные системы с ИИ чаще всего не очень прозрачные и понятные. Даже в медицине компьютерное зрение в постановке диагнозов распространилось не то чтобы хорошо.
2️⃣ Люди видят в звездных сотрудниках (star performers) преимущественно маскулинные черты. Вообще очень интересное исследование в русле имплицитных теорий личности — т.е. представлений людей о том, как устроены люди. Так вот, звездные сотрудники обладают следующими шестью характеристиками:
⏯️ Энергичность (мотивированность, амбициозность, дисциплинированность).
⏯️ Контактность (дружелюбность, верность).
⏯️ Очаровательность (харизматичность, привлекательность).
⏯️ Упорство (проактивность, устойчивость).
⏯️ Смышлёность.
⏯️ Исключительность.
Важно: исследование испаноязычное.
Вообще я считаю, что инструменты оценки должны базироваться на имплицитных теориях личности в нашей культуре, чтобы хорошо ложиться на умы и в речь людей. Например, наш
PiF хорошо ложится на список выше.
3️⃣ Первые впечатления оценщиков от участников центра оценки (а) стабильны, т.е. влияют на их восприятие до конца центра оценки; (б) валидны, т.е. связаны с результативностью. Первые впечатления — это сформированные в первые 2 минуты упражнения. Уже не первое исследование, которое указывает на точность нашего интуитивного восприятия, а значит на возможность сокращать длительность упражнений. Зачем упражнение на 2 часа, если можно за 40 минут оценить человека?
4️⃣ Позитивные стереотипы о тестах способностях практически никак не помогают их проходить. Позитивные стереотипы — это убеждения, что какая-то группа людей лучше справляется с тестами способностей. Так вот, люди, которые обладают такими стереотипами, с тестами справляется практически так же, как люди без них.
5️⃣ Исполнительская эффективность и лидерская эффективность — связаны слабо. Что в очередной раз доказывает необходимость оценки потенциала, а не только эффективности.
6️⃣ Интеллект хорошо предсказывает результативность военных вне зависимости от количества лет службы. Исследование контрастирует с нападками, которые сейчас идут на тесты способностей. Тесты способностей популизировались в мировых войнах, армия же сейчас их и защищает.
7️⃣ Видеоинтервью с ИИ обладает хорошей ретестовой надежностью и критериальной валидностью. Происходит постепенная легализация ИИ-инструментов оценки со стороны научного сообщества.
8️⃣ Метаанализ опросника выгорания Маслач. Опросник обладает хорошей внутренней согласованностью (от 0,76 до 0,85 в зависимости от шкалы) и хорошей конструктной валидностью (есть высокая связь с другими методиками, оценивающими выгорание). А вот критериальная валидность методики под вопросом. Две шкалы из трех — Редукция личных достижений и Деперсонализация — оказались не связаны с психическими расстройствами. Есть риск, что с этим опросников мы просто гоняем цифры, которые имеют слабое отношение к реальности.
Автор: Юрий Шатров#исследования
