👉 Может ли модель машинного обучения быть «неправильно правой»
Да — и это довольно опасный случай. Модель может выдавать правильный результат, но по неправильной причине.
Примеры: — Классическая история: модель для распознавания танков «научилась» отличать их от леса, но не по форме техники — а по погоде (все фото с танками были при пасмурной погоде, а без — в солнечную). — Модель предсказывает болезнь, но оказывается, что она просто запомнила, в каких больницах делались анализы, а не сами медицинские показатели.
Это называется «shortcut learning» — когда модель ищет кратчайший путь к правильному ответу, даже если он бессмыслен с точки зрения задачи.
Почему это плохо: — Модель может работать «правильно» на тесте, но провалиться в реальной жизни, когда нарушатся скрытые зависимости. — В критичных сферах (медицина, право, финансы) это может привести к опасным решениям.
👉 Может ли модель машинного обучения быть «неправильно правой»
Да — и это довольно опасный случай. Модель может выдавать правильный результат, но по неправильной причине.
Примеры: — Классическая история: модель для распознавания танков «научилась» отличать их от леса, но не по форме техники — а по погоде (все фото с танками были при пасмурной погоде, а без — в солнечную). — Модель предсказывает болезнь, но оказывается, что она просто запомнила, в каких больницах делались анализы, а не сами медицинские показатели.
Это называется «shortcut learning» — когда модель ищет кратчайший путь к правильному ответу, даже если он бессмыслен с точки зрения задачи.
Почему это плохо: — Модель может работать «правильно» на тесте, но провалиться в реальной жизни, когда нарушатся скрытые зависимости. — В критичных сферах (медицина, право, финансы) это может привести к опасным решениям.
