🚫Что делать с пропущенными значениями перед нормализацией или стандартизацией признаков
Пропущенные значения (NaN, пустые ячейки) затрудняют масштабирование данных, потому что статистики вроде среднего, стандартного отклонения или минимума становятся некорректными. Поэтому пропуски нужно обработать до нормализации.
— Простые методы: среднее, медиана, мода. — Продвинутые: KNN, модели на деревьях, многократная импутация (Multiple Imputation).
2️⃣Удаление строк с пропусками
— Допустимо, если доля пропущенных значений очень мала.
3️⃣Использование моделей, устойчивых к пропускам
— Некоторые алгоритмы (например, XGBoost, CatBoost) умеют обрабатывать пропуски без предварительной импутации.
📌Вывод
— Пропуски надо обрабатывать до масштабирования. — Лучший подход — импутация на обучении, затем масштабирование по тем же правилам. — Не смешивайте статистики между train и test — это критично для честной оценки модели.
🚫Что делать с пропущенными значениями перед нормализацией или стандартизацией признаков
Пропущенные значения (NaN, пустые ячейки) затрудняют масштабирование данных, потому что статистики вроде среднего, стандартного отклонения или минимума становятся некорректными. Поэтому пропуски нужно обработать до нормализации.
— Простые методы: среднее, медиана, мода. — Продвинутые: KNN, модели на деревьях, многократная импутация (Multiple Imputation).
2️⃣Удаление строк с пропусками
— Допустимо, если доля пропущенных значений очень мала.
3️⃣Использование моделей, устойчивых к пропускам
— Некоторые алгоритмы (например, XGBoost, CatBoost) умеют обрабатывать пропуски без предварительной импутации.
📌Вывод
— Пропуски надо обрабатывать до масштабирования. — Лучший подход — импутация на обучении, затем масштабирование по тем же правилам. — Не смешивайте статистики между train и test — это критично для честной оценки модели.
