TG Telegram Group & Channel
Библиотека собеса по Data Science | вопросы с собеседований | United States America (US)
Create: Update:

📊 Может ли использование MSE в логистической регрессии привести к другим локальным минимумам по сравнению с кросс-энтропией

Да, может. Хотя кросс-энтропия обычно приводит к единственному глобальному минимуму (в терминах логарифмического правдоподобия), использование среднеквадратичной ошибки (MSE) может создать более сложный ландшафт ошибки, особенно в нелинейной области логистической функции.

🔍 Почему так происходит

🔎 MSE не согласована с сигмоидой
Логистическая функция быстро насыщается — и в этих зонах градиенты MSE становятся очень малыми, что замедляет обучение или может ввести оптимизатор в заблуждение.


🔎 Плоские или нестабильные участки
Из-за особенностей формы функции ошибки при MSE, градиенты могут быть почти нулевыми в широких зонах, а значит — модель может застрять в субоптимальных решениях.


🔎 Кросс-энтропия лучше «соотнесена» с логистической регрессией
Она прямо оптимизирует логарифмическое правдоподобие и ведёт к более «чистому» и выпуклому ландшафту потерь, что помогает градиентному спуску быстрее находить оптимум.


Библиотека собеса по Data Science

📊 Может ли использование MSE в логистической регрессии привести к другим локальным минимумам по сравнению с кросс-энтропией

Да, может. Хотя кросс-энтропия обычно приводит к единственному глобальному минимуму (в терминах логарифмического правдоподобия), использование среднеквадратичной ошибки (MSE) может создать более сложный ландшафт ошибки, особенно в нелинейной области логистической функции.

🔍 Почему так происходит

🔎 MSE не согласована с сигмоидой
Логистическая функция быстро насыщается — и в этих зонах градиенты MSE становятся очень малыми, что замедляет обучение или может ввести оптимизатор в заблуждение.


🔎 Плоские или нестабильные участки
Из-за особенностей формы функции ошибки при MSE, градиенты могут быть почти нулевыми в широких зонах, а значит — модель может застрять в субоптимальных решениях.


🔎 Кросс-энтропия лучше «соотнесена» с логистической регрессией
Она прямо оптимизирует логарифмическое правдоподобие и ведёт к более «чистому» и выпуклому ландшафту потерь, что помогает градиентному спуску быстрее находить оптимум.


Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM


>>Click here to continue<<

Библиотека собеса по Data Science | вопросы с собеседований




Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)