👉 Почему обычно применяют dropout к выходам нейронов, а не к весам
Потому что отключение выходов нейронов (стандартный dropout) полностью исключает вклад этих нейронов в расчёты, что делает регуляризацию более надёжной и управляемой.
Альтернативный подход — занулять случайные веса (DropConnect) — может быть полезен в некоторых случаях, но он более сложен в реализации и менее распространён.
Dropout проще применить на практике и он стабильно работает во многих нейросетевых задачах.
👉 Почему обычно применяют dropout к выходам нейронов, а не к весам
Потому что отключение выходов нейронов (стандартный dropout) полностью исключает вклад этих нейронов в расчёты, что делает регуляризацию более надёжной и управляемой.
Альтернативный подход — занулять случайные веса (DropConnect) — может быть полезен в некоторых случаях, но он более сложен в реализации и менее распространён.
Dropout проще применить на практике и он стабильно работает во многих нейросетевых задачах.