🤔 Можно ли задать одинаковые веса всем скрытым нейронам
На практике — почти никогда. В современных нейросетях это мешает обучению: все нейроны начинают вычислять одно и то же, градиенты одинаковы, и сеть не учится различать признаки. Такое поведение разрушает всю идею глубокого обучения.
Исключения есть: • Смещения (bias) часто инициализируют нулём или 0.01 • Параметры нормализации (например, γ в BatchNorm) могут начинаться с 1
Но сами веса сети — всегда инициализируются случайно (например, Xavier или He), чтобы нарушить симметрию и позволить сети учиться.
🤔 Можно ли задать одинаковые веса всем скрытым нейронам
На практике — почти никогда. В современных нейросетях это мешает обучению: все нейроны начинают вычислять одно и то же, градиенты одинаковы, и сеть не учится различать признаки. Такое поведение разрушает всю идею глубокого обучения.
Исключения есть: • Смещения (bias) часто инициализируют нулём или 0.01 • Параметры нормализации (например, γ в BatchNorm) могут начинаться с 1
Но сами веса сети — всегда инициализируются случайно (например, Xavier или He), чтобы нарушить симметрию и позволить сети учиться.
