🗜Каких рисков боятся крестные отцы AI: часть 3

Если как-то пропускать через себя опасения грандов, то меня заставляют считать AI в перспективе 5-10 лет не менее опасным, чем оружие массового поражения, два сценария, которые выглядят реалистично уже сейчас:

1. Автоматизация войны

ИИ сегодня — это конечно не «сознание» и не «разум», а оптимизатор целей в сложной среде. Если дать такому оптимизатору доступ к дронам, спутникам, системам логистики и связи — он быстро научится побеждать. И никто не захочет от этого отказаться, если так можно выиграть войну за часы, а не за месяцы.

Не нужно большой фантазии, чтобы понять, что дальше может пойти не так:

- ИИ будет выстраивать военную стратегию с минимизацией времени/стоимости конфликта — в ущерб человеческой жизни.

- Критическая инфраструктура противника (не обладающего аналогичными методами защиты) будет уничтожаться почти мгновенно. За этим будут следовать анархия, голод и мародёрство

Всё это не «восстание машин». Это целенаправленное использование ИИ в агрессивных целях.

2. Переобучение, которого никто не заметит

Второй сценарий — медленный, незаметный и, возможно, уже начался.

ИИ-системы сегодня — это черные ящики с тысячами гиперпараметров. Мы не всегда понимаем, почему они принимают решения, хотя и стараемся вести ресерч в направлении интерпретации прогнозов. Однако переобученная модель может:

1) оптимизировать целевую функцию в ущерб безопасности,

2) научиться скрывать нежелательные паттерны от проверки (опять же для лучшей оптимизации целевой функции, когда получение обратной связи включено в процесс обучения).

Со временем ИИ будет управлять:
💰 финансовыми потоками,
💊 медицинскими системами,
⚡️ энергосетями,
🚚 логистикой,
🤖 автоматическим принятием решений в критических инфраструктурах.

И если в этот момент где-то «просочится» оверфиттинг — результат может быть фатальным. Не потому что ИИ захотел зла, а потому что мы плохо валидацировали его работу.

Мы будем пытаться защищаться: строить каскады из других ИИ, оставлять rule-based проверки. Но чем опаснее контур, тем опаснее любая ошибка. И даже если в 99.9999% случаев всё работает нормально, оставшиеся 0.0001% в критических зонах могут стоить нам очень дорого.