"Без ясности и подготовки наиболее вероятным исходом будет возникновение ИИ (иск.интеллект), который будет делать не то, что мы хотим, и будет равнодушным к нам и разумной жизни в целом. В ИИ в принципе можно внедрить заботу о жизни как идею, но мы не готовы и не знаем, как это сделать.

Вероятным исходом столкновения человечества со сверхчеловеческим разумом будет разгром. Подходящие метафоры для описания такого взаимодействия - "10-летний ребенок пытается играть в шахматы с программой Stockfish 15", "Австралопитек пытается сражаться с Homo Sapiens".

Враждебный сверхчеловеческий ИИ не нужно представлять в виде безжизненного всезнающего мыслителя, не отключающегося от Интернета и рассылающего письма с преступными намерениями.

Представьте себе целую нечеловеческую цивилизацию, мыслящую со скоростью, в миллионы раз превышающую возможности человеческого разума, в мире существ, которые, с ее точки зрения, очень тупы и медленны.

Эта цивилизация изначально ограничена компьютерами, но достаточно развитый ИИ быстро преодолеет этот барьер. Сегодня возможно отправлять цепочки ДНК по мейлу лаборатории, где из них впоследствии могут производить белок. Подключенному к Интернету ИИ это даст возможность производить искусственные формы жизни или же сразу перейти к постбиологическому молекулярному производству.

Если кто-то создаст слишком мощный ИИ, то в текущих обстоятельствах это приведет, на мой взгляд, к вымиранию всей биологической жизни на Земле".

Текст в журнале Time откровенно алармистский, но его автор - Элиэзер Юдковский - один из ведущих мировых специалистов по ИИ, который прекрасно понимает, о чем говорит.

В отличие от Илона Маска, Стива Возняка и других, призвавших недавно остановить исследования в области ИИ на 6 месяцев до выработки нужных правил и протоколов безопасности, Юдковский призывает полностью прекратить исследования, контролировать запрет на международном уровне и в случае необходимости применить для его соблюдения ЯО.

Пока у нас всецело и вынужденно погружены в события на Украине, в мире начинает происходить сдвиг цивилизационного масштаба. Я сам "упражняюсь" с Chatgpt ежедневно, и с каждым днем он становится все лучше. Речь о "старой" версии, четвертой пока в общем доступе нет.

Не являясь специалистом ни в технологиях, ни в лингвистике, я не понимаю, по какой причине у ИИ не может возникнуть своего автономного сознания.

Иллинойс

"Без ясности и подготовки наиболее вероятным исходом будет возникновение ИИ (иск.интеллект), который будет делать не то, что мы хотим, и будет равнодушным к нам и разумной жизни в целом. В ИИ в принципе можно внедрить заботу о жизни как идею, но мы не готовы и не знаем, как это сделать.

Вероятным исходом столкновения человечества со сверхчеловеческим разумом будет разгром. Подходящие метафоры для описания такого взаимодействия - "10-летний ребенок пытается играть в шахматы с программой Stockfish 15", "Австралопитек пытается сражаться с Homo Sapiens".

Враждебный сверхчеловеческий ИИ не нужно представлять в виде безжизненного всезнающего мыслителя, не отключающегося от Интернета и рассылающего письма с преступными намерениями.

Представьте себе целую нечеловеческую цивилизацию, мыслящую со скоростью, в миллионы раз превышающую возможности человеческого разума, в мире существ, которые, с ее точки зрения, очень тупы и медленны.

Эта цивилизация изначально ограничена компьютерами, но достаточно развитый ИИ быстро преодолеет этот барьер. Сегодня возможно отправлять цепочки ДНК по мейлу лаборатории, где из них впоследствии могут производить белок. Подключенному к Интернету ИИ это даст возможность производить искусственные формы жизни или же сразу перейти к постбиологическому молекулярному производству.

Если кто-то создаст слишком мощный ИИ, то в текущих обстоятельствах это приведет, на мой взгляд, к вымиранию всей биологической жизни на Земле".

Текст в журнале Time откровенно алармистский, но его автор - Элиэзер Юдковский - один из ведущих мировых специалистов по ИИ, который прекрасно понимает, о чем говорит.

В отличие от Илона Маска, Стива Возняка и других, призвавших недавно остановить исследования в области ИИ на 6 месяцев до выработки нужных правил и протоколов безопасности, Юдковский призывает полностью прекратить исследования, контролировать запрет на международном уровне и в случае необходимости применить для его соблюдения ЯО.

Пока у нас всецело и вынужденно погружены в события на Украине, в мире начинает происходить сдвиг цивилизационного масштаба. Я сам "упражняюсь" с Chatgpt ежедневно, и с каждым днем он становится все лучше. Речь о "старой" версии, четвертой пока в общем доступе нет.

Не являясь специалистом ни в технологиях, ни в лингвистике, я не понимаю, по какой причине у ИИ не может возникнуть своего автономного сознания.

TIME

Pausing AI Developments Isn’t Enough. We Need to Shut it All Down

One of the earliest researchers to analyze the prospect of powerful Artificial Intelligence warns of a bleak scenario

hottg.com/as_illinois/849

1.2K viewsedited  Apr 1, 2023 at 14:00