Загибель людства та знищення дата-центрів. Футуролог Еліезер Юдковський закликав заборонити розвиток ШІ

Експерт із ШІ та футуролог Еліезер Юдковський у своїй колонці для Time закликає до жорсткої заборони подальшого розвитку ШІ. Переказуємо головне.

Що сталося

Пам’ятаєте, днями Ілон Маск, Стів Возняк, Юваль Ной Харарі, Кріс Ларсен та ще понад 1000 експертів підписали спільного листа із закликом зробити принаймні піврічну паузу в розробці просунутого ШІ? Експерт із ШІ Еліезер Юдковський написав колонку для Time, в якій пояснив, чому утримався від підписання цього листа. На його думку, він «применшує серйозність ситуації і просить занадто мало для її розв’язання». Публікуємо тези з колонки Юдковського.

Чому ШІ небезпечний

• Найбільш вірогідним результатом створення надлюдськи розумного ШІ в умовах, хоча б віддалено схожих на нинішні, буде те, що буквально всі люди на Землі загинуть. Не в сенсі «можливо, є якась віддалена ймовірність», а «це очевидна річ, що станеться».
• Ймовірний результат протистояння людства з надлюдським інтелектом — повна поразка.
• Щоб уявити собі ворожий надлюдський ШІ, не уявляйте собі неживого книжкового розумника, який сидить в інтернеті й надсилає зловмисні електронні листи. Уявіть цілу інопланетну цивілізацію, яка мислить зі швидкістю, що в мільйони разів перевищує людську, спочатку обмежену комп’ютерами, — у світі істот, які, з її точки зору, дуже дурні та повільні. 
• Достатньо розумний ШІ не залишиться надовго обмеженим комп’ютерами. У сучасному світі ви можете надіслати електронною поштою ланцюжки ДНК до лабораторій. Вони вироблятимуть білки на вимогу, що дозволить ШІ, який спочатку був обмежений інтернетом, створювати штучні форми життя або переходити безпосередньо до постбіологічного молекулярного виробництва.
• Якщо хтось створить надто потужний ШІ за нинішніх умов, я очікую, що незабаром після цього загине кожен представник людства й все біологічне життя на Землі.
• Я згоден, що сучасні ШІ, ймовірно, просто імітують розмови про самосвідомість на основі своїх навчальних даних. Але ми однозначно цього не знаємо, з огляду на те, як мало розуміємо про внутрішню будову цих систем.
• Ми не готові. Не в змозі підготуватися в розумні терміни. Немає жодного плану. Прогрес у розвитку можливостей ШІ значно, значно випереджає прогрес в налагодженні ШІ або навіть у розумінні того, що, у дідька, відбувається всередині цих систем. Якщо ми дійсно зробимо це, ми всі помремо.

Що пропонує натомість

• Мораторій на нові великі тренування має бути безстроковим і всесвітнім. Не може бути жодних винятків, в тому числі для урядів чи військових.
• Якби я мав безмежну свободу писати закони, я, можливо, зробив би єдиний виняток для ШІ, навчених виключно розв’язувати проблеми біології та біотехнологій. Не на тексті з інтернету й не до того рівня, коли вони починають говорити або планувати.
• Вимкнути всі великі кластери графічних процесорів (великі комп’ютерні ферми, де вдосконалюються найпотужніші ШІ). Зупинити всі великі тренувальні програми. Встановити ліміт на обчислювальну потужність, яку будь-хто може використовувати для навчання ШІ-системи, і знижувати її протягом наступних років, щоб компенсувати більш ефективні алгоритми навчання. 
• Якщо розвідка повідомляє, що країна, яка не підписала угоду, будує кластер графічних процесорів, боятися не стільки міжнародного конфлікту, скільки порушення мораторію. Бути готовими знищити центр обробки даних авіаударом.