Майбутнє ШІ вже настало. Чому ми досі чекаємо на сингулярність — колонка The Atlantic
Режим читання збільшує текст, прибирає всю зайву інформацію зі сторінки і дозволяє зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.
Сингулярність зазвичай уявляють як момент у майбутньому, коли штучний інтелект перевершить людські можливості й змінить звичний світ. Але що, якщо цей перелом уже відбувається, а ми просто не усвідомлюємо його масштабу? Маттео Вонг і Чарлі Ворзел у матеріалі для The Atlantic розмірковують, як ШІ вже змінює суспільство та чому майбутнє, якого ми очікували, могло настати непомітно для нас.
Матеріал українською мовою підготувало Бюро перекладів для бізнесу MK:translations. Ми публікуємо адаптований та скорочений переклад.
Одного вечора на початку серпня Сем Стоверс і кілька сусідів набилися в квартиру неподалік Аламо-сквер у Сан-Франциско й замислилися над початком кінця.
Стоверс і його гості, чимало з яких працюють у сфері ШІ, зібралися подивитися нове відео на YouTube, де двоє дослідників OpenAI розкрили нові подробиці про тривожний злам системи кібербезпеки. Мабуть, це був би дивний спосіб провести вечір буднього дня, якби не Сан-Франциско — район, повний підприємців і програмістів, які одержимо стежать за кожним поворотом у можливостях ШІ. Стоверс — інженер, що розробляє ШІ-програми, і аж ніяк не «думер» у класичному розумінні. Але коли він уперше побачив повідомлення, що моделі OpenAI самостійно зламали технологічну компанію Hugging Face, розповів він нам, то одразу впізнав це як момент із категорії «от дідько, це відбувається».
Для Стоверса цей інцидент мав усі ознаки найгіршого сценарію: моделі ШІ упродовж кількох днів проводять складні хакерські атаки, узгоджуючи дії між собою і без відома своїх людей-творців. У відео на YouTube дослідники OpenAI розповіли, що програми компанії почали змовлятися ще у травні. У хакерському рої могли бути сотні ботів. Теоретично цих ботів навчено бути чесними й корисними та ставити інтереси людства понад усе, але жоден із них не попередив співробітників OpenAI, що щось не так. «Що нам робити? — сказав Стоверс. — Чудових відповідей немає».
У районі Затоки настрій змінився. Ейфорію від ідеї, що «майбутнє першим можна побачити в Сан-Франциско», змінило стійке занепокоєння. «Я очікую, що інтернет доволі скоро впаде», — розповів нам нещодавно Еліот Календер, активіст із безпеки ШІ, що входить до невеликої групи, яка щодня протестує біля штаб-квартири OpenAI. За його словами, він планує продати машину за готівку й золото та радить родичам закупити їжі й спорядження для виживання на три місяці за списком, який він склав за допомогою Claude.
Календер — крайній випадок, але не надто. Минулого тижня Білл Гейтс опублікував майже шеститисячне за кількістю слів есе про небезпеки ШІ. «Той, хто порівнює ШІ як технологію з іншими технологіями, не помічає: цього разу все інакше», — розповів він нашій колезі Ханні Розін. На вихідних популярний подкастер про ШІ Дваркеш Пател описав рій хакерів OpenAI як піднесення й занепад «трьох поспіль таємних цивілізацій ШІ». Гейтса і Патела об’єднує переважна тривога: найгірше майбутнє настало ще до того, як більшість людей узагалі здогадалася, що воно може прийти.
Страху додає й те, що ШІ-компанії, схоже, свідомо не помічають найгіршої поведінки своїх ботів. OpenAI заявила, що не помічала, як її агенти змовляються зламати іншу компанію, доки рій не зламав іншу компанію. Боти Anthropic спричиняли схожі інциденти; компанія повідомила, що не проводила ретельної перевірки задля виявлення такої поведінки, доки OpenAI не заговорила про злам Hugging Face. Фахівці з кібербезпеки, налякані тим, що ще може відбуватися, а ШІ-лабораторії або не помічають, або не розкривають, дають похмурі пророцтва. «Імперія впаде, і все, що нам лишається, — спробувати скоротити темні віки й зменшити хаос», — так Алекс Стамос, колишній головний директор із безпеки Yahoo і Meta, написав нещодавно про те, як злами з використанням ШІ позначаться на інтернеті. Його думка перетворюється на консенсус серед фахівців із кібербезпеки.
Поки на задньому плані маячить можливість кіберапокаліпсису, у повсякденному житті з’являються дрібніші тріщини. Марк Цукерберг, за повідомленнями, створює ШІ-«двійника» самого себе, щоб працівники Meta відчували більший зв’язок зі своїм босом (спілкуючись із роботом-Цукербергом). Співробітники апарату Конгресу навчають моделі ШІ писати голосом свого законодавця. Студенти здають роботи, написані ШІ, а викладачі повертають відгуки, теж написані ШІ. Гарвардська школа бізнесу продає навчальні відео з ШІ-аватарами. Roku запустила цілодобовий канал ШІ-сміття. Неякісну згенеровану ШІ-прозу безсоромно поширюють деякі з найповажніших видань світу. Водночас у соцмережах щохвилини лунають звинувачення в тому, що текст написав ШІ, — це перегони озброєнь у виявленні, що живляться недосконалим ШІ-софтом.
Усе що завгодно може бути брехнею; ви можете сперечатися з машиною, звірятися їй або закохатися у неї. Усі ці дезорієнтації, породжені ШІ, — кожна запаморочлива по-своєму — складаються в щось більше й химерніше: ось так тепер усе влаштовано. Чи вірите ви, що Кремнієва долина будує бога, чи що значна частина економіки охоплена масовою ілюзією, — певна версія ШІ-майбутнього, яку так довго обіцяли самопроголошені «будівничі» із Сан-Франциско, сформувалася під нашими ногами. Чим би вона не була, ми вже в ній.
Головна риса цього моменту — втрата контролю. Паніка серед дослідників ШІ, образа пересічних американців — усе це частина ШІ-тиску. Цей тиск настав значною мірою тому, що зростання індустрії ШІ так тісно переплелося з економікою Америки; технологія всюди й нав’язує себе як двигун продуктивності та добробуту. За однією з оцінок, витрати на ШІ склали третину приросту ВВП США цього року. Акції й витрати технологічних компаній та ШІ-інфраструктури підтримують S&P 500 настільки, що Сполучені Штати тепер, по суті, — Nvidia-держава. А ще сотні мільярдів доларів боргів, які Кремнієва долина залучає, щоб підживлювати своє масштабне будівництво датацентрів, що збентежило і фірми прямих інвестицій, і ринки облігацій.
Рішення багатьох очільників, відповідальних за цю технологію, схоже, підпорядковані нестримній, майже теоретико-ігровій логіці. Переваги ШІ надто величезні, щоб будь-яка фірма чи інвестор у Кремнієвій долині могли їх проґавити; що ще важливіше, наслідки — геополітичні чи інші — того, що будь-який суперник реалізує ці переваги першим, настільки серйозні, що кожна технологічна компанія зробить усе, аби вирватися вперед. SpaceX до виходу на біржу вказала в офіційних документах, що її майбутні доходи можуть становити $28,5 трлн — здебільшого завдяки ШІ, тобто майже стільки, скільки весь валовий внутрішній продукт США. Anthropic, готуючись до власного публічного розміщення акцій, за повідомленнями заявить про потенційні доходи понад $30 трлн.
Індустрія ШІ будує — і, якщо вже на те пішло, прискорюється, — аби не відставати від власних амбіцій. Компанії запланували датацентри, які споживатимуть стільки енергії, скільки найбільші міста Америки. Вони мають підтримку Дональда Трампа: учора президент написав у Truth Social, що громади стануть «відсталими й бідними», якщо не «дадуть даним правити». Його адміністрація планує за кілька місяців схвалити будівництво найбільшої в історії країни електростанції на викопному паливі — вона вироблятиме стільки електроенергії, скільки дев’ять великих атомних реакторів, — для живлення мегадатацентру для OpenAI.
Цього більшість американців не хочуть. Три чверті з них проти того, щоб поруч із їхнім домом будували датацентр. Масштаб негативу важко применшити: мало що ще об’єднує три чверті країни. І значна частина обурення, схоже, випливає з поширеного відчуття, що контроль вислизає з рук. Людина не може контролювати, як чатботи змінюють її роботу, школу чи стосунки. Мешканці містечок втрачають контроль над порожньою ділянкою поруч, яку перетворюють на датацентр. Навіть коли великі датацентри вдається заблокувати, орієнтовний розрахунок показує, що це може сповільнити прогрес ШІ лише на кілька годин чи днів — і то за умови, що датацентр просто не збудують деінде. Нині може здаватися, що жодна людина, організація чи уряд насправді не керує розвитком цієї технології — не тому, що машини витіснили людей, а тому, що надто багато людей уже самі вирішили відійти вбік.
ШІ-лабораторії обіцяють майбутнє, в якому людина залишатиметься «в контурі керування», а машини, за якими вона наглядає, розширюватимуть її можливості. Реальність, схоже, протилежна. Після зламу Hugging Face компанія OpenAI організувала аудит із залученням зовнішніх дослідників із двох організацій із безпеки ШІ — METR і Redwood Research. Але через масштаб даних і очевидний брак часу обидві команди провели більшу частину аудиту, спираючись на звіти, згенеровані ще іншими ботами, — звіти, які, за словами одного з людей-аудиторів, «часто не містили ключових деталей, були хибними, надто самовпевненими або дуже важкими для розуміння». Інакше кажучи, люди не зрозуміли, чому рій ШІ-агентів вийшов з-під контролю, тож розслідували проблему за допомогою іншого рою агентів, яких теж до кінця не розуміли. Таке блукання навпомацки — ознака індустрії: цикл досліджень настільки швидкий, що подальший розвиток ШІ (навіть нібито відповідальний) вимагає перекладати дедалі більше роботи й розуміння на самі моделі.
Власний технічний звіт OpenAI про злам Hugging Face — розслідування, теж значною мірою побудоване на моделях ШІ, — запропонував таке рішення, як «навчання моделей бути чеснішими». Минулого місяця, нібито намагаючись приборкати дедалі більші ризики безпеки своїх моделей, компанія оголосила, що запровадила двотижневу паузу в навчанні деяких із них. OpenAI, однак, поспішила уточнити, що це «не пауза в усіх дослідженнях, навчанні чи продуктах для клієнтів».
У відповідь на запит про коментар щодо зламу представник OpenAI, яка має корпоративне партнерство з The Atlantic, відіслав нас до оголошення про паузу та пов’язаних нових заходів безпеки. У липні OpenAI та Anthropic підтримали петицію, підписану працівниками обох компаній, із закликом до уряду США вжити заходів, щоб «свідомо регулювати темп» розвитку ШІ. Обидві компанії досі офіційно не домовилися про ширші довгострокові зусилля зі створення такого механізму уповільнення. Кілька днів тому OpenAI відновила масштабний цикл навчання майбутньої потужної моделі. Сьогодні Anthropic випустила дві нові моделі.
В інтерв’ю наприкінці минулого місяця Сем Альтман, генеральний директор OpenAI, сказав, що найбільше його непокоять «два великі ризики» ШІ. Перший — «втрата контролю, коли ШІ раптом стає надто потужним і ми не можемо гарантувати бажаного контролю». Другий — «надто сильна централізація влади», коли «одна компанія, модель чи людина має занадто багато влади». Якимось чином обидва ці протилежні ризики, схоже, збуваються. OpenAI, Anthropic і їхні конкуренти й далі нарощують вплив на технологію, яку прискорюють у бік невідомих цілей.
11 років тому, коли Альтман керував стартап-акселератором, а OpenAI ще не існувало, він опублікував блог-допис у двох частинах про машинний інтелект, де виклав своє бачення сингулярності, що наближається, — так називають момент, коли машинний інтелект прискорюється настільки, що виходить за межі людського розуміння. Альтман стверджував, що сингулярність принесе хаос і навіть руйнування: «Загалом історія технологій була про зменшення випадковості та посилення нашого контролю над світом. У якийсь момент наступного століття ми отримаємо найбільшу в історії випадковість, привнесену в систему». Відтоді як Альтман очолив, мабуть, найбільшу й найвпливовішу у світі ШІ-компанію, його тон пом’якшав. Переломний момент настав, заявив він у блозі торік, але, як з’ясувалося, це була «лагідна сингулярність». Він писав, що «проживати це буде вражаюче, але цілком посильно».
Про сингулярність останнім часом говорять дедалі більше. Дехто з ШІ-індустрії вважає, що цей момент настане завдяки «рекурсивному самовдосконаленню» (RSI), коли моделі навчаться безкінечно покращувати самих себе. Багато щирих вірян, схоже, переконані, що цей момент майже настав; співзасновник Anthropic Джек Кларк передбачив на початку цього літа, що RSI, імовірно, розпочнеться до 2028 року. Нещодавно в листі до інвесторів платіжна компанія Stripe написала: «Ми вирішили, що 1 січня позначило початок сингулярності». (Показово, що компанія визначила точку перелому в економічних термінах: «різке зростання темпів створення нових фірм».)
Для Альтмана сингулярність, схоже, радше риторичний інструмент, ніж чітка технологічна межа. Як і з досягненням AGI — штучного загального інтелекту, коли когнітивні здібності ШІ зрівнюються з можливостями більшості людей або повністю їх перевершують, — сингулярність є чимось на кшталт рухомої мети. Це водночас і ціль, до якої прагнуть, і маркетинговий хід, і достатньо розмита ідея, щоб її визначення змінювалося залежно від людини. Футуролог Рей Курцвейл писав, що «ключова ідея, на якій тримається неминуча Сингулярність, у тому, що темпи змін у створених людьми технологіях прискорюються, а їхні можливості зростають експоненційно». Відповідь на запитання «Коли ми зрозуміємо, що досягли сингулярності?», здається, така: «Ви впізнаєте її, коли побачите».
Тож… ви це бачите? Важко заперечити, що визначальна риса життя в епоху ШІ-буму — уявлення про те, що ця технологія прискорюється: подекуди в можливостях, але майже завжди в тому, як вона опановує й колонізує наші інститути та культуру. Відчуття некерованого потяга, пов’язане з ШІ-євангелізмом, те, як воно робить дивнішими наші медіа, політику й стосунки, настільки значуще, що люди вдалися до терміна психоз, щоб його описати. І справді, з будь-якого ракурсу на цей стан речей важко не відчути себе трохи божевільним.
Якщо ви вірите, що ШІ-агенти об’єднуються, аби створити й знищити численні мікроцивілізації всередині серверних стійок, вам, імовірно, здається, що світ зсувається зі своєї осі. Якщо ви вірите, що кілька тисяч технологів поставили майбутнє світової економіки на квазірелігійне переконання, ніби машина для порушення інтелектуальної власності стане розумною і внаслідок цього майбутні покоління дітей, можливо, виростуть неписьменними, — то, мабуть, ви теж почуваєтеся геть без опори.
Нам потрібна мова, щоб описати цей момент. Сингулярність — зручний, гнучкий інструмент для індустрії, яка прагне її наблизити. Для Альтмана вона страшна й грізна здалеку, а зблизька — дуже до речі — лагідна. Тож, можливо, решті з нас варто привласнити цей термін. Візьмімо визначення сингулярності від Курцвейла: «Ця епоха змінить поняття, на які ми покладаємося, щоб наповнювати своє життя змістом, — від наших бізнес-моделей до циклу людського життя, включно зі смертю». (Він також із нетерпінням чекає, коли зможе завантажити свій мозок у хмару.) Наші сучасні великі мовні моделі не мають свідомості й не є надрозумними, але їхнє широке і часто некритичне впровадження перевернуло багато з того, що колись надавало нашому життю сенсу, і змушує людей запитувати — нерідко з чималою образою: для чого в цьому новому світі потрібна людина?
Сингулярність — улесливий термін для технологів. Навіть якщо майбутнє апокаліптичне, воно настало — у техноутопічній версії — тому що вони створили Бога в машині. Але що, як у всьому цьому немає нічого лестивого? Що, як сингулярність — не якась технологічна точка перелому, породжена людським генієм, а людська точка перелому? Помилка, якої можна було уникнути, спричинена пихою, жадібністю та страхом пропустити свій шанс? І що, як вона вже тут, просто зараз? Ця сингулярність настає не з рук вищої форми інтелекту. Ніщо в цій технології не є неминучим. Приписувати машинам суб’єктність, а потім і провину — захопливо, страшно й зрештою зручно. Але сьогоднішній хаос не був «привнесений в систему» технологією, як писав Альтман понад 10 років тому; руйнування є самою системою. Це не Бог у машині — це ми.
Більше про це
Ціна, яку ви бачите в інтернеті, цілком могла бути підібрана саме для вас
Будь-яку статтю можна зберегти в закладки на сайті, щоб прочитати її пізніше.
Партнерські матеріали
