«Ми побудуємо бункер»: як OpenAI стала заручником власного успіху — колонка The Atlantic

У 2023–2024 роках OpenAI стала синонімом проривного ШІ. Але разом із розвитком технологій почали з’являтися і внутрішні суперечності. Компанію залишили ключові люди, змінюються принципи, виникають нові команди. Журналістка The Atlantic Карен Хао розповідає, що відбувається всередині OpenAI, та чому це важливо не лише для Кремнієвої долини. Статтю українською мовою підготувало Бюро перекладів для бізнесу MK:translations. Ми публікуємо адаптований та скорочений переклад.

---

Улітку 2023 року Ілля Суцкевер, співзасновник і головний науковий співробітник OpenAI, зустрічався з групою нових дослідників. Здавалося б, за всіма класичними оцінками він мав почуватися непереможним: саме Суцкевер стояв за великими мовними моделями, що стали основою ChatGPT — застосунку, що встановив рекорд за темпами зростання. Вартість компанії значно злетіла, а OpenAI стала беззаперечним лідером галузі, яка формувала нову епоху для Кремнієвої долини. Але головний науковець, здавалося, переживав внутрішній конфлікт.

Суцкевер уже довгий час був переконаний, що штучний загальний інтелект (AGI) — це лише питання часу. А тепер, коли галузь генеративного штучного інтелекту стрімко набрала обертів, він вважав, що його поява вже не за горами. Про це свідчать слова Джоффа Гінтона — піонера в галузі AI, який був науковим керівником Суцкевера під час аспірантури, а також ще однією особою, знайомою з його поглядами. (Багато джерел у цій статті погодилися говорити лише на умовах анонімності, аби мати змогу вільно висловлюватися про OpenAI, не побоюючись наслідків).

Людям навколо здавалося, що Суцкевер цілком зосереджений на думках про майбутню трансформацію людства.

Яким стане світ, коли з’явиться надпотужний AGI, що перевершить людство? І яку відповідальність несе OpenAI, аби забезпечити світле майбутнє для людства, а не занурити його в морок?

Тоді Суцкевер, який раніше майже весь свій час присвячував розвитку можливостей штучного інтелекту, почав витрачати половину цього часу на питання безпеки AI. Для оточення він справляв враження людини, яка водночас захоплена й глибоко стурбована тим, що насувається. Того дня, під час зустрічі з новими дослідниками, він запропонував свій план.

«Щойно ми всі опинимося в бункері…», — почав він, за словами одного з дослідників, присутнього на зустрічі.

«Перепрошую, — перепитав один із дослідників. — У бункері?».

«Ми обов’язково спорудимо бункер, перш ніж запустимо AGI», — відповів Суцкевер. Така потужна технологія, без сумніву, стане об’єктом шаленого інтересу з боку урядів усього світу. А отже, науковців, які працюють над її створенням, потрібно буде захистити. «Звісно, — додав він, — чи заходити в бункер, вирішуватиме кожен для себе».

Ще двоє співрозмовників підтвердили, що Суцкевер неодноразово згадував про такий бункер. «Є група людей — і Ілля серед них — які вірять, що створення AGI принесе щось на кшталт “переходу до нового буття”», — сказав мені один із дослідників. У буквальному сенсі — вознесіння. (Суцкевер відмовився коментувати цю історію).

Його страхи щодо всемогутнього штучного інтелекту можуть здатися надмірними, але вони аж ніяк не були унікальними й загалом відповідали риториці OpenAI на той момент. У травні 2023 року генеральний директор компанії Сем Альтман підписав відкритий лист, в якому технологія описувалась як потенційна загроза зникнення людства — наратив, який, без сумніву, допоміг OpenAI зайняти центральне місце в дискусіях про регулювання ШІ. Однак страх перед апокаліпсисом доводилося поєднувати з бізнес-реальністю: ChatGPT став сенсацією, і Альтман хотів ще більшого.

Із самого початку OpenAI поставила собі за мету створення AGI на користь людства. Для цього співзасновники — серед яких були Сем Альтман та Ілон Маск — організували компанію як некомерційну структуру й пообіцяли ділитися дослідженнями з іншими установами. Демократична участь у розвитку технології була ключовим принципом, і саме тому компанія отримала назву OpenAI.

Але коли я почала писати про OpenAI у 2019 році, ці принципи вже помітно почали втрачати сенс. Керівництво компанії зрозуміло: шлях, який вони обрали, вимагатиме колосального фінансування. І Маск, і Альтман намагались очолити компанію. Але переміг Альтман. Маск залишив компанію на початку 2018 року й забрав з собою інвестиції. Альтман, намагаючись компенсувати втрату фінансування, реорганізував юридичну модель OpenAI та заснував у її структурі «обмежено-прибуткову» гілку для залучення капіталу.

З того часу я досліджувала розвиток OpenAI, спілкуючись із більш ніж 90 співробітниками — як теперішніми, так і колишніми, серед яких були й топменеджери, і підрядники. Під час роботи над книгою, на основі якої створено цю статтю, компанія неодноразово відмовляла мені в інтерв’ю та ігнорувала запити. Вона не відповіла й на моє останнє звернення перед публікацією матеріалу. (OpenAI також має корпоративне партнерство з The Atlantic).

Суперечність між двома підходами в OpenAI — розвитком AGI із дотриманням принципів безпеки та комерційним масштабуванням продуктів — вибухнула наприкінці 2023 року. Глибоко стурбований напрямом, в якому Альтман вів компанію, Ілля Суцкевер звернувся до колег по раді директорів, зокрема до своєї колеги Міри Мураті, яка тоді обіймала посаду технічної директорки. Рада дійшла висновку, що Альтмана потрібно усунути з посади. Подальші події — звільнення Альтмана, а потім його стрімке повернення — сколихнули технологічну індустрію.

Відтоді вплив OpenAI й особисто Сема Альтмана на глобальні процеси лише зріс. Нещодавно компанія оголосила про запуск ініціативи OpenAI for Countries, що передбачала ключову роль OpenAI у розвитку AI-інфраструктури поза межами США. Альтман тим часом став союзником адміністрації Трампа: з’явився на заході за участю представників Саудівської Аравії, а в січні — на сцені разом із президентом, щоб оголосити про запуск проєкту зі створення AI-інфраструктури вартістю $500 млрд.

Швидке падіння й ще стрімкіше повернення Альтмана до влади є визначальним для розуміння нинішнього становища OpenAI в критичний момент розвитку ШІ. У попередніх матеріалах про цей інцидент бракувало деталей — зокрема тих, що проливають світло на позиції Іллі Суцкевера й Міри Мураті, а також на реакцію рядових працівників. У цій статті вони вперше подаються публічно — на основі свідчень понад десятка людей, які або брали безпосередню участь у подіях, або були в тісному контакті з учасниками, а також на підставі їхніх нотаток того часу, скриншотів зі Slack, електронної пошти, аудіозаписів та інших доказових матеріалів.

Альтруїстичної OpenAI більше не існує — якщо вона взагалі коли-небудь існувала. То яке майбутнє будує ця компанія зараз?

За словами джерел, до запуску ChatGPT Альтман зазвичай справляв враження енергійної людини. Тепер же він часто здавався виснаженим. Його стрімка поява в зірковому статусі супроводжувалася пильною увагою з боку суспільства й безперервними подорожами. Тим часом Google, Meta, Anthropic, Perplexity та інші активно працювали над власними генеративними AI-продуктами, щоб конкурувати з чат-ботом OpenAI.

Найближчі до Альтмана керівники неодноразово відзначали одну закономірність: якщо дві команди мали розбіжності, він, як правило, у приватних розмовах підтримував і тих, і інших, що дезорієнтувало й підривало довіру в колективі. Водночас із дедалі агресивнішими вимогами до темпів випуску продуктів, Альтман не соромився обговорювати підлеглих за їхньою спиною. Лідери команд, копіюючи його стиль, почали підбурювати працівників однієї команди до агресії щодо іншої.

За словами джерел, Ґреґ Брокман — ще один зі співзасновників OpenAI і чинний президент компанії — ускладнював ситуацію, коли несподівано втручався в проєкти й руйнував довгострокові плани своїми змінами в останню мить.

Атмосфера всередині OpenAI змінювалася. Раніше Ілля Суцкевер намагався об’єднати працівників навколо спільної мети. Співробітники вважали його не лише глибоким мислителем, а й певною мірою містиком: він регулярно використовував духовну лексику. На роботу приходив у футболках із зображеннями тварин — пухнаста кішка, пухнасті альпаки, навіть пухнастий дракон, що дихає вогнем. В офісі висіла одна з його аматорських картин — три квітки, що утворювали логотип OpenAI. Вона уособлювала ідею, яку він завжди просував: «Безліч AGI, сповнених любові до людства».

Але вже в середині 2023 року — приблизно тоді, коли він почав частіше говорити про ідею бункера — Суцкевер, за словами джерел, які добре знали його погляди, переймався не лише можливими катастрофічними наслідками AGI та суперінтелекту, його турбувала вже інша річ — втрата віри, що OpenAI зможе зберегти темпи розвитку технологій, необхідних для створення AGI, і впоратися з цією відповідальністю під керівництвом Альтмана. Суцкевер, як стверджують джерела, вважав, що стиль управління Альтмана руйнує два опорні принципи OpenAI: уповільнює наукові дослідження і нівелює шанси на ухвалення обґрунтованих рішень у сфері безпеки ШІ.

У той час Міра Мураті намагалася тримати ситуацію під контролем. Вона завжди відігравала роль перекладачки та посередниці між Альтманом і командами. Якщо він змінював стратегічний курс — вона впроваджувала новий напрям. Якщо певна команда хотіла оскаржити його рішення — вона ставала на її бік. Коли працівники втрачали терпіння через те, що не могли отримати чіткої відповіді від Альтмана, вони йшли до неї. «Вона була тією, хто реально щось робив», — сказав мені один з її колишніх колег. (Сама Мураті відмовилась від коментарів).

Під час розробки GPT-4, як повідомили джерела, напружені стосунки між Альтманом і Брокманом мало не змусили провідних фахівців залишити компанію. Альтман, здавалося, намагався обійти внутрішні процедури безпеки заради швидшого запуску. В якийсь момент, за словами джерел, він заявив Мірі Мураті, що юридичний відділ OpenAI нібито вже схвалив модель GPT-4 Turbo, тож її можна не передавати на розгляд Комітету з безпеки впровадження (DSB) — спільної структури OpenAI та Microsoft, що оцінює готовність найбільш потужних моделей до випуску. Але коли Мураті звернулася до Джейсона Квона, який очолює юридичний підрозділ, той узагалі не знав, звідки Альтман взяв цю інформацію.

Влітку Міра Мураті намагалася надати Альтману розгорнутий зворотний зв’язок стосовно наявних проблем, — про це повідомили кілька джерел. Але спроба провалилася. Генеральний директор проігнорував її, і лише за кілька тижнів взаємини почали поступово відновлюватися.

Восени й Суцкевер, і Мураті дійшли однакового висновку. Незалежно одне від одного вони звернулися до трьох членів ради директорів, які не були співробітниками OpenAI:

• Гелен Тонер — директорки Центру безпеки та новітніх технологій Джорджтаунського університету;
• Таші МакКолі — робототехніки;
• Адама Д’Анджело — співзасновника й генерального директора Quora.

Усі вони висловили серйозні занепокоєння щодо стилю керівництва Альтмана. «Не думаю, що саме Сем має контролювати запуск AGI», — сказав Суцкевер під час однієї з таких зустрічей, згідно з нотатками, які я переглянула. «Я не відчуваю себе в безпеці, коли саме Сем веде нас до AGI», — зазначила Мураті на іншій зустрічі, за словами джерел, знайомих зі змістом розмови.

Той факт, що і Суцкевер, і Мураті були єдині у своїй критиці, сильно вплинув на Тонер, МакКолі й Д’Анджело. За словами обізнаних джерел, вони також майже рік обмірковували власні серйозні побоювання щодо Альтмана.

Серед численних причин занепокоєння була й та, що вони випадково дізналися: Альтман приховував від них низку важливих фактів — від порушення процедур DSB до юридичної структури OpenAI Startup Fund — інвестиційного механізму, який мав належати компанії, але фактично був записаний на самого Альтмана.

Якщо двоє з найвищих за рангом заступників Альтмана почали бити на сполох, у ради був серйозний привід для дій. І, як зазначають джерела, Суцкевер і Мураті були не першими, хто висловлював подібні застереження. Загалом ці троє незалежних директорів раніше вже чули схожі сигнали принаймні ще від п’яти людей, що працювали безпосередньо з Альтманом або на один-два щаблі нижче. Наприкінці жовтня Тонер, МакКолі та Д’Анджело почали майже щодня збиратися на відеозустрічі. Вони погодилися: зауваження Суцкевера й Мураті щодо Альтмана — а особливо пропозиція Суцкевера звільнити його — потребують серйозного обговорення.

Поки тривали обговорення, Суцкевер надіслав їм підготовлені разом із Мураті матеріали — досьє з документами й скриншотами, що ілюстрували дії Альтмана. Серед знімків були повідомлення щонайменше двох інших керівників, які відзначали схильність Альтмана обходити або ігнорувати встановлені процедури — незалежно від того, чи були вони запроваджені з міркувань безпеки ШІ, чи для стабільної роботи компанії. Серед іншого, директори дізналися і про спробу Альтмана обійти перевірку GPT-4 Turbo комітетом DSB.

У суботу, 11 листопада, незалежні члени ради ухвалили рішення. Як і запропонував Суцкевер, Альтмана вирішили звільнити, а на посаду тимчасового генерального директора призначити Міру Мураті. 17 листопада 2023 року, близько полудня за тихоокеанським часом, Суцкевер офіційно повідомив Альтмана про його звільнення під час зустрічі в Google Meet за участі трьох незалежних директорів. Потім він провів окрему зустріч із Ґреґом Брокманом, де повідомив, що той більше не входить до ради директорів, але зберігає свою роль у компанії. Публічне повідомлення було оприлюднено негайно.

На коротку мить майбутнє OpenAI здавалося відкритим питанням. Компанія могла змінити курс, відійти від агресивної комерціалізації й впливу Альтмана, але цього не сталося.

Після кількох годин, які нагадували спокій і стабільність (Мураті навіть провела продуктивну розмову з Microsoft — найбільшим інвестором OpenAI на той момент), вона несподівано зателефонувала членам ради з новою проблемою. За її словами, Альтман і Брокман почали поширювати інформацію про те, що звільнення Альтмана — це переворот, який влаштував Суцкевер.

Ситуацію погіршив і виступ Суцкевера на зустрічі співробітників компанії з відповідями на запитання працівників — він виявився абсолютно неефективним у своїй комунікації.

«Чи був якийсь конкретний інцидент, що призвів до цього?», — зачитала Мураті одне з питань, надісланих співробітниками, згідно з аудіозаписом зустрічі, який я отримала.

Суцкевер відповів: «Багато з питань у цьому документі стосуються деталей: що, коли, як, хто саме. Мені б хотілося розповісти все, але я не можу».

Пізніше він зачитав ще одне запитання від співробітників: «Чи є підстави хвилюватися щодо ворожого захоплення компанії через тиск на нинішніх членів ради директорів?».

«Вороже захоплення?», — перепитав Суцкевер, і в його голосі з’явилися нові, жорсткі нотки. «Рада некомерційної OpenAI діяла повністю відповідно до своєї місії. Це не ворожий переворот. Зовсім ні. Я не погоджуюся з цим питанням».

Невдовзі після цього решта членів ради, включно з самим Суцкевером, зіткнулися з розлюченим керівництвом під час відеодзвінка. Як повідомляють джерела, присутні на зустрічі, керівник стратегічного розвитку Джейсон Квон і віцепрезидентка з глобальних питань Анна Маканджу очолили опір, заперечуючи оцінку поведінки Альтмана як «не завжди відвертої». Вони зажадали доказів, які підтвердили б рішення ради. Але, за словами інформованих джерел, члени ради не могли їх надати — без того, щоб прямо викрити Мураті як джерело.

Протягом того самого дня події почали розгортатися досить стрімко. На знак протесту подав у відставку Ґреґ Брокман. За ним — ще троє провідних дослідників. Протягом вечора напруга лише зростала. Співробітники були дедалі розлюченіші через цілу низку факторів: нестача чітких пояснень від ради щодо причин звільнення Альтмана; ризик втрати тендерної пропозиції, яка дозволяла частині працівників продати свої акції на мільйони доларів; і страх, що нестабільність може призвести до краху компанії, внаслідок чого буде змарновано стільки обіцянок і важкої роботи.

Перед загрозою розпаду OpenAI Суцкевер почав втрачати впевненість у своїй позиції. OpenAI була його творінням, його сенсом життя; її крах знищив би його. Він почав благати інших членів ради переглянути своє рішення щодо Альтмана.

Тим часом і позиція Мураті як тимчасової CEO опинилася під загрозою. Вогонь, який спалахнув усередині компанії, поширювався на дедалі ширше коло інвесторів. Сама Мураті більше не була готова відкрито підтримувати рішення ради про звільнення Альтмана. Попри те, що її зворотний зв’язок сприяв ухваленню цього кроку, вона особисто не брала участі в обговореннях.

До ранку понеділка все стало ясно: рада програла. І Мураті, і Суцкевер змінили позицію. Альтман мав повернутися — інакше врятувати OpenAI було неможливо.

Тоді я вже працювала над книжкою про OpenAI, і впродовж тижнів після кризи в раді директорів друзі, родичі й журналісти десятки разів ставили мені одне й те саме запитання: «Що це все означає — якщо взагалі щось означає?» Усе, що сталося, вкотре змусило мене замислитися: ми досі не маємо відповіді на головне запитання покоління — як управляти ШІ? Оскільки ШІ стрімко змінює багато ключових сфер суспільства, це питання насправді зводиться до іншого: як гарантувати, що ми створимо краще майбутнє, а не гірше?

Події листопада 2023 року яскраво продемонстрували, наскільки боротьба за владу між невеликою групою еліт Кремнієвої долини сьогодні формує майбутнє цієї технології. І якщо поглянути на результати такого централізованого підходу до розвитку ШІ — картина виглядає вкрай тривожною.

OpenAI нині є втіленням усього того, проти чого вона раніше публічно виступала.

По суті, це вже не некомерційна організація, а бізнес-структура, що агресивно комерціалізує продукти на кшталт ChatGPT і прагне до рекордної оцінки капіталізації. Компанія стала дедалі закритішою — вона не лише закрила доступ до своїх досліджень, а й змінила стандарти в індустрії, відмовившись від публікації важливих технічних даних про моделі штучного інтелекту. У прагненні до абстрактної мети «прогресу» її тиск на межі масштабів фактично змінив правила гри в новій ері розвитку ШІ.

Кожен технологічний гігант сьогодні намагається перевершити інших у масштабах, витрачаючи такі шалені бюджети, що навіть їм доводиться перерозподіляти й концентрувати ресурси. Те, що колись здавалося безпрецедентним, тепер стало нормою.

Внаслідок цього ШІ-компанії досягли безпрецедентного рівня фінансового зростання. У березні OpenAI залучила $40 млн — це найбільший раунд приватного фінансування в історії технологічного сектору. Її ринкова оцінка сягнула $300 млрд. Компанію Anthropic оцінили в понад $60 млрд. Наприкінці минулого року шість найбільших технологічних гігантів світу разом додали понад $8 трлн до своєї капіталізації — після появи ChatGPT.

Водночас виникає дедалі більше сумнівів щодо реальної економічної цінності генеративного ШІ. Зростає кількість досліджень, які показують, що ця технологія не призводить до зростання продуктивності більшості працівників — натомість вона навіть послаблює їхні навички критичного мислення.

У листопаді 2023 року в статті Bloomberg, присвяченій аналізу сфери генеративного ШІ, журналістки Пармі Олсон та Керолін Сільверман влучно описали загальну ситуацію. У матеріалі йшлося: «Ці дані наводять на тривожну думку: можливо, ця нібито революційна технологія так і не виконає свою обіцянку радикально змінити економіку, а натомість просто ще більше сконцентрує багатство в руках обраних».

Але проблема — не лише у відсутності приросту продуктивності, яку вже відчуває більшість світу. Людські та матеріальні витрати, що стрімко зростають, лягають тягарем на широкі верстви суспільства — особливо на найуразливіших. Я зустрічала цих людей у різних куточках світу: робітників і жителів сільської місцевості в глобальній Півночі, представників бідних громад у глобальному Півдні — усі вони опинилися в новій, ще глибшій нестабільності.

У Кенії працівники за символічну оплату займалися видаленням насильницького контенту та мови ворожнечі з систем OpenAI, зокрема ChatGPT. Митці втратили роботу через ті самі моделі штучного інтелекту, які були навчені на їхніх роботах — без їхнього дозволу та без жодної компенсації. Сфера журналістики слабшає, адже генеративний ШІ продукує лавини дезінформації. Просто на наших очах повторюється стара історія: як і давні імперії, нові імперії ШІ накопичують колосальні багатства — у просторі й часі, ціною всіх інших.

На тлі зростання сумнівів у нинішній ефективності генеративного ШІ, Альтман все частіше апелює до обіцянок AGI у майбутньому. У вересневому блозі 2024 року він заявив, що невдовзі настане «Епоха інтелекту» — з масовим добробутом. Але насправді AGI на цьому етапі — здебільшого риторичний трюк: фантастичне виправдання, яке дозволяє OpenAI продовжувати гонитву за ще більшою владою й прибутками. Під прикриттям «цивілізаційної місії» імперія штучного інтелекту стрімко розширюється та закріплює свій вплив.

Що ж до Суцкевера й Мураті, обидва залишили OpenAI після подій, які співробітники тепер називають «Збоєм» (The Blip). Вони поповнили довгий список керівників, які пішли після конфліктів з Альтманом. І, як багато інших, хто не зміг реформувати OpenAI зсередини, вони обрали другий найпопулярніший варіант: створити власні компанії, щоб боротися за майбутнє цієї технології.

Реклама у Vector

Знайшли помилку? Виділіть її і натисніть Ctrl+Enter