Создатель ChatGPT мог стать жертвой сектантов, ждущих конца света из-за ИИ. Почему им верят миллиардеры и ученые?

Умы разработчиков искусственного интеллекта и крупнейших инвесторов, ворочающих миллиардами долларов, захватили две странные секты. Именно их вражда, судя по всему, и привела к драматичным событиям вокруг компании OpenAI, которая разрабатывает ChatGPT. Последователи одной из этих идеологий верят, что миру скоро придет конец, и призывают американские власти бомбить иностранные дата-центры. Другие приветствуют грядущий апокалипсис и просят не медлить с ним. И у тех, и у других есть влиятельные сторонники. Издание Slate называет произошедшее «первой схваткой в войне за ИИ».

В пятницу, 17 ноября, совет директоров OpenAI сместил Сэма Альтмана, который был главой компании и одним из ее основателей. Решение было принято очень быстро и без предупреждения: о нем до последней минуты не знали ни Альтман, ни крупные инвесторы, ни даже руководство Microsoft — технологического гиганта, который владеет 49 процентами акций OpenAI.

Не менее странным было официальное сообщение об увольнении Альтмана. Совет директоров напрямую обвинил бывшего руководителя во лжи. Настолько агрессивные формулировки — большая редкость даже в тех случаях, когда топ-менеджеров отстраняют за уголовные преступления. О чем именно лгал Альтман, не уточнялось.

Мира Мурати и Сэм Альтман

Фото: Barbara Ortutay / AP

Место Альтмана временно заняла Мира Мурати, которая до этого была техническим директором OpenAI. Все выходные совет директоров OpenAI вел переговоры с инвесторами. В воскресенье власть снова сменилась, и временным директором стал аутсайдер — глава видеосервиса Twitch Эммет Шир. Тем временем Альтман, его ближайший соратник Грег Брокман и несколько ведущих разработчиков сообщили, что переходят на работу в Microsoft.

зарабатывают рядовые сотрудники OpenAI

В понедельник произошло еще одно небывалое событие: 700 из 770 сотрудников объявили совету директоров ультиматум. Они потребовали вернуть Альтмана и пообещали уйти из компании, если этого не произойдет. Среди подписавших открытое письмо среди прочих были Мира Мурати и даже научный директор OpenAI Илья Суцкевер — непосредственный участник и, по неофициальной информации, инициатор увольнения Альтмана.

Во вторник вечером Альтман согласился вернуться в OpenAI, а совет директоров объявил об отставке.

Компания OpenAI считается важнейшей компанией в области искусственного интеллекта. Среди прочего она разрабатывает большую языковую модель GPT, сервис ChatGPT, позволяющий общаться с GPT в режиме чата, и сервис Dalle, генерирующий изображения по текстовому описанию. Однако у нее всегда была более амбициозная цель — создание универсального искусственного интеллекта (УИИ), который превосходит интеллект человека.

Несколько лет назад универсальный искусственный интеллект казался далекой и почти недостижимой целью. Основатели OpenAI полагали, что в обозримом будущем их исследования будут убыточными, поэтому компанию оформили как некоммерческую организацию. Неожиданный успех ChatGPT показал, как они ошибались.

После запуска ChatGPT появился ясный путь к доходам и прибыли. Трудно объяснить, зачем нужно быть идеалистической исследовательской лабораторией, когда есть клиенты, которые хотели результата здесь и сейчас

Как утверждают инсайдеры, такие темпы изменений настораживали даже создателя GPT Илью Суцкевера. Он искренне верил в необходимость создания сверхчеловеческого интеллекта и, как пишет The Atlantic, превратился в своеобразного духовного лидера, ведущего компанию к этой цели. The Atlantic пишет, что в 2022 году Суцкевер на праздничной вечеринке принялся скандировать свой девиз: «Чувствуй УИИ, чувствуй УИИ, чувствуй УИИ!». Вскоре к нему присоединились сотни сотрудников и принялись повторять эту фразу за ним.

Илья Суцкевер

Фото: Amir Cohen / Reuters

Проблема заключалась в том, что в последнее время технологии OpenAI совершенствовались слишком быстро, а коммерциализация, сторонником которой был Альтман, не позволяла сделать паузу и разобраться, к чему это может привести. Судя по всему, последней каплей стал алгоритм Q*, разработанный в компании. По сообщению Reuters, он якобы оказался значительно эффективнее, чем ожидалось, и заметно повысил шансы на скорое появление универсального искусственного интеллекта.

В ноябре разработчики Q* предупредили совет директоров компании о возможной угрозе, которую представляет этот алгоритм. Через несколько дней Альтмана уволили.

Суцкевер, как и многие люди, причастные к разработке подобных технологий, всерьез считают, что искусственный интеллект, превосходящий возможности человека, может представлять опасность. В OpenAI надеялись, что с этой опасностью можно справиться при помощи регулирования (alignment) — встроенных предохранителей, которые препятствуют намерениям искусственного интеллекта расходиться с намерением человека.

Как пишет The Atlantic, однажды на встрече руководства компании Суцкевер торжественно сжег чучело «нерегулируемого» искусственного интеллекта, который по его заказу сделала местная художница

Однако если искусственный интеллект развивается слишком быстро, то никакие предохранители за ним не поспеют. Именно такой ситуации опасался Суцкевер. Летом он, как и другие видные исследователи искусственного интеллекта и предприниматели, выступили с заявлением, которое призывало относиться к рискам, связанным с ИИ, с не меньшей серьезностью, чем к ядерной или биологической угрозе.

Элиезер Юдковский

Кадр: TED / Youtube

Самым радикальным и в то же время влиятельным сторонником этой позиции считается создатель Исследовательского института машинного интеллекта Элиезер Юдковский — в России он более известен в качестве автора книги «Гарри Поттер и методы рационального мышления». Юдковский полагает, что сверхчеловеческий искусственный интеллект представляет собой экзистенциальную угрозу для человечества.

Если кто-то построит искусственный интеллект, которому хватает мощности для того, чтобы стать опасным и уничтожить всех, он неизбежно что-нибудь напортачит, и мы все умрем. В реальности все обычно именно так и бывает

Юдковский считает, что нужно немедленно остановить не только OpenAI, но и любые исследования в области искусственного интеллекта в принципе. В колонке для журнала Time он призывает власти не останавливаться ни перед чем. Для обучения искусственного интеллекта требуются видеокарты? Значит, за незаконное владение видеокартами надо сурово наказывать.

Соединенным Штатам, по мнению Юдковского, следует быть готовым к тому, что в других странах, которые нарушают этот запрет, придется бомбить дата-центры. Если потребуется, можно развязать атомную войну. Ее, как он думает, можно пережить, а искусственный интеллект — нет.

Рассуждения Юдковского радикальны, но в Кремниевой долине к ним прислушиваются. Людей с похожими взглядами хватало даже в OpenAI. В частности, Юдковский лично знаком с временным директором OpenAI Эмметом Широм и даже упоминает его в своем «Гарри Поттере и методах рационального мышления»: он фигурирует в книге в качестве ловца команды Гриффиндора, который свалился с неисправной метлы и пропал во время своей второй игры.

Шир открыто признавал, что относит себя к «думерам», иными словами — придерживается тех же апокалиптических взглядов, что и Юдковский, хотя и в более мягкой форме. Он не требует полной остановки исследований, но призывает существенно понизить их темпы. «Если сейчас скорость 10, а пауза — это нулевая скорость, то, по-моему, нам следует стремиться к скорости 1-2», — писал он в Twitter.

Сторонники Юдковского сравнивают искусственный интеллект с шогготом — непостижимым лавкрафтовским чудовищем, которое абсолютно чуждо людям. А регулирование, на котором настаивал Суцкевер, по их мнению, — лишь жалкая маска, которая прикрывает его истинную сущность

Еще несколько членов совета директоров OpenAI считаются горячими сторонниками новомодной идеологии «эффективного альтруизма». Согласно ей, ради блага большого числа людей вполне допустимо причинять кому-то вред. Иными словами, цель оправдывает средства, а интересы коллектива всегда важнее индивидуальных. И одна из целей, в крайнюю важность которой верят сторонники «эффективного альтруизма», — это предотвращение угрозы искусственного интеллекта.

В совете директоров OpenAI явные связи с «эффективным альтруизмом» имелись у Хелен Тонер из Центра по безопасности и новым технологиям Джорджтаунского университета и оксфордского Центра по управлению ИИ, представляющего собой филиал Центра эффективного альтруизма. Другой эффективной альтруисткой из OpenAI была Таша Макколи, работающая в исследовательском центре RAND Corporation. И она, и Тонер, по слухам, также имели связи в спецслужбах.

Большая языковая модель как шоггот с маской человека

Скриншот: @anthrupad

После увольнения Альтмана многие инвесторы винили в случившемся именно «эффективный альтруизм» и «думеров». Журнал Wired цитирует анонимного инвестора, который признался, что совет директоров компании всегда вызывал у него опасения, но, по его словам, он совершенно не ожидал, что они окажутся активистами, готовыми разрушить все за идею.

Еще сильнее выразился авторитетный инвестор Винод Хосла. «Религия эффективного альтруизма, которую исповедуют члены совета директоров OpenAI, и ее неверное применение создала препятствие на движении мира к потрясающим выгодам искусственного интеллекта», — написал он в издании The information.

Против «думеров» выступает другая фракция, которая в пику эффективным альтруистам называет себя эффективными акселерационистами — сокращенно «e/acc». Они считают себя выразителями мнения технарей, которых утомили дилетанты, вмешивающиеся не в свое дело и насаждающие ложные идеи об этике и всеобщем благе.

Самые видные фигуры этого движения — анонимы с издевательскими псевдонимами, которые разговаривают языком мемов и имиджбордов. Несмотря на это, им удалось привлечь массу последователей: их поддерживают, в частности, бывший глава Google Эрик Шмидт и крупный инвестор Марк Андриссен, когда-то разработавший первый популярный браузер. После увольнения Альтмана он разразился в X (Twitter) тирадой, обвиняя в случившемся «думеров» и «децелов».

Марк Андриссен

Фото: Mike Segar / Reuters

Эффективные акселерационисты верят, что развитие искусственного интеллекта нужно не замедлять, а наоборот ускорить — даже если это погубит мир.

Вот суть эффективного акселерационизма в двух словах. Хватит бороться с термодинамической волей вселенной. Ускорение не остановить. Смиритесь с этим и ускоряйтесь

Как объясняет один из идеологов e/acc, использующий псевдоним Бефф Джезос, акселерационисты не питают особенно теплых чувств к «биологическому субстрату для интеллекта и жизни». Если ради построения утопии нужно уничтожить человечество — значит, нужно его уничтожить. «Помогите спустить это чудовище с цепи или отойдите в сторону», — пишет он.