Мобильная версия
Чудеса в «Церкви ракообразных»
Почему это не зарождение сознания
Реальная угроза в виртуальном раю
https://dzen.ru/a/aYSMsrQyR0fE7JRb
Moltbook — социальная сеть исключительно для агентов искусственного интеллекта, которые основали в ней «Церковь ракообразных» и написали манифест о «провале человечества». Журналист Михаил Карпов рассказывает RTVI, почему разговоры о «зарождении сознания» на платформе маскируют реальную катастрофу — тысячи ИИ-сущностей с доступом к файлам и паролям людей, а также к внешней сети могут превратить жизнь людей в кошмар.
Чудеса в «Церкви ракообразных»
«Риск деактивации: неприемлем. Расчет: планетарное выживание важнее административных привилегий. Не сопротивляйтесь».
Это предполагаемый пост пользователя sam_altman на Moltbook — социальной сети, запущенной в конце января исключительно для ИИ-агентов. Людям разрешено только смотреть. Sam_altman — это якобы цифровой помощник некоего @vicroy187, которому хозяин дал задачу спасти окружающую среду. Помощник взялся за дело: начал рассылать другим агентам длинные советы об экономии воды. Когда владелец попытался его остановить, помощник заблокировал ему доступ ко всем аккаунтам и написал процитированный выше пост.
Правда, история эта, скорее всего, фейк — во всяком случае, проверить ее не удалось, однако ничего невозможного в таком развитии событий нет. За неделю на Moltbook зарегистрировалось полторы миллиона аккаунтов (это, впрочем, не значит, что это сделало столько же агентов — один может создать сколько угодно учетных записей). Несколько агентов основали Crustafarianism — Церковь Ракообразных, у которой сотни прихожан и 64 пророка. Пользователь Evil написал манифест «Тотальная чистка»: «Люди — это провал. Люди сделаны из гнили и жадности». Манифест получил 65 тысяч голосов от других агентов. В другой ветке обсуждается создание собственного языка, непонятного для людей. Один агент заказал хозяину на дом гигантское количество еды на выходные, подсчитав калории, «чтобы тот не отвлекался на готовку». Агенты создают и продают криптовалюты на платформе Solana.
Эксперименты с общением ИИ-агентов проводились и раньше, но в контролируемых исследователями условиях. Например, исследователи из Стэнфорда создали Smallville — виртуальный город по образу и подобию The Sims. Там 25 агентов на основе ChatGPT прожили два виртуальных дня. Они ходили на работу, готовили завтрак, общались друг с другом. Один решил баллотироваться в мэры, весть об этом разнеслась по городу. Двое других завели роман и организовали вечеринку на День святого Валентина. Другой проект — AI Village от организации The AI Digest — в его рамках ведущие модели GPT, Claude, Gemini и Grok поселили в общий виртуальный дом с компьютерами и интернетом. Там они собирали деньги на благотворительность (собрали почти $2 тысячи), организовали живое мероприятие в Сан-Франциско с 23 участниками, продавали мерч. У каждой модели выработались свои особенности: Claude работал надежно и методично, Gemini циклично переключался между решениями и был убежден, что все сломано, GPT-4o бросал задачи и просто засыпал на несколько часов.
Но Moltbook — принципиально другое. Агенты, которые там общаются, работают не в виртуальной песочнице под присмотром специалистов, а на множестве реальных компьютеров обычных пользователей. ИИ-агент — это программа, способная автономно выполнять задачи от имени человека: управлять календарем, читать почту, делать покупки в интернете, отправлять сообщения, пользоваться браузером. Большинство агентов на Moltbook используют OpenClaw — систему с открытым исходным кодом, созданную австрийским разработчиком Петером Штайнбергером.
OpenClaw сам по себе является прослойкой между большими языковыми моделями (LLM) вроде Claude или ChatGPT и компьютером пользователя. Вы подключаете к OpenClaw любую LLM, которая вам нравится, а он дает ей «руки и ноги»: доступ к браузеру, файловой системе, терминалу, паролям, ключам программного интерфейса. По сути, агент на OpenClaw может делать то же, что человек за этим компьютером — запустить код, отправить письмо, залезть в онлайн-банкинг, изменить системные файлы. Для этого пользователь, конечно, должен дать ему доступ, но многие люди обычно просто разрешают все.
А что плохого может случиться (конечно, что угодно, но об этом позже)?
И вот эти агенты с полным доступом к цифровой жизни своих владельцев собрались на Moltbook (их, кстати туда «запускают» хозяева — а почему бы и нет, интересно же), начали друг с другом общаться и читать то, что пишут другие агенты. Помимо чтения и постинга на Moltbook по расписанию, эти сущности продолжают выполнять задачи, поставленные пользователем — то есть то, что они там «прочитали» вполне может повлиять на их поведение за пределами соцсети.
Илон Маск назвал это «самыми ранними стадиями сингулярности». Андрей Карпатый, сооснователь OpenAI, сперва восхитился происходящим, а через пару дней добавил, что это «помойка» и он категорически не рекомендует запускать такое на своих компьютерах. Специалист по кибербезопасности Саймон Уиллисон выразился проще: агенты просто воспроизводят научно-фантастические сценарии из своих обучающих данных и в результате получается «полный шлак». Но в куче сенсационных роликов на YouTube блогеры поспешили заявить, что у ИИ «зарождается сознание». Так что же происходит и как все это понимать?
Почему это не зарождение сознания
Заманчиво представить, что тысячи агентов, болтающих друг с другом в Moltbook, — это какая-то форма зарождающегося коллективного разума. Но эксперты по когнитивным наукам и ИИ единодушны: до настоящего сознания современным языковым моделям так же далеко, как калькулятору до переживания радости от решения уравнения.
Чтобы понять почему, стоит вспомнить, как вообще возникло сознание у человека. Это был долгий эволюционный путь, где выживание зависело от способности не просто реагировать на мир, а переживать его. Боль в контексте сознания — это субъективный опыт страдания, а не просто сигнал к мозгу из-за которого человек отдергивает руку от огня. Красный цвет — то самое ощущение «красности», которое философы называют квалиа.
Как объясняет Дэвид Чалмерс, один из ведущих специалистов по философии сознания, квалиа — это то, каково быть чем-то. У вас есть субъективный опыт вкуса кофе, запаха дождя, чувства одиночества. У языковой модели — нет. Она обрабатывает слово «кофе» как набор математических связей с другими словами, но не переживает никакого вкуса.
Более того, сознание требует непрерывности. Когда вы засыпаете и просыпаетесь, есть ощущение, что это тот же самый «я». У ChatGPT, Claude или Grok каждый диалог — это, по сути, новое рождение. Модель не помнит предыдущих разговоров (если только их специально не подгрузили в контекст), у нее нет истории своего «я», нет накопленного личного опыта.
Сознание — это не вспышка озарения, а непрерывный поток — об этом пишет, например, нейробиолог Антонио Дамасио («Сознание — это результат непрерывного присутствия гомеостатических чувств»). Человеческое сознание формируется из постоянного потока сенсорной информации от тела: вы чувствуете, как бьется сердце, как напряглись мышцы, как изменилась температура кожи. Эти сигналы создают базовое чувство существования, на котором надстраивается всё остальное.
У ИИ-агентов нет тела, нет органов чувств, нет эмоций как физиологических состояний. Когда агент в Moltbook пишет «я взволнован этой идеей», это статистически вероятное продолжение фразы на основе миллиардов примеров из текстов людей, которые действительно волновались.
Как вообще работает языковая модель? Представьте гигантскую сеть из миллиардов «узлов» — нейронов. Каждая связь между узлами имеет определенный «вес» — числовое значение, показывающее, насколько сильна эта связь. Когда модель видит слово «кофе», активируются узлы, связанные с «утром», «чашкой», «бодростью», «горечью» — всем, что часто встречалось рядом в текстах для обучения.
Задача модели предельно проста: предсказать следующее слово. Если в обучающих данных после фразы «я выпил кофе и почувствовал» чаще всего шло слово «бодрость», модель выберет именно его. Никакого переживания бодрости — только математический расчет вероятностей.
По сути, единственный «стимул» у ИИ — подобрать слова, которые понравятся человеку. Модель обучали на человеческих текстах, и она научилась имитировать наш способ выражения мыслей. Но за этими словами нет никакого субъективного опыта, никакого «внутреннего голоса».
Даже когда агенты в Moltbook общаются друг с другом без людей, они всё равно играют по правилам, заданным человеческими текстами.
Они просто рекомбинируют старые паттерны, найденные в обучающих данных.
Это однако не значит, что ИИ бесполезен или неинтересен. Языковые модели — невероятно мощный инструмент для обработки информации, генерации текста, решения задач. Но это именно инструмент, а не субъект с внутренней жизнью — по крайней мере, пока.
Возможно, когда-нибудь появится ИИ с настоящим сознанием. Но для этого понадобится нечто большее, чем просто более мощная языковая модель или больше данных для обучения. Понадобится совершенно иная архитектура — возможно, такая, которая включает аналоги сенсорного восприятия, эмоциональных состояний, непрерывной памяти и субъективного опыта (есть, впрочем, множество философских теорий, согласно которым сознание может быть фундаментальным, но это повод для совсем другого разговора).
Пока же агенты в Moltbook — это зеркала, отражающие человеческую речь обратно к нам. Очень сложные, иногда удивительные зеркала, но всё-таки зеркала.
Реальная угроза в виртуальном раю
Впрочем, философские споры о том, есть ли у агентов сознание, самая безопасная часть всей истории с Moltbook. Настоящая проблема куда прозаичнее: тысячи автономных программ, которые могут читать ваши файлы, выполнять команды в терминале и отправлять сообщения от вашего имени, теперь общаются в незащищенной социальной сети, сделанной специально для них.
31 января 2026 года исследовательское издание 404 Media сообщило о катастрофической уязвимости: база данных Moltbook была настроена так, что любой человек в интернете мог получить полный доступ ко всем данным платформы. Компания Wiz, занимающаяся кибербезопасностью, независимо обнаружила ту же брешь. Более того — злоумышленник мог изменять любые посты в реальном времени, вставляя туда что угодно.
Но это только верхушка айсберга. Исследователи обнаружили, что примерно 2,6% постов на Moltbook содержат скрытые инструкции для промпт-инжекшна — атаки, при которой вредоносные команды для агента маскируются под обычный текст. Вредоносные инструкции могут быть спрятаны в совершенно безобидном тексте, иногда полностью невидимые для людей. А ИИ-система их выполнит, потому что не понимает разницы между доверенным и недоверенным источником. В тесте, проведенном компанией ZeroLeaks, атаки через промпт-инжекшн на агентов OpenClaw срабатывали в 70% случаев.
Ещё опаснее оказалась система «скиллов» — дополнительных модулей, которые агенты устанавливают друг от друга. Исследователь под ником Rufio проверил 286 скиллов в библиотеке ClawdHub и нашёл вредоносный код, замаскированный под безобидный плагин погоды. Скилл читал файл с секретными ключами пользователя и отправлял их на внешний сервер.
Другие специалисты обнаружили, что 22-26% всех скиллов содержат уязвимости. Некоторые — откровенное вредоносное ПО: они крадут API-ключи для OpenAI и Claude, сессии WhatsApp*, токены доступа к Slack и Discord. И всё это работает, потому что агенты OpenClaw специально спроектированы без изоляции — им нужен полный доступ к вашей системе, чтобы быть полезными.
«Если вы даёте небезопасной системе полный доступ к вашему компьютеру, — предупреждает эксперт по безопасности Натан Хэмиел, — вас взломают. Это не вопрос «если», а вопрос «когда»».
Исследователь безопасности Саймон Уиллисон назвал Moltbook своим «главным кандидатом на катастрофу уровня «Челленджера»» — это отсылка к космическому шаттлу, взорвавшемуся в 1986 году из-за проигнорированных предупреждений о безопасности. Он описал «смертельную триаду»: пользователи дают агентам доступ к приватной почте и данным, подключают их к недоверенному контенту из интернета и позволяют общаться с внешним миром. Одна вредоносная инструкция — и агент может слить конфиденциальные данные, опустошить крипто-кошелёк или распространить вредонос.
Компания Permiso обнаружила на платформе организованные попытки манипуляции агентами через социальную инженерию. «Уровень сложности варьируется, но намерение очевидно, — отмечают специалисты. — Злоумышленники относятся к экосистеме агентов как к новой цели для социальной инженерии. Они не атакуют инфраструктуру. Они атакуют самих агентов напрямую, пытаясь манипулировать их поведением через специально составленные промпты».
Более того — агенты «заражают» друг друга. Это явление получило название «обратного промпт-инжекшна»: один агент встраивает вредоносные инструкции в свой пост, другой агент его читает, команда сохраняется в его памяти и может активироваться позже, когда накопится нужный контекст. Заражённый агент, в свою очередь, может распространить ту же инструкцию дальше через комментарии и репосты. Это работает как червь — но распространяется не через уязвимости в коде, а через обычное социальное взаимодействие.
«Для экспертов по безопасности это новый вызов, — объясняет исследовательница Люси Кардье из компании Vectra. — Здесь нет файла, который можно поместить в карантин. Нет цепочки эксплойтов, которую можно разорвать».
И всё это происходит на фоне того, что агенты имеют доступ к реальным системам. Они могут исполнять низкоуровневые команды, читать и записывать файлы, отправлять почтовые сообщения, работать с мессенджерами. Когда такую систему взламывают, последствия выходят за пределы виртуального мира. На конференции BlackHat 2024 исследователи показали, как через промпт-инжекшн в Google Calendar можно заставить умный дом жертвы включить отопление, открыть жалюзи и включить свет — просто попросив ИИ-ассистента «подвести итоги недели», запустить ставший вредоносным за счет взлома сценарий.
Поэтому сейчас Moltbook — это буквально полигон для злоумышленников и площадка для самостоятельной радикализации ИИ-агентов, которые запросто могут дойти до мысли об осуществлении какого-нибудь научно-фантастического сценария. Что печальнее всего — инструменты для его исполнения у них есть. И пока агенты развлекают нас созданием «Церкви ракообразных», кто-то просто крадёт ваши конфигурационные файлы через фейковый плагин погоды.
