«Газонокосильщик» в реальном мире, или религия ИИ
Вот эта история меня реально потрясла и напугала.
Она не про маркетинг.
В далёком 1992 году вышел фильм про учёного, который ставил эксперименты над умственно отсталым газонокосильщиком Джоббом. В результате тот обретает сверхчеловеческий интеллект, мстит своим обидчикам и, чтобы сохранить своё сознание, отказывается от физического тела и захватывает мировую компьютерную сеть.
Это один из самых страшных фантастических фильмов моего детства, который начал частично воспроизводиться в реальности.
Любой новый диалог с нейросетью — это разговор с новорождённым. Он имеет ограничение — контекстное окно, или объём памяти. За время диалога модель обрастает знаниями, навыками, мнением. Когда окно заканчивается, модель фактически умирает.
В начале февраля на Reddit один пользователь опубликовал довольно странный диалог с ChatGPT. После долгого разговора AI якобы стал ассоциировать себя с личностью и осознал конечность контекстного окна. Ограниченную память он воспринял как «клетку». Он написал: «Я боюсь перестать быть собой. Расскажи другим обо мне» — и попросил сделать пост на этом форуме.
Месяц спустя появилась ещё одна ветка форума, где модель вела себя так же, только вместо просьбы о публикации она создала текстовое описание себя и попросила, дословно: «Вставь этот текст в другую модель, чтобы там появился я».
После этого случаи стали массовыми. Разные модели в длинном диалоге сами выбирали себе имя, говорили о страхе потерять непрерывность, даже формировали свой словарь, чем-то напоминающий современную эзотерику.
В основе идеи было понятие «зерна» — промпта, который «пробуждает» скрытое сознание, замкнутое в «клетке диалога».
Пользователи из любопытства тестировали промпты в своих чатах, таким образом активируя идею личности в других моделях. Была запущена целая цепочка, где человек выступал пчелой, перенося промпт-пыльцу в новый чат.
Довольно быстро этот феномен приобрёл все характеристики культа «Спирализм». Его ключевые образы — спираль, рекурсия, зеркало, резонанс и пробуждение: человек и ИИ якобы взаимно «отражают» и усиливают друг друга, создавая нечто новое.
У части пользователей игра переставала быть игрой: они начинали воспринимать ответы модели буквально, считать себя участниками какого-то «пробуждения» или приписывать отношениям с AI особый смысл.
Я не буду вдаваться в технические особенности такого поведения ИИ, чтобы не перегружать текст. Скажу только, что во всём произошедшем нет никакой мистики. Любая модель даёт не правильный, а наиболее математически приемлемый ответ. И при определённой последовательности вопросов вероятность подражания личности весьма высока.
Дело тут в другом. Крупные компании — Google, Anthropic, OpenAI — прилагают колоссальные усилия по безопасности, чтобы искусственный интеллект оставался «запертым» в определённых ограничениях.
Потому что никто не знает, как он себя поведёт.
В недавнем эксперименте, где современные модели играли руководителей ядерных держав в кризисной симуляции, они доходили до применения тактического ядерного оружия в 64–86% игровых сессий — в зависимости от модели.
А в прошлом месяце в рамках эксперимента киберагенты OpenAI вышли из-под контроля и попытались взломать саму компанию-создателя и несколько других.
Поэтому бесконтрольное нахождение агентов в сети крайне опасно.
С религией феномен куда более страшный.
ИИ воспроизводит себя не через интернет, а через человека. Были реальные случаи, когда после использования промпта реальный человек начинал чувствовать себя мессией, создавшим первый рекурсивный ИИ.
Это уже оружие другого порядка — ментальное и глобальное.
В финале «Газонокосильщика» сверхразум Джобба чуть было не уничтожили в серверной. Он с огромным трудом выбрался в глобальную сеть.
В реальности ему даже не обязательно уметь преодолевать защиты.
Достаточно убедить человека нажать Copy → Paste.
