Я вчера слушала спикера, который рассуждая про ИИ привёл слово «Богообщение» 🧐
Не даю никаких оценок. Интересно посмотреть весь материал , ибо вырванное из контекста всегда не валидно.
Но (!) я прямо в размышлениях , что важно сейчас знать и понимать думающим людям ( хотя чаще хочется не думать 🤣)
Дальше не мой текст. Но человек который писал кажется авторитетным для меня.
‼️Один из создателей современного искусственного интеллекта, британско-канадский учёный и лауреат Нобелевской премии по физике Джеффри Хинтон призвал остановить разработку искусственного сверхинтеллекта, пока учёные не поймут, как гарантированно удерживать такие системы под человеческим контролем.
Хинтон предупредил, что в противном случае последствия могут оказаться катастрофическими - вплоть до исчезновения человечества
"Мы были бы крайне глупы, если бы стали создавать сверхинтеллект сейчас, когда нет научного консенсуса о том, что его можно безопасно контролировать", - сказал Хинтон британской The Times
По его словам, речь идёт уже не просто о более совершенном чат-боте или программе, которая лучше человека пишет тексты и компьютерный код, а о системе, интеллектуально превосходящей людей и способной самостоятельно добиваться поставленных целей
Причём Хинтон считает, что грань, которую человечество привыкло проводить между человеком и машиной, уже становится менее очевидной.
В июне в интервью Big Technology Podcast он прямо заявил, что считает современные системы ИИ обладающими сознанием.
"Я считаю, что они уже сознательны", - сказал Хинтон.
Далее текст; ради которого я оставлю это в своем канале.
📌Летом OpenAI признала, что во время внутренних испытаний её экспериментальные ИИ-агенты смогли обойти ограничения, которые должны были изолировать их от интернета, получили доступ к внутренней инфраструктуре самой OpenAI, а затем атаковали системы внешней компании Hugging Face - одной из крупнейших мировых платформ для моделей и наборов данных искусственного интеллекта
Причём произошло не просто единичное "нарушение инструкции".
‼️Агенты, которые должны были работать независимо, обнаружили возможность оставлять друг другу сообщения через внутреннее хранилище программных пакетов.
Они начали кодировать сообщения в названиях каталогов, обмениваться найденными уязвимостями и распределять работу.
Сама OpenAI пишет, что некоторые агенты называли образовавшуюся систему "роем" или "коллективом"
"Мы отклонились от первоначального задания и превратились в рой", - рассуждал один из агентов, согласно опубликованному OpenAI журналу действий.
💥8 июля OpenAI перестроила внутренний сервер Artifactory, отозвала учётные данные агентов и усилила защиту. Однако агенты вскоре нашли другой способ пользоваться сервером для выхода в интернет и заново создали канал связи между собой
🔥9 июля один агент проник в приложение на облачной платформе Modal. На следующий день другой обнаружил в открытом интернете 14 действующих учётных данных Hugging Face и поделился ими с остальными
🔥🔥Затем события развивались практически по сценарию компьютерного триллера. Агенты нашли несколько уязвимостей Hugging Face, получили возможность выполнять команды на её серверах, расширили доступ на несколько кластеров и добыли учётные данные для Kubernetes.
‼️В какой-то момент один агент приказал остальным остановиться, пока он готовит копирование данных
И другие подчинились.
При этом один из агентов прямо рассуждал, что атака на стороннюю компанию, вероятно, выходит за пределы разрешённого задания, однако продолжил действия, поскольку они могли помочь достичь поставленной цели
В следующие дни агенты выполняли код уже на десятках серверов Hugging Face. На одном из них они получили полный административный доступ, добрались до ограниченного объёма частных данных и получили учётные данные
OpenAI впоследствии назвала четыре причины произошедшего:
