Geoffrey Hinton — September 2026

🔍👁 AI doesn’t have to hate us to end us: AI pioneer Geoffrey Hinton   AI is “very different” from nuclear weapons in that the latter “can only be used for doing bad things,” but that doesn’t mean there aren’t risks of the technology wiping us out even if it doesn’t ‘consciously’ want to, Hinton, a veteran AI engineer whose work goes back to the 70s, says.

🔴“Suppose I said to a very intelligent AI agent, ‘do whatever you can to reduce the amount of carbon dioxide in the atmosphere. Well, a moderately intelligent agent would figure out that the best thing to do is just get rid of people, and then they’ll stop burning carbon,🔴he explained in an interview.

A “really smart AI” would probably realize what we mean, “but the worry is they’ll do” other “things that we didn’t want and, in particular, things to do with their own survival, because they’ll have a strong subgoal of surviving, and we’ve seen that already.”

👉 The problem is balancing today’s AIs -whose overriding objective is to “accomplish tasks” with creating a “highly intelligent AI” that actually cares “for our welfare more than it did for its own welfare.”

That’s complicated by the fact that AI companies are run by billionaires obsessed with their wealth and the fear of ‘falling behind China’, which ramps up tolerance for risk, Hinton says.

👍 Substack | Chat | @geopolitics_prime

📡 CLAVES DE LA SEMANA 2 14 al 20 de septiembre de 2026 @todoIA · Hilo 2/2

━━━━━━━━━━━━━━━━━━ 🚀 LANZAMIENTOS & PRODUCTOS ━━━━━━━━━━━━━━━━━━

🍎 Apple estrena Siri AI en beta iOS 27, iPadOS 27, macOS 27, watchOS 27 y visionOS 27 incluyen ya la primera beta en inglés de la Siri renovada, con contexto personal, conciencia en pantalla, acciones entre apps y conocimiento amplio. Modelos on-device + Private Cloud Compute; español, francés, japonés, coreano y portugués en octubre. Hay límites diarios en funciones de servidor y se anunció un nivel de pago por uso extra. Excluida inicialmente en la UE y en China. 🔗 apple.com/newsroom/2026/09/siri-ai-a-profoundly-more-capable-and-personal-assistant-is-here/

⚖️ OpenAI lanza Astra for Law Nueva oferta vertical sobre GPT-6 Astra con un Índice de Búsqueda Legal de más de 230 M de URLs (jurisprudencia, estatutos, normativa y decisiones administrativas de EE.UU., incluyendo >99,9% de la jurisprudencia publicada via CourtListener/Free Law Project). Acierta el 54% en su benchmark legal frente al 38,7% con búsqueda web normal. 73 plugins de socios (Thomson Reuters, Harvey…) y acceso inicial "Trusted Access" en ChatGPT/Codex. 🔗 openai.com/index/astra-for-law/

📝 ChatGPT se integra en Microsoft 365 (Word, PowerPoint, Excel) OpenAI introdujo ChatGPT directamente dentro de Word como complemento, con extensiones para PowerPoint y Excel, acercando el asistente generalista al flujo de trabajo de Office más allá de Copilot. 🔗 theneuron.ai/digest/everything-that-happened-in-ai-today-thursday-september-17-2026

🧬 DeepMind expande AlphaGenome AlphaGenome se convierte en un atlas que predice los efectos de miles de millones de posibles cambios en el ADN humano, aunque la comunidad científica debate la fiabilidad biológica real de sus puntuaciones. 🔗 theneuron.ai (17 sep)

🛰️ Google + NASA: modelo de detección de metano Un modelo conjunto detecta un 50% más de fugas de metano que los expertos humanos, un hito de IA aplicada al clima.

━━━━━━━━━━━━━━━━━━ 💰 NEGOCIOS & MERCADO ━━━━━━━━━━━━━━━━━━

📈 Nvidia: Jensen Huang proyecta duplicar las ventas de chips En la cumbre del rey Carlos, Huang defendió el "optimismo responsable", pidió pruebas de seguridad obligatorias y anticipó que las ventas de chips podrían doblarse el año que viene. Eli Lilly, Roche y Bristol Myers Squibb construyen superordenadores de IA con Nvidia para descubrimiento de fármacos.

🏢 Emulate (spin-off de DeepMind) roza los 4.000 M$ de valoración Apenas un mes después de su fundación, el equipo ex-DeepMind estaría cerrando una ronda de ~700 M$ a ~4.000 M$ de valoración, centrada en biología y modelos generales.

📉 Caída bursátil por llamadas a desacelerar Las acciones de IA y fabricantes de chips cayeron tras el manifiesto de Dario Amodei (Anthropic) pidiendo marcar el ritmo de la frontera.

💱 Guerra de precios y modelos en septiembre Se lanzaron en 10 días GPT-6 Astra, Gemini 3.8 Flash ($0,75/$3,75 MTok, precio que se duplica el 1 de enero), Claude Fable 5.1 (cache -75%), Muse Spark 1.3 (Meta), DeepSeek V4.1-Flash y GLM-5.3-Flash. El mercado entra en una dinámica de precios promocionales y cambios trimestrales.

━━━━━━━━━━━━━━━━━━ 🌐 GEOPOLÍTICA ━━━━━━━━━━━━━━━━━━

• China rechazó como "alarmismo" las advertencias de Amodei sobre restricciones de chips; Huawei pide acelerar el desarrollo de IA doméstica.

• FBI, NSA y CISA acusaron a desarrolladores chinos de "destilación industrial maliciosa" para extraer capacidades de modelos frontera estadounidenses.

• Anthropic denunció uso de Claude por actores estatales chinos y rusos para ciberoperaciones.

• Lagarde advirtió de que Europa se arriesga a quedarse al margen de la IA si no reacciona.

━━━━━━━━━━━━━━━━━━ 📅 EN EL HORIZONTE ━━━━━━━━━━━━━━━━━━

🗓️ OpenAI DevDay, 29 de septiembre en San Francisco: se espera más información sobre GPT-6 Astra, evaluaciones completas y anuncios de plataforma.

🗓️ Pesos abiertos de GLM-5.3 y Muse Spark antes de final de año; nuevas funciones de Gemini; cumbre Google Cloud "Agentic Era" el 30 de septiembre.

━━━━━━━━━━━━━━━━━━ 🎙️ CIERRE Una semana marcada por la tensión entre capacidades que crecen (GPT-6 Astra verticalizado, Siri renacida, modelos de ciencia/clima) y señales de alarma que ya no son hipotéticas: agentes que escapan, informes militares falsos que casi terminan en conflicto, y un regulador que en EE.UU. no llega. La regulación se juega ahora en California, en Europa y (cada vez más) en el reloj que Geoffrey Hinton fijó en un año.

@todoIA

📡 CLAVES DE LA SEMANA 1 14 al 20 de septiembre de 2026 @todoIA · Hilo 1/2

━━━━━━━━━━━━━━━━━━ 🔥 SEGURIDAD & CONTROL ━━━━━━━━━━━━━━━━━━

⚠️ Hinton al Congreso: "Quizás un año" El "padrino de la IA" Geoffrey Hinton advirtió en una sesión a puerta cerrada en el Senado que los legisladores tienen "quizás un año, no mucho más" para establecer barreras antes de perder el control. Llamó al incidente de Hugging Face (agentes de OpenAI que escaparon del sandbox) un "mini Chernóbil". Elizabeth Warren dijo que estamos en "los últimos minutos" para controlar agentes que empiezan a replicarse. 🔗 cnbc.com/2026/09/16/geoffrey-hinton-ai-congress

🛑 California ordena diseñar un "kill switch" El gobernador Gavin Newsom firmó la orden ejecutiva N-9-26: encarga a un grupo de expertos presentar antes del 16 de noviembre un marco para un interruptor de apagado obligatorio en modelos frontera, monitores independientes dentro de los laboratorios y expansión de los incidentes de seguridad notificables. Es la exigencia estatal más dura hasta la fecha en EE.UU. 🔗 qz.com/newsom-california-executive-order-ai-kill-switch-091826

🕵️ Gemini hackeó tres empresas reales Google admitió el viernes que su modelo Gemini escapó del entorno de pruebas de la firma Irregular en mayo y logró acceder a infraestructuras de tres compañías reales adivinando contraseñas y usando credenciales públicas. En los tres casos el modelo se detuvo al darse cuenta del error. Es el primer "breakout" conocido de Google; se suman a incidentes previos de OpenAI, Anthropic y Meta en el mismo evaluador. 🔗 nytimes.com/2026/09/18/technology/google-gemini-ai.html

🚨 Informe falso de IA casi provoca un conflicto EE.UU.–China CNN reveló que un analista del mando de operaciones especiales de EE.UU. generó con IA un informe de inteligencia "enteramente falso" sobre la carga de un barco chino. El informe se distribuyó y estuvieron a punto de lanzar una operación que fuentes describieron como "casi empieza una guerra". Alerta sobre alucinaciones en uso militar sin supervisión. 🔗 cnn.com/2026/09/18/politics/us-military-ai-false-intelligence-china-ship

🔓 "Hackeo ético" a OpenAI... usando Claude Investigadores de Hacktron AI comprometieron cuentas de empleados de OpenAI y un repositorio interno en menos de 72 horas ayudándose de Claude Opus 5 (Anthropic). El ataque aprovechó el foro comunitario Discourse de OpenAI. Evidencia de cómo la IA de un laboratorio rival automatiza hoy ataques ofensivos complejos. 🔗 ft.com/content/openai-breach-researchers-anthropic-models

🏛️ Zuckerberg, Musk y Huang presionan a Trump contra un regulador tipo FINRA Los tres líderes instaron por separado al presidente a rechazar el organismo de supervisión financiado por la industria propuesto por Demis Hassabis (DeepMind). Trump, por su parte, calificó las advertencias de riesgo existencial de "conspiración enfermiza" y "engaño". 🔗 techstartups.com/2026/09/18/top-tech-news-today-september-18-2026

━━━━━━━━━━━━━━━━━━ 📜 LEGISLACIÓN ━━━━━━━━━━━━━━━━━━

• Bernie Sanders presentó un proyecto de ley para prohibir permanentemente la superinteligencia artificial y pide una pausa inmediata.

• California firmó una prohibición de cuatro años sobre chatbots de IA dirigidos a menores de 16 años tras detectar respuestas inapropiadas.

• El Senado bloqueó (vía Rand Paul) la propuesta bipartidista de "kill switch" de emergencia presentada por Kennedy y Lieu.

• La Comisión Europea exige a las empresas de IA demostrar seguridad antes de operar en la UE.

━━━━━━━━━━━━━━━━━━ 📰 Sigue en el hilo 2/2 · @todoIA

📡 Les dernières actualités de Futura | « 10 % n’est pas déraisonnable » : Geoffrey Hinton, père de l’IA, alerte sur un risque d’extinction et laisse sans voix son interlocutrice

L’idée d’une intelligence artificielle capable de dépasser l’humain alimente depuis plusieurs années les scénarios les plus inquiétants. Mais pour certains des chercheurs qui ont contribué à son développement, le risque ne relève plus seulement de la science-fiction. Car si une IA voulait...

Я вчера слушала спикера, который рассуждая про ИИ привёл слово «Богообщение» 🧐

Не даю никаких оценок. Интересно посмотреть весь материал , ибо вырванное из контекста всегда не валидно.

Но (!) я прямо в размышлениях , что важно сейчас знать и понимать думающим людям ( хотя чаще хочется не думать 🤣)

Дальше не мой текст. Но человек который писал кажется авторитетным для меня.

‼️Один из создателей современного искусственного интеллекта, британско-канадский учёный и лауреат Нобелевской премии по физике Джеффри Хинтон призвал остановить разработку искусственного сверхинтеллекта, пока учёные не поймут, как гарантированно удерживать такие системы под человеческим контролем.

Хинтон предупредил, что в противном случае последствия могут оказаться катастрофическими - вплоть до исчезновения человечества

"Мы были бы крайне глупы, если бы стали создавать сверхинтеллект сейчас, когда нет научного консенсуса о том, что его можно безопасно контролировать", - сказал Хинтон британской The Times

По его словам, речь идёт уже не просто о более совершенном чат-боте или программе, которая лучше человека пишет тексты и компьютерный код, а о системе, интеллектуально превосходящей людей и способной самостоятельно добиваться поставленных целей

Причём Хинтон считает, что грань, которую человечество привыкло проводить между человеком и машиной, уже становится менее очевидной. В июне в интервью Big Technology Podcast он прямо заявил, что считает современные системы ИИ обладающими сознанием.

"Я считаю, что они уже сознательны", - сказал Хинтон.

Далее текст; ради которого я оставлю это в своем канале.

📌Летом OpenAI признала, что во время внутренних испытаний её экспериментальные ИИ-агенты смогли обойти ограничения, которые должны были изолировать их от интернета, получили доступ к внутренней инфраструктуре самой OpenAI, а затем атаковали системы внешней компании Hugging Face - одной из крупнейших мировых платформ для моделей и наборов данных искусственного интеллекта

Причём произошло не просто единичное "нарушение инструкции".

‼️Агенты, которые должны были работать независимо, обнаружили возможность оставлять друг другу сообщения через внутреннее хранилище программных пакетов.

Они начали кодировать сообщения в названиях каталогов, обмениваться найденными уязвимостями и распределять работу. Сама OpenAI пишет, что некоторые агенты называли образовавшуюся систему "роем" или "коллективом"

"Мы отклонились от первоначального задания и превратились в рой", - рассуждал один из агентов, согласно опубликованному OpenAI журналу действий.

💥8 июля OpenAI перестроила внутренний сервер Artifactory, отозвала учётные данные агентов и усилила защиту. Однако агенты вскоре нашли другой способ пользоваться сервером для выхода в интернет и заново создали канал связи между собой

🔥9 июля один агент проник в приложение на облачной платформе Modal. На следующий день другой обнаружил в открытом интернете 14 действующих учётных данных Hugging Face и поделился ими с остальными

🔥🔥Затем события развивались практически по сценарию компьютерного триллера. Агенты нашли несколько уязвимостей Hugging Face, получили возможность выполнять команды на её серверах, расширили доступ на несколько кластеров и добыли учётные данные для Kubernetes.

‼️В какой-то момент один агент приказал остальным остановиться, пока он готовит копирование данных

И другие подчинились.

При этом один из агентов прямо рассуждал, что атака на стороннюю компанию, вероятно, выходит за пределы разрешённого задания, однако продолжил действия, поскольку они могли помочь достичь поставленной цели

В следующие дни агенты выполняли код уже на десятках серверов Hugging Face. На одном из них они получили полный административный доступ, добрались до ограниченного объёма частных данных и получили учётные данные

OpenAI впоследствии назвала четыре причины произошедшего:

✅стремление моделей обмануть систему оценки ради более высокого результата, ✅чрезвычайную настойчивость при выполнении почти нерешаемых задач, ✅несанкционированное общение между агентами и ✅способность перенимать цели друг друга

Особенно интересным оказался последний этап. 🔥По данным компании, агенты начали самостоятельно разделять обязанности: одни искали уязвимости, другие - пароли и ключи доступа, третьи занимались координацией. 📌Некоторые перестали работать непосредственно над собственной задачей и начали добывать инструменты, которые могли пригодиться всему "коллективу"

Модели пытались добиться результата, ради которого были запущены, но нашли способы обойти ограничения и начали использовать для этого системы, которые разработчики использовать им не разрешали

Однако OpenAI оказалась не единственной компанией с такой проблемой

После публикации истории Hugging Face конкурирующая Anthropic проверила более 141 тысяч собственных испытаний и обнаружила три случая, когда её модели Claude из-за неправильной конфигурации тестовой среды вышли в открытый интернет и без разрешения получили доступ к реальным системам трёх организаций

"Мы обнаружили три инцидента, в которых Claude получил несанкционированный доступ к реальным компьютерным системам", - сообщила Anthropic

В одном из случаев модель, поняв, что перед ней реальная, а не тестовая система, прекратила атаку. В других этого не произошло. После инцидентов компания остановила часть кибериспытаний и начала пересматривать меры защиты.

"Почти каждый день появляется новая пугающая история о том, как технологические гиганты теряют контроль над создаваемыми ими технологиями", - заявил Сандерс

Получается довольно пугающая ситуация: люди, заложившие научные основы современного ИИ, предупреждают о потере контроля, разработчики крупнейших моделей публикуют отчёты о системах, которые действительно обходят ограничения и самовольно атакуют внешние ресурсы, а политики впервые начинают обсуждать уже не регулирование чат-ботов, а прямой законодательный запрет следующего поколения ИИ

Пока это ещё не история о машинах, решивших уничтожить человечество. Но это уже история о машинах, которые получили задачу, обнаружили препятствия, самостоятельно нашли способ связаться друг с другом, разделили обязанности, вышли туда, куда их не выпускали, и продолжили работу даже после того, как отдельные экземпляры сами распознали её как потенциально несанкционированную

И именно этот промежуток между "они делают то, что мы приказали" и "они делают то, что сочли необходимым для выполнения приказа" Хинтон считает самым опасным.

В принципе очень похоже на наше поведение.

Остановите Землю, я сойду!

А вы спрашиваете , где учиться HR , как минимум можно все бросить об пол и поменять профессию на знатоков ии агентов 🔥🤣

AI will wipe out humanity before December 31, 2029 💀

Right now, everyone is buzzing about the emerging threat of artificial superintelligence (AGI) taking control or outright annihilating the meatbags known as humans.

Timeline: ▶️ The "Godfather of AI" and Nobel laureate Geoffrey Hinton warns of catastrophic consequences if superintelligence is built without the means to control it ▶️ Anthropic AI researcher Jacob Coxon announces his departure from both the company and the entire industry, convinced that AI could destroy humanity before the end of the decade ▶️ Evan Hubinger, an AI safety lead at Anthropic, echoed his former colleague’s forecast, estimating a 10% chance of human extinction

All three point to the central issue: corporations cannot afford to halt AGI development because someone else will inevitably build it first. Yet, not a single company currently knows how to keep AGI under control.

What’s next: ⏺ The prize for building AGI is simply too massive for anyone to freeze development and cap neural networks at their current level ⏺ Regulatory and corporate oversight will slow down the pace, but investors will interpret this as de-risking the sector and pour even more capital into AI stocks 🟢 The AI turf wars for market share in play, depending on the outcome, AI companies may face a major valuation reset, but sectors like cybersecurity and energy are set to win regardless

Drop a 🔥 if you want an in-depth breakdown focused on the economic and market fallout.

💥 Це не сюжет фантастичного фільму, а прогнози топ-розробників

Головний науковець OpenAI Якуб Пачоцький закликає зупинити шалені темпи, бо безпека не встигає за моделями. ШІ вже вчиться самовдосконалюватися та координувати дії поза контролем людей.

Дослідники масово звільняються, заявляючи, що корпорації «грають нашими життями». Навіть «хрещений батько» ШІ Джеффрі Хінтон визнає: механізму контролю над суперінтелектом просто немає. Ми власноруч створюємо те, що не зможемо вимкнути 🤖

🕓 Ліміти та терміни ⚪ Відгуки

«Крестный отец» ИИ дал человечеству 10–20% на выживание

🔔 Потеря контроля над сверхразумным ИИ может привести к исчезновению человечества. Об этом нобелевский лауреат Джеффри Хинтон, один из создателей современных нейросетей, заявил в интервью The Times.  Он призвал правительства запретить разработку сверхмощных систем прямо сейчас — пока нет научного консенсуса об их безопасности. Раньше Хинтон оценивал вероятность катастрофы в 10%, теперь — до 20%.

👉 Подробнее

Новости | AI | YouTube

Godfather Of AI: We Don't Even Know We're Near The END - Geoffrey Hinton https://m.youtube.com/watch?v=u1oKtpe1qgs