Цифровой коллапс общества
Продолжаю концептуальных анализ актуальных рисков внедрения ИИ. Ранее Ч1 и Ч2.
▪️Утрата оригинальности – вот, где «незадокументированный риск». Человеческие ошибки распределены хаотично и частично гасят друг друга – это диверсифицированный шум. Когда миллионы аналитиков опираются на 3-4 модели с похожими данными и похожей настройкой, ошибка превращается из шума в систематический и повторяемый фактор.
Другими словами, кластеры интерпретации ИИ (LLMs обычно создают относительно предсказуемый градиент ответов в связи с архитектурными особенностями и циклами предобучения и посткалибровки) на основе стационарного корпуса данных создают практически идентичное «понимание картины мира» со всеми встроенными ошибками.
У людей примерно также, но разница в том, что люди создают разнообразие интерпретаций из-за врожденной индивидуальности.
Когда все ошибаются одинаково, используя LLMs, ошибка перестает быть видимой, накапливается и создает системный сбой, который никто не знает, как исправить, потому что не знают принципы работы «черного ящика», не хотят знать и утратили компетентность или не приобрели экспертность для того, чтобы реконструировать весь длительный, сложный и многомерный исследовательский или бизнес-процесс.
При массовом следовании одинаковым рекомендациям может исчезнуть независимый опыт.
▪️Процикличный интеллект. Модель обучена на прошлом, т.е. на норме. LLMs сильнее всего там, где мир повторяется, и слабее всего там, где он ломается – в точке фазового перехода, за пределами обучающего распределения. Хвосты распределения, где живут кризисы, первыми срезает усреднение, а обучение на сгенерированном контенте срезает их еще сильнее (эффект коллапса моделей – чем больше циклов обучения, тем более сглаженная и усредненная картина мира).
Получается аналог процикличного левериджа: в спокойные времена управляемость растет, в кризис обнуляется – ровно тогда, когда она нужнее всего.
Не буду углубляться, я в прошлом году подробно описывал данные процессы.
ИИ усиливает компетентность в норме и отнимает ее в аномалии, усиливая, а не ослабляя кризисные процессы.
▪️Разрыв конвейера экспертизы. Эксперт не появляется из ниоткуда: он вырастает из из бывшего студента, который становится стажером и годами делал рутину, ошибался и получал обратную связь.
Именно рутину автоматизируют первой (студенты и начальный уровень персонала первый идет под нож), и входные позиции младшего персонала сокращают первыми.
Те эксперты, которые есть сейчас неизбежно деградируют, а новых не появится или появится не в разы, а на порядки меньше. Эксперты, которые понадобятся через 10–15 лет, сегодня никто не выращивает в связи замещением низшего и среднего уровня компетенции алгоритмами и LLMs.
Лаг между решением и последствием – полтора десятилетия, поэтому в статистике сигнал появится, когда исправлять будет поздно. Это также хорошо исследованная тема у меня, но требует дополнительной фиксации.
Сам процесс выращивания эксперта крайне сложный, длительный и дорогой. Подробнее здесь.
Все это будет нести катастрофические последствия через поколение. Износ компетенций не фиксируется нигде, но это уже происходит и усиливается вымыванием эволюционной лестницы приобретения компетенций.
▪️Кризис может возникнуть и без поломки алгоритма. Один агент сокращает закупки из-за сигнала риска. Другой принимает падение заказов за подтверждение ухудшения спроса. Третий ужесточает условия поставок, защищая собственные ресурсы. Каждый действует рационально внутри своей модели, но совместные действия усиливают провал, которого участники стремились избежать.
Для этого не нужны одинаковые модели или общая ошибка в данных. Достаточно взаимных реакций, в которых защитное действие одного ухудшает положение другого. Уязвимость находится не внутри алгоритмов, а между ними. Чем быстрее решения замыкаются друг на друга, тем меньше времени остается на различение внешнего шока и кризиса, который система создает собственной реакцией.
▪️Эффективность отбора может уничтожать условия для открытий. Если ресурсы получают преимущественно проекты с предсказуемым результатом, нестандартные направления, имеющий потенциал, проигрывают до проверки своей перспективности – это известная проблема и среди людей, но более распространенная среди алгоритмов, которые стремятся к детерминированности, исключая неформализованные новые направления, не подкрепленными данными и опытом.
Новое должно доказать полезность до того, как получит возможность сформировать доказательства. Система все лучше выбирает из существующего и все хуже создает то, из чего можно будет выбирать завтра.
Это означает снижение потенциала будущей инновации, как бы парадоксально это ни звучало.
