Неделю назад я был на deep tech night - конференции Яндекса о технологических вызовах в эпоху AI, про анонс которой писал ранее. С уверенностью могу отметить, что это был один из лучших подобных ивентов года. И по плотности материала и по общению с умными людьми. Много старых приятных знакомств актуализировались.
Мне понравились разные доклады, и про каждый я мог бы написать подобный пост. Меня, впрочем, как наверняка и многих, очень зацепило выступление Мо Гавдата (ex-Chief Business Officer Google X). Причём не столько фактическим наполнением - для тех, кто следит за развитием агентных систем, Мо не сказал ничего радикально нового, - сколько уровнем работы с аудиторией. Это было особенно видно по Q&A-сессии, когда зрители один за другим отмечали, что речь получилась impressive. Очень содержательным был и доклад про автономный транспорт - подробный рассказ о том, как строится стек Physical AI и что происходит, когда он выезжает из симулятора в реальные условия. Показательна была дискуссия о том, как кодинг-ИИ-ассистенты активно входят во все бизнесы, в которых так или иначе присутствует разработка. И если раньше это были опасения, что агенты всё поломают без тотального контроля от человека, то теперь вопрос больше стоит в том, как нам самим эффективнее прикладывать свои навыки, чтобы помогать агентам, а не мешать.
Сейчас я хотел бы остановиться на докладе Алексея Гусакова "От классического ML к генеративным моделям: незаметная революция в RecSys". Пока все следят за гонкой больших языковых моделей и агентными системами, ровно та же трансформерная революция происходит в области, менее хайповой для рядового пользователя, - в рекомендательных системах, хотя внутри это один из самых нагруженных ML-контуров индустрии.
Небольшой контекст. Очевидно, что рекомендательные системы живут в десятках продуктов Яндекса, а самый сложный и нагруженный домен - рекламный. 500 тысяч запросов в секунду в пике и десятки миллиардов документов в базе. Новые же технологии обкатываются на музыке - домене попроще, где цена эксперимента ниже. Классическая архитектура рекомендаций при этом стадийная - сначала десятки генераторов кандидатов параллельно выбирают из огромной базы тысячи потенциально подходящих, потом лёгкие модели сужают их до сотен, и только в конце тяжёлое ранжирование выбирает финальную выдачу. За 10–20 лет доработок эта конструкция обросла сотнями ручных настроек.
Первое поколение трансформеров в рекомендациях (2023 год) было по мотивам поискового BERT, где токенами вместо слов стали пары "композиция + реакция пользователя" (лайк, дизлайк, скип), история пользователя сворачивалась в вектор, а близость к треку считалась косинусным расстоянием. Скромные по нынешним меркам 20 млн параметров, два месяца логов, история из 128 треков. Главный потолок этой схемы - стоимость обучения, потому что каждый префикс истории обрабатывался отдельно, и при квадратичной цене одного примера суммарная сложность для истории из n событий выходила кубической, O(n³). Удлинять историю и наращивать данные становилось неподъёмно дорого.
Дальше - "Аргус" (2025) и первый по-настоящему генеративный поворот - модель стала последовательно предсказывать следующий трек, как LLM предсказывает следующий токен. Асимптотика обучения упала до O(n²) и именно эта "скучная" оптимизация позволила нарастить масштабы. История выросла со 128 до 8000 треков, логи - с двух месяцев до двенадцати, модель - до 120 млн параметров. Но при этом остались два ограничения. Во-первых, вся история по-прежнему сжималась в один вектор, а близость к кандидату оценивалась примитивным косинусом - детали истории при оценке конкретного трека терялись. Во-вторых, никуда не делся каскад отбора - дорогие модели работали только с уже отобранными кандидатами, и поздний ранжировщик физически не мог вернуть трек, отброшенный на ранней стадии.
И вот SONA (2026) - модель, закрывающая оба ограничения разом. Ключевая инновация - Semantic ID. Вместо одного пространства из десятков миллионов взаимно бессмысленных идентификаторов каждый трек кодируется тройкой ID, каждый из словаря в 32 тысячи (32000³ с запасом хватает на всю базу). Получают их так: текст (название, автор, жанр) и аудио трека прогоняются через мультимодальную Qwen 2.5-Omni, затем refinement-трансформер, затем кластеризация RQ-KMeans. У этих ID есть физический смысл - меняя компоненты, можно наблюдать, как меняются жанры, инструменты или тембр голоса. Модель одновременно учится генерировать следующие треки и ранжировать кандидатов по ожидаемому отклику пользователя - единая нейросеть, никаких стадий, никакого ручного фиче-инжиниринга. На вопрос из зала "а не нагенерирует ли она несуществующих ID" ответ был довольно красивый: не нагенерирует по той же причине, по которой LLM не выдаёт случайный набор букв, - next token prediction сначала выучивает валидные комбинации, потом хорошие.
Про цифры. Прирост активных пользователей по поколениям: BERT-версии 2023 года давали инкременты 0,56–0,84%, Аргус в 2025-м - 1,93%, SONA в 2026-м - 4,53%. То есть один переход на end-to-end дал больше, чем все предыдущие улучшения вместе взятые. И достигнута эта цифра одновременно с радикальным упрощением архитектуры - по-моему, самая недооценённая часть истории. По сути, это первая в мире продакшн-рекомендательная система без ручных фич, обошедшая в A/B действующую систему музыкальных рекомендаций на умных колонках. Техрепорт, если что, выложен на arXiv. Отдельно Алексей показал, что рекомендательные трансформеры масштабируются по тем же законам, что LLM - больше параметров и данных - предсказуемо ниже loss.
Оставшиеся открытые вопросы. SONA пока обучена только на музыке - как получить совместную модель для Музыки, Кинопоиска, Рекламы и Маркета, ещё предстоит придумать. Дата-дрифт никуда не делся - музыка и тренды меняются, статичной модели нужно онлайн-обучение. Логичный следующий ход - раз LLM уже мультимодальны, сделать историю пользователя ещё одной модальностью внутри общей генеративной модели, чтобы рекомендации стали просто одной из её задач. А самый интересный вызов звучит так: генеративные модели, создающие музыку, и рекомендательные модели, её продвигающие, могут войти в симбиоз - системе проще оптимизировать метрики на искусственных треках, которые под неё же и сгенерированы.
Получается, RecSys повторяет путь NLP с лагом в несколько лет - от зоопарка рукотворных пайплайнов к одной большой модели, которая учится end-to-end.
В этот раз мне показалось, что мероприятие по уровню докладов приблизилось к Practical ML Conf, на которой я тоже побывал в субботу. Но про PML Conf расскажу как-нибудь в другой раз. Впечатлениям надо настояться.
