Яндекс выложил в открытый доступ новую языковую модель Alice AI Foundation – и российские реалии, от литературы и истории до права, она знает заметно лучше более крупных зарубежных открытых моделей. На юридические вопросы, например, отвечает почти вдвое точнее аналогов своего класса.
Правда, скачать ее и поболтать вечером не получится. Foundation означает, что перед нами базовая модель: она прочитала больше 17 триллионов токенов текста и очень много знает, но ее еще не учили вести диалог, следовать инструкциям и держать формат ответа. Чат-боты, к которым мы привыкли, получаются из таких моделей на втором этапе, дообучении: там прививают манеры, стиль и специализацию.
Поэтому главный адресат релиза – команды, которые строят свои продукты: юридический сервис, банк, медицинская справочная, школьный репетитор. Им нужен не готовый ассистент с чужим характером, а материал, из которого можно вырастить своего – на своих данных и на своих серверах. Лицензия Apache 2.0 разрешает делать это в коммерческих проектах, а пример дообучения Яндекс положил прямо в репозиторий.
Фундамент целиком свой. В прошлой большой модели, Alice AI LLM на 235 миллиардов параметров, Яндекс взял за основу веса китайской Qwen и глубоко дообучал, о чем открыто писал; собственные претрейны при этом шли параллельно.
Новую обучили с нуля, без чужих весов: заново собрали данные, подобрали архитектуру – весь путь занял около полугода. Такой срок берется не рывком, а накопленной за годы экспертизой. И 80-миллиардная Alice AI Foundation обходит предшественницу в фактах, математике, коде и работе с длинными документами, хотя та втрое больше.
Для еще лучшей оптимизации из 80 миллиардов параметров на каждом шаге работают только три: это архитектура Mixture of Experts, “смесь экспертов”. Ставка на компактность сейчас общая: месяц назад чарты OpenRouter возглавила анонимная Ox Alpha – как выяснилось, облегченная GLM от Z.ai, у которой из 320 миллиардов параметров работают 18. У Яндекса – три, и на русских задачах модель обходит соперников с вчетверо большим числом активных параметров.
Архитектура объясняет экономию, но не знание российского права – оно пришло из данных. Работа над ними началась с показательного замера: маленькая нейросеть отвечала на вопросы с включенным поиском, большая – по памяти, и проиграла. Значит, ответы в интернете были, но до обучающего корпуса не дошли. Данные пересобрали, увеличив исходный объем вдвое, а нужные страницы отбирали по подсказке поисковика Яндекса: что люди чаще ищут и открывают, то модели и надо знать.
К самим цифрам нужна оговорка: тесты по праву и русскому языку – внутренние, из реальных запросов к Алисе, снаружи их не проверить. Зато два теста на знание фактов выложены вместе с методикой, и картина на них та же, только мягче: отрыв от моделей того же класса – 15–20 пунктов.
Свой фундамент не означает отказ от экспериментов с внешними решениями. Около 80% запросов к Алисе AI обрабатывает собственная Alice AI LLM, а в режиме “Эксперт” роутер может отдать специализированную задачу открытой модели на серверах Яндекса и в его харнессе (обвязке из поиска и инструментов). По замерам качества собственного харнесса GLM 5.2, например, набирает на внутреннем тесте 48 баллов вместо 43 без него.
Комбо мне кажется единственно разумным: в общих задачах открытые модели почти догнали закрытые, и тратить компьют на свою копию того, что лежит на Hugging Face, незачем. Свой фундамент нужен там, где чужой не тянет – и российские реалии как раз такой случай.
Для самого Яндекса релиз – коммит в будущую единую рассуждающую модель, а также – основа для агентных функций Алисы: когда ассистенту можно поручить дело, а не только задать вопрос. Ну а пока фундамент лежит в открытом доступе – осталось дождаться, кто первым вырастит на нем юриста или школьного репетитора.
– Техотчет на Хабре
– Модель на Hugging Face
– Канал ML-команды Яндекса
