Рубрика «Где я провёл этим летом?» подходит к концу: финальная точка нашего маршрута — Сучжоу! 🇨🇳
Именно там проходила июльская школа машинного обучения SMILES. Одной из её участниц стала студентка 3 курса бакалавриата Яна Фитковская.
Вот как Яна вспоминает свою поездку в Китай:
Две невероятных недели я провела на школе по машинному обучению SMILES, которую Центр ИИ Сколтеха проводил вместе с Нанкинским университетом в кампусе Сучжоу (Китай).
Программа насыщенная: обычно в день три-четыре лекции, в остальное время можно работать над проектом или отдыхать. Занятия на темы от мультиагентных систем до трехмерного зрения, и все их вели на английском исследователи из России, Китая, Великобритании, США, ОАЭ и Австралии — те, чьи статьи наверняка хорошо известны людям, интересующимся ML.
Примерно в середине — постерная сессия: участники делились результатами ранее проведенных исследований. Я впервые выступала с постером на английском и рассказывала про стиринг в больших языковых моделях — о том, как можно вмешиваться в «мысли» модели прямо на этапе генерации, направляя их в нужную исследователю сторону, какие интересные эффекты при этом можно наблюдать и как это используется в интерпретируемости LLM. Очень страшно представлять свой незавершенный опыт (новые эксперименты в процессе) рядом с настоящими учеными, сотрудниками лабораторий, аспирантами, — но и очень захватывающе!
В последний день прошла защита проектов, где наша команда неожиданно взяла бронзу! Под руководством Сергея Баранникова мы исследовали, как геометрия траектории — пути, который внутреннее состояние модели проходит в пространстве очень большой размерности, пока она обдумывает задачу, — связана с процессом рассуждения рекуррентного трансформера и правильностью его ответа. Часть того, что обнаружилось, расходится с предыдущими результатами, и сейчас мы продолжаем эксперименты, стараясь получить более строгое объяснение.
А еще школа — это место, где неожиданно могут предложить поступать на следующий уровень (к сожалению, не в России, так что я не узнавала подробности, но приятно, что оценили уровень подготовки у нас) или поработать над проектом в команде (а это надеюсь попробовать, когда буду больше успевать).
В выходные мы гуляли по Сучжоу и Шанхаю: второй произвел неизгладимое впечатление — он огромный и очень разный, здесь можно любоваться и традиционной китайской архитектурой, и садами, и небоскребами.
Школа ежегодная, поэтому в конце пожелаю удачи тем, кто будет проходить отбор в 2027! Обучение, проживание, питание и перелет — за счет организаторов, виза в Китай не нужна. На отборе несколько этапов, но отдельно отмечу исследовательскую ML-задачу — решать ее можно было около двух недель. Главное — закладывать достаточно времени: я надеялась летом попасть хотя бы в три места (подаваться для этого лучше в десять), в итоге с марта по июнь отборы шли сплошным потоком — контесты, задачи, собеседования... Иногда кажется, что ничего не успеешь, но потом видишь, сколько всего освоено, получаешь абсолютно уникальные впечатления и понимаешь, что каждая потраченная минута того стоит!
