Мнимое превосходство: почему торговые ИИ проигрывают простейшей стратегии
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН И РАСПРОСТРАНЕН ИНОСТРАННЫМ АГЕНТОМ THE BELL ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА THE BELL. 18+
Мечта превратить ИИ в идеальные, лишенные человеческих слабостей машины для заработка на фондовом рынке снова не проходит проверку реальностью: хотя некоторые работы показали, что LLM и системы ИИ-агентов на их основе демонстрируют повышенную доходность и лучшее управление рисками, при более тщательном тестировании это преимущество исчезает, пишет WSJ. Издание рассказывает, почему дальнейшее усложнение моделей и агентских систем едва ли поможет преодолеть недостатки ИИ.
Что тестировали
В исследовании, которое провела группа ученых из США, Великобритании и Южной Кореи, участвовало несколько систем на базе LLM (FinMem, FinAgent, FinRobot и FinGPT) — в основном открытые агентные системы, которые надстраивались над моделями GPT-4o или GPT-4o-mini.
Их сравнивали с тремя группами стратегий: традиционные вроде пересечения скользящих средних, статмодели-прогнозисты вроде ARIMA и алгоритмы обучения с подкреплением (RL), например Proximal Policy Optimization (PPO). Дополнительно исследователи тестировали простейшую стратегию «купи и держи». Всего в бэктесте участвовали 15 стратегий.
Как тестировали
Исследователи использовали данные о 7000 американских акций за период с 2000 по 2024 год, в том числе о делистингованных бумагах. Помимо котировок, датасет включал почти 16 млн финансовых новостей и всю отчетность, которую компании сдавали в SEC.
Сначала отбиралось по пять бумаг, которыми будут торговать стратегии. Использовалось четыре принципа: моментум, волатильность, случайный выбор и алгоритм FinCon.
Затем каждая из 15 стратегий тестировалась на каждой выбранной акции на 20-летнем периоде. Исследователи использовали принцип скользящих окон: каждый год усредненный результат по пяти акциям (доходность, волатильность и просадка, коэффициенты Шарпа и Сортино) фиксировался, а список акций пересматривался заново согласно выбранному принципу отбора.
Все это рассчитывалось с учетом комиссии $0,0049 за акцию (минимум $0,99 за заявку), а безрисковую ставку для расчета коэффициентов Шарпа и Сортино ученые установили на уровне 3% годовых. Для LLM-агентов дополнительно считали альфу и бету и рассчитывали их склонность к чрезмерно активной торговле.
В чем ценность
В предыдущих работах превосходство систем на базе LLM доказывалось на бэктестах за пару лет на котировках нескольких популярных акций. Это порождало сразу несколько проблем:
▪️ошибка выжившего: тестирование не включало делистингованные бумаги, занижая риски и завышая доходность;
▪️«подглядывание в будущее»: при принятии решения модель может использовать информацию, которая на тот момент времени не была известна;
▪️переобучение (overfitting): тренируясь на небольшом наборе данных, модель принимала шум за закономерности, и ее хорошие результаты неприменимы на настоящем рынке.
Очистив свой бэктест от этих искажений, исследователи получили более приближенные к реальности результаты.
Что получилось
При таком тестировании преимущества LLM-стратегий сошли на нет. Они показали излишнюю консервативность на растущем рынке и чрезмерную агрессивность на падающем и в итоге уступили почти всем остальным участникам. Сложность моделей только мешала: они изощренно анализировали статистический шум, пока более примитивные алгоритмы концентрировались на главном.
При этом на растущем рынке ни одна активная стратегия не сумела превзойти простейший подход «купи и держи». В боковике он стал третьим с незначительным отставанием от лидеров, и только на падающем рынке активное управление (но не LLM) было лучше.
Но хотя делегировать ИИ торговлю все еще не стоит, это не значит, что он бесполезен на фондовом рынке. Есть как минимум три области, в которых модели могут усилить возможности инвестора. Какие задачи можно поручить ИИ и каких ловушек стоит при этом избегать, мы подробно разобрали здесь (это платный материал🤷♂️).
📍 Подписаться на канал Bell.Инвестиции
#истории@thebell_invest
