В этом посте я рассмотрю то, как мы можем более тщательно исследовать и улучшить торговую систему. Эта информация должна быть полезна для анализа любой системы, независимо от того, создали ли вы ее с нуля или купили ее у третьей стороны.
Первым шагом является работа над слабыми местами в самой системе.
Смещение даты начала
Самая большая слабость в системах, описанных мною ранее, является дата начала смещения.
Другими словами, поскольку каждая система покупает корзину из 10 акций в определенную дату ((1/8/2000)), доходность чрезвычайно зависит от того, какие 10 акций были куплены в то время.
Например, если система начнется с 1 сентября, вместо 1 августа, корзина купленных акций, вероятно, будет совсем другой. И, следовательно, тип достигнутого возвращения результата также может быть очень различным.
К сожалению, проблема смещения даты начала не может быть полностью преодолена, но есть некоторые вещи, предприня которые, мы сделаем наши результаты более надежными.
Переместить дату начала
Самый очевидный выбор — перевести систему вперед или назад и попробовать разные даты начала. Если система работает аналогичным образом, то это предполагается, что она надежна.
Если же она плохо работает на более раннем периуде времени, то хорошая отдача, полученная ранее, скорее всего, является результатом простого удачного стечения обстоятельств.
Чтобы пойти дальше, возьмем систему 8 из книги под названием «Прорыв с подтверждением EMA». Это простая стратегия прорыва, которая использует кроссовер EMA в качестве фильтра для торговли. Фактическая статистика по моему тесту этой системы произвела CAR 17,49% с максимальной просадкой 27%.
Если мы переместим дату начала тестирования на 6 месяцев, система начнется с 1 февраля 2001 года вместо 1 августа 2000 года. Мы получаем следующие результаты:
Как вы можете видеть, дата начала никак не влияет на эту систему.
Перемещение теста назад на шесть месяцев фактически привело к более высокому 10-летнему доходу с 18,77% CAR, хотя максимальная просадка увеличилась до -32%.
Из этого следует, что система не сильно зависит от удачной даты начала. Это хорошая новость для этой конкретной системы.
Попробуйте различные списки наблюдения
Еще один шаг, чтобы проверить надежность системы — это проверить ее на различных акциях или контрольных списках.
Как я уже сказал, отдача системы в значительной степени зависит от акций которые система удерживает с самого начала.
Поэтому, если мы изменим контрольный список, мы увидим, работает ли система на разных количествах акций.
Например, вместо тестирования системы на 500 акциях S&P 500, вы можете попробовать протестировать ее на 10 группах из 50 акций или 50 групп из 10 акций. Или вы можете запустить её на разных фондовых рынках, таких как Nasdaq или лондонской FTSE 100.
Чтобы проверить это, давайте вновь возьмем Систему 8, которая была запущена по всем акциям S&P 500, и проверим ее на 10 группах из 50 акций.
Как видно из таблицы, система не работает также над отдельным спискам наблюдений. Средний CAR был ниже, а максимальная просадка повысилась.
Это говорит о том, что система не так хорошо работает с меньшими списками наблюдения.
Это может иметь смысл, поскольку системы, поддерживающие тренды, лучше всего работают, когда они могут использовать множество сигналов.
Зато, ни одно тестирование не повлекло потерю денег, поэтому система может быть хорошим началом для дальнейшей оптимизации.
Мы можем дополнительно проанализировать систему, посмотрев на производительность отдельных тикеров. Возможно некоторые акции просто находились не в тренде и поэтому могут быть исключены из списка наблюдения? Может быть, мы могли бы найти способ выхода из акций, которые не идут ни в каком направлении?
Вычёркивание акций
Как я уже говорил, системные трейдеры также сталкиваются с проблемой удаления деривативных акций из своих бэктестов. Это — проблема, потому что вычеркивание запакованных акций может быть дорогими и сложно организованным процессом.
Системные трейдеры испытывают трудности с оценкой того, сколько акций было снято с биржи в течение определенного периода времени и их включением в анализ.
Не все торговые системы подвержены влиянию исключению определенных данных, но для проверки этого еще раз я взял систему 8 и протестировал ее на данных, которые включали в себя вычеркнутые из списка акции.
Для этого теста я взял полный список наблюдения из 4000 акций США и включил 1500 вычеркнутых акций временного периода.
Как вы можете видеть, включение вычеркнутых из списка тикеров привело к значительному снижению прибыли до 7,90% CAR. Также до -45% поднялась просадка.
Затем я подумал, что произойдет, если я полностью избавлюсь от коротких позиций и результаты были довольно интересны…
Вы могли бы ожидать, что короткие позиции помогут системе, которая торгует вычеркнутыми из списка акциями, но наоборот.
Как вы можете видеть из таблицы, долгосрочная торговля по одной и той же системе привела к увеличению прибыли в размере 14,90%. Обнадеживающий признак.
Это лишь некоторые из шагов, которые следует предпринять при анализе торговой системы. Чем больше давления вы окажете, тем лучше она будет действовать, когда будет работать на живом графике.
Существует еще одно предубеждение, которое должны решить трейдеры, и о чем, я сейчас расскажу.
Действительны ли данные взятые из примера?
В своей старой работе (уже и не упомню какой) я подчеркивал важность сохранения некоторых данных из выборки, и я считаю, что я был прав в этом. Чистка данных от «мути» — лучший способ протестировать систему после ее разработки.
Однако важно выявить, что данные о акциях никогда не выходят за рамки выборки.
Например, я могу не проверять какие-либо данные за период с 2016 по 17 год, и я, возможно, не буду знать о работе каждой акции за это время. Но, я знаю, что случилось с общей картиной рынка за это время.
Поскольку я проявляю интерес к рынкам, я уже знаю, что рынок был более волатилен в 2015 году, сильным в 2016 году и еще более сильным в 2017 году, и это дает мне предвзятость при повторном тестировании. Точно так же, как я знаю, что в 2014 году у нас был большой кризис, а в 2008 году у нас был технический пузырь.
Это предвзятость, которую невозможно преодолеть независимо от того, насколько вы скрупулезны с принципами интеллектуального анализа и сохранности ваших данных по отдельности.
Вот почему это так важно для «бумажной торговли» и почему всегда существует некоторый риск, связанный с финансовой торговлей.
