Оптимизировать или не оптимизировать

 

Любому, кто верит, что полная оптимизация работает так же хорошо, как пропа­гандируется некоторыми поставщиками систем, не помешало бы прочитать "The Usefulness of Historical Data in System Parameters for Technical Trading Systems" Луиса Б. Лукаса и Б. Уэйд Брорсена. Их работа систематичная и полная. Они тестировали системы следования за трендом, прорыв канала и систему направленного движения Уайлдера, используя 20-летние данные. Единственной переменной, подвергавшейся оптимизации, было количество дней, использовавшееся в каждом вычислении. Этот параметр проходил через временной период от 2 до 60 дней с шагом в 5 дней.

Они сравнивали три различные схемы оптимизации со случайным тестом, кото­рый использовал случайные значения параметра из набора от 5 до 60 дней. Наиболее значительным открытием было то, что стратегии повторной оптимизации ничего не давали в смысле производительности системы. Каждый из методов оптимизации да­вал результаты, незначительно отличающиеся от результатов случайного теста. С использованием оптимизации или без, доходы были в районе от 50 до 60 процентов для системы прорыва канала и от 30 до 54 процентов для системы направленного движения Уайлдера. Они сформулировали следующее: "Результаты всех тестов гово-

рят, что предугадывающие возможности оптимизации ограничены. Оптимизация была не в состоянии прогнозировать набор параметров, который давал бы доход на порт­феле лучший, чем стратегия случайного выбора."

Позвольте нам особо подчеркнуть, что это был строго формальный тест, прове­денный с большим вниманием к деталям. Любой, кто утверждает, что полная оптими­зация работает лучше, чем простое слепое моделирование, столкнется с прямо проти­воположными результатами, которые были только что продемонстрированы.

Как избежать подстраивания под кривую

 

Некоторое подстраивание под кривую неизбежно. Было бы сложно и нежела­тельно разрабатывать техническое исследование без этого. Когда трейдер сверлит глазами график и видит, что 9-дневный RSI, кажется, лучше подходит для этого конкретного рынка, чем стандартный 14-дневный, он подстраивается под кривую. Так как это кажется простым и эффективным, остается только один шаг до тестиро­вания каждого параметра RSI. Как только этот процесс начинает давать прибыль­ные результаты, перестановки становятся практически бесконечными: "Нам лучше добавить еще несколько технических исследований, чтобы быть уверенными, что мы ничего не пропустили. Пока мы пользуемся этой системой, давайте оптимизиру­ем ее для правильного начального риска и лучших следящих остановок, чтобы она стала максимально полной." Конечным продуктом является система, заключающая в себе все лучшие побуждения и подогнанная под кривую в п-нои степени. Несмотря на то, что она хорошо выглядит на бумаге, шансы против того, что она будет рабо­тать в будущем, становятся астрономическими. Результаты оптимизации оказыва­ются прямо противоположными тем, которые казались бы очевидными. Чем лучше выглядит система и чем более полной и сложной является, тем с меньшей вероятнос­тью она добьется успеха.

Существует строгое объяснение того, почему оптимизация и подстраивание под кривую дают плохие результаты. Откровенно говоря, это настолько простая концеп­ция, что мы не можем понять, почему многие трейдеры не уделяют ей большее внимание. Каждому статистику известно понятие потери свободы. В терминах непрофессионала это значит, что каждый параметр,добавляющийся к торговой системе, представляет собой потерю степени контроля над конечной отдачей процедуры тестирования.Чембольше технических исследований или торговых правил вы вводите, тем менее здоро­выми и надежными будут результаты. Чем больше вы стараетесь улучшить систему, тем с меньшей вероятностью она будет работать так же, как при тестировании.

Вам следует иметь от двух до пяти переменных. Чем меньше переменных, тем более надежны результаты. Интересное следствие такого подхода заключается в том, что он позволяет вам оглянуться на собственную проделанную работу и быстро по­нять, является ли она подгонкой под кривую. Вероятность того, что система окажется подогнанной под кривую, напрямую зависит от количества переменных, использовавшихся при тестировании. Чем большее количество технических исследований и правил (особенно исключений из правил), тем больше модель подогнана под кривую. Остерегайтесь систем, которые настолько сложны, что требуют компьютера для того, чтобы с ними работать.

Другой путь избежать подстраивания под кривую - отказ от создания систем, настроенных на специфические рынки. Это ловушка, в которую просто попасть, и это также основной принцип подстраивания под кривую. Хорошая система не обязана исторически работать на всех рынках, чтобы быть успешной, но она должна работать на большинстве рынков с небольшим количеством изменений от рынка к рынку. Если вы должны изменять систему с тем, чтобы адаптировать ее к каждому рынку, то есть серьезный изъян в основной системе. Нам хорошо знаком тот аргумент, что каждый рынок обладает своим уникальным характером, но мы также помним времена, когда валютные фьючерсы практически не были волатильными, и времена, когда они де­монстрировали колебания стоимости контрактов на тысячи долларов в день. Рынки меняются, и лучшим способом добиться уверенности, что ваша система будет идти с ними в ногу, будет ее тестирование в неизменной форме на возможно большем количе­стве разнообразных рынков.

Прежде, чем мы оставим этот предмет, отметим еще одну более тонкую форму оптимизации. Мы говорим о практике прогонки исторических данных через компью­тер для нахождения "сезонности". Существует горстка известных трейдеров/авто­ров, которые предоставляют данные тестирования, демонстрирующие, что, если бы вы покупали конкретный товар в конкретный день каждый год и продавали его в другой конкретный день, вы бы увеличили свой доход в х раз. Это просто нонсенс, который не имеет абсолютно никакого статистического смысла или применения в торговле. Если мы захотим, аналитические возможности компьютера позволят нам оптимизировать данные вместо системы. Данные рассматриваются очень маленькими сегментами для получения точных дат, которые лучше всего подходили бы системе. Вместо подгонки под кривую системы, мы можем подогнать под кривую данные. Ко­нечно, существует множество очевидно логичных и иногда пригодных для использо­вания долгосрочных сезонностей (например, ежегодные падения цен во время сбора урожая), но остерегайтесь доводить следование сезонностям до абсурда. Любая се­зонная рекомендация по торговле, более специфичная, чем указание лучшего месяца для торговли, должна восприниматься с большим подозрением.

Выбор периода тестирования

 

Другой важной и часто недооцениваемой областью является выбор периода тестовых данных. По крайней мере, период тестирования должен быть достаточно продолжительным для проведения минимум 30 торгов на каждом рынке. Получение менее 30 торгов нарушает одно из основных правил теории выборок, которое гла­сит, что должно существовать по меньшей мере 30 точек данных для того, чтобы

набор данных отвечал нормальному распределению. Отметьте, что это касается не дней, недель или месяцев данных, а происшедших торгов. Любое число менее 30 произведет статистически ненадежные результаты. Чем больше количество торгов, тем лучше.

Не менее важно, чтобы рыночные периоды, которые вы тестируете, включали в себя как можно больше примеров всевозможных рыночных условии. Направления вверх, вниз и вбок являются простейшими (хотя и субъективными) примерами возмож­ных рыночных условий. Исследуемый вами период должен содержать как можно боль-¹ ше примеров. Нашей целью является моделирование возможных условий будущего путем включения максимального числа рыночных условий прошлого. Если тестовый период представлен только несколькими годами данных, это может повлечь за собой проблемы. Например, если рынок акций не имел периода серьезного падения цен, и соответственно на представленных данных по фьючерсам на фондовые индексы так­же не было серьезных падений, то тестирование на таких данных будет отдавать пред­почтение системам с бычьим уклоном. За все время своего существования рынки фон­довых индексов не дают данных достаточно, чтобы отвечать рыночным условиям будущего. Рынок нефти, с другой стороны, продемонстрировал нам разнообразие в значительно большей степени, и можно ожидать, что на его данных можно произвести более здоровую и устойчивую торговую систему. Давайте разъясним это иначе: ре­зультаты короткого периода тестирования на данных рынка сырой нефти могут дать более правдоподобные результаты, чем более продолжительный период тестирова­ния на индексах акций, потому что данные фондовых индексов пока содержат очевид­ный восходящий уклон. Система, основанная на покупках на рынке фондовых индек­сов, вероятно, даст лучшие результаты по сравнению с системой только продаж. Однако, как однажды заметил Йоги Берра: "Будущее не повторяется".

Интересное следствие заключается в том, что система никогда не должна иметь уклона одну из сторон рынка. Очевидно, за несколькими достопримечательными ис­ключениями, большая часть доходов на фондовых индексах будет приходиться на длинную сторону рынка. Это не означает, что торговая система должна отдавать предпочтение этой стороне. Система не должна иметь собственного мнения или укло­на в какую бы то ни было из сторон рынка. Если это кажется очевидным, вспомните, что в 70-х большая часть доходов на товарных рынках была получена на длинной стороне. Множество торговых систем, разработанных в этот период, стали по суще­ству системами бычьего рынка. Простейшим способом улучшить ваши результаты на этом периоде было сократить или вообще избавиться от коротких позиций. Мы подо­зреваем, что этот бычий уклон был принципиальной причиной слабой производитель­ности многих консультантов по товарным рынкам в начале 80-х.

Наше заключение: не существует строгого определения того, какое количество данных должен включать в себя тест. Если мы предположим, что средняя система следования за трендом торгует примерно раз в месяц на каждом рынке, то по меньшей мере три года должны браться в качестве минимального периода тестирования для

того, чтобы первичный тест произвел по крайней мере 30 торгов. Затем добавьте два или более лет для опережающего тестирования (мы объясним это позднее) и вы полу­чите пять лет, что и является обычно приемлемым минимумом. Добавьте еще времени, если рынок не был разноплановым (падающим, растущим, боковым) на изучаемом периоде. Вы должны включить в ваше исследование как можно больше разнообраз­ных рыночных условий.

Мы предпочитаем использовать большое количество данных и тестировать на различных временных периодах. Пока вы не проделаете этого сами, вы никогда пол­ностью не оцените, насколько иллюзорной может быть прибыльность торговой систе­мы, и насколько результаты тестирования зависят от выбора временного интервала. Мы очень настороженно относимся к системам, которые не были протестированы на временных периодах, отвечающих репрезентативной выборке рыночных условий.

Отметьте, как в таблице 3.1 на результаты влияет изменение временных отрез­ков, особенно это относится к убыткам. Отдача реагирует сходным образом, что под­водит нас к любопытной мысли. При проведении всех процедур оптимизации/тести­рования мы сконцентрировали внимание на совокупной отдаче как на единственном

критерии выбора оптимальных параметров для использования в последующих тестах или в торговле в реальном времени. В нашем простом примере отдачи примерно соот­ветствуют друг другу. Потери, однако, существенно различаются. Сколько трейде­ров хотели бы наяючить на убыток в $10000 при торговле контрактом со средним запасом примерно в $2500?

Этот пример на рисунке 3-1 иллюстрирует одну из редко упоминаемых опаснос­тей тестирования вообще, и оптимизации в частности. Когда вы тестируете для улуч-

шения только одного результата (обычно совокупной отдачи), вы игнорируете другие не менее важные данные. Мы рекомендуем проводить тестирование для серии пара­метров, а не только для одного. Мы понимаем, что это усложняет процедуру и во многом делает ее субъективной, но тестирование только для улучшения совокупной отдачи часто уводит с правильного пути и может оказаться опасным для вашего фи­нансового здоровья.