Статистические основы тестирования

 

Правильное тестирование учитывает статистические концепции, влияющие на прогностические возможности тестов и присущие им ограничения. Неправильное тестирование может сделать вас чересчур доверчивыми там, где нет оснований воспринимать результаты тестов в качестве прогноза. Оно может дать даже совершенно неверные ответы.

В главе 11 мы изучили все основные факторы, низводящие историческое моделирование на уровень грубого наброска будущего. Эта глава расскажет о том, как улучшить прогнозную составляющую тестов и узнать хоть и приблизительные, но максимально вероятные варианты развития событий.

Область статистики, связанная с формированием выборки из совокупности, является также основой для прогнозного потенциала тестов с использованием исторических данных. Основная идея заключается в том, что при достаточно большой выборке вы можете в определенных пределах применять результаты расчетов по ней для оценки всей совокупности. Поэтому если при выработке стратегии вы посмотрите на достаточно большую выборку прошлых сделок, то сможете сделать заключение о вероятном будущем развитии этой системы. Это тот же раздел статистики, который используют организации, изучающие общественное мнение. Например, опрашивая 500 случайно выбранных людей из разных штатов, имеющих право голоса, можно сделать вывод о настроениях всех голосующих жителей США. Аналогичным образом ученые оценивают действие лекарства для лечения какой-либо болезни на небольшой группе пациентов, так как для этого есть статистическая основа.

Два основных фактора, влияющих на статистическую достоверность предположений, основанных на изучении выборки, – это размер выборки и степень, в которой выборка является репрезентативной по отношению ко всей совокупности. Многие трейдеры и тестеры систем понимают смысл размера выборки на концептуальном уровне, однако полагают, что размер относится лишь к количеству сделок в тестовом исследовании. Они не понимают, что статистическая достоверность тестов может быть снижена даже при изучении тысяч сделок в случаях, когда правила или концепции применяются только к некоторым характеристикам сделок.

Также они часто игнорируют необходимость репрезентативности выборки относительно всей совокупности – и в этих случаях исследование становится запутанным, а измерения затрудняются без проведения субъективного анализа. Трейдер, тестирующий систему, предполагает, что прошлое в определенной степени представляет то, что принесет будущее. Если это действительно так, а выборка является достаточной, мы можем взять некоторые черты прошлого и применять их для оценки будущего. Если выборка нерепрезентативна, тестирование бесполезно и ничего не скажет нам о возможном будущем поведении тестируемой системы. Таким образом, предположение о репрезентативности является критически важным. Если считать, что репрезентативная выборка из 500 человек достаточна для того, чтобы определить с точностью до 2 процентов, кто может быть следующим президентом США, хватит ли опроса 500 участников Демократического национального собрания (органа, избирающего кандидата на должность президента от Демократической партии США) для получения картины по стране в целом? Конечно, нет – выборка не будет репрезентативной с точки зрения всего населения. Она будет состоять только из демократов, в то время как голосующее население США состоит также из республиканцев, не включенных в выборку. Возможно, республиканцы будут голосовать не за тех кандидатов, которые определились в вашем опросе. Если вы делаете ошибки такого рода в выборке, то в результате получите ответ, возможно, желаемый, но неправильный.

Социологи знают, что вопрос соответствия выборки совокупности является основным. Результаты опросов, проводимых с нерепрезентативной выборкой, являются неточными, и за проведение таких опросов увольняют. В трейдинге это тоже является ключевым вопросом. К сожалению, в отличие от социологов, которые в целом понимают статистику выборки, большинство трейдеров ее не понимают. Часто можно наблюдать, как трейдеры тестируют только недавние периоды. Это все равно что проводить опрос членов Демократического собрания о следующем президенте США.

Проблема тестов, проводимых на небольших интервалах, состоит в том, что за время такого интервала рынок может находиться в одном из двух состояний, описанных ранее в главе 2, например в состоянии стабильности (отсутствия тренда) и волатильности – в этих случаях хорошо работают стратегии торговли против тренда и учет отклонений от среднего значения. Однако если рынок изменяет свое состояние, методы тестирования становятся неприменимыми; их использование в этом случае приведет к потере денег. Поэтому тестирование должно проводиться таким образом, чтобы увеличить шансы на репрезентативность с точки зрения будущего сделок, включенных в тест.

 

Существующие измерения неустойчивы

 

Проводя тестирование, вы пытаетесь определить относительную результативность системы, оценить возможную результативность в будущем, а также выяснить, насколько обоснованна та или иная идея. Одна из проблем этого процесса состоит в том, что общепринятые показатели измерения нестабильны. Поэтому сравнительная оценка той или иной идеи затруднена – небольшие изменения за счет одной-двух сделок способны существенно повлиять на значения этих слабых показателей. Вследствие нестабильности измерений вы можете поверить в то, что идея более ценна, чем на самом деле, или отказаться от идеи, потому что она не кажется столь привлекательной, каковой является на самом деле, если к ее измерению применить более стабильные показатели.

Статистические исследования являются устойчивыми, если изменение небольшого набора данных не приводит к существенным изменениям результатов. Существующие показатели измерения слишком чувствительны к изменениям данных. Это одна из причин того, что при проведении исторического моделирования при анализе торговых систем небольшие изменения значения параметра существенно изменяют значения результирующих показателей. Сами по себе показатели не являются устойчивыми, иначе говоря, они чувствительны к небольшим информационным массивам. Соответственно, все, что влияет на эти информационные массивы, способно также существенно повлиять на результаты. В итоге дело может закончиться подгонкой, и вы будете дурачить себя результатами, недостижимыми в реальной жизни. Первый шаг в тестировании согласно Пути Черепах состоит в том, чтобы найти показатели измерения результативности, которые являются устойчивыми и независимыми от небольших изменений в исходных данных.

Во время собеседования перед началом программы Черепах Билл Экхардт спросил меня: «Знаешь ли ты, что такое устойчивый статистический показатель?» Я помолчал немного, а затем сказал: «Не имею никакого представления». Теперь я могу ответить на этот вопрос. Речь идет о разделе математики, занимающемся проблематикой несовершенной информации и неправильными предположениями, называемом статистикой надежности или робастной статистикой.

Из самого вопроса было ясно, что Билл осознавал несовершенную природу тестирования и исследования на базе исторической информации, а также понимал суть непознаваемого, – редкое качество для тех времен (да и теперь). Я думаю, что в этом и заключалась причина отличных результатов трейдинга Билла на протяжении многих лет.

Это – еще один пример того, насколько далеко по сравнению с другими игроками в отрасли продвинулись в своих исследованиях и размышлениях Рич и Билл. Чем больше я учусь, тем большее уважение испытываю к их вкладу в нас. И меня крайне удивляет, как недалеко продвинулась отрасль относительно того, что Рич и Билл знали в еще 1983 году.