Путь Черепах. Из дилетантов в легендарные трейдеры
Шрифт:
Как я уже говорил, люди склонны уделять слишком много внимания редким случаям возникновения какого-то феномена, несмотря на то что со статистической точки зрения из нескольких случаев невозможно извлечь много информации. Это – основная причина подгонки. Правила, которые вступают в действие нечасто, могут вызывать ненамеренную подгонку, приводящую к расхождениям между результатами тестирования прошлого и реального трейдинга.
Хорошим примером этого является сезонность. Тестирование сезонных изменений на протяжении 10 лет предполагает изучение всего 10 случаев возникновения определенного сезонного феномена – со статистической точки зрения такая выборка недостаточна, поэтому все тесты с ее использованием не дают точных прогнозов на будущее.
Давайте
Я проделал это для системы, описанной в данной главе. Я провел около 4000 тестов, уменьшавших значение позиции в начале каждого месяца на некоторое количество процентов в течение нескольких дней, а по истечении этого периода начинал вновь торговать в полную силу. За десятилетний период тестирования я обнаружил всего два периода, в которых эти действия приводили к изменениям. Если сокращать позиции на 96 процентов в первые два дня сентября и первые 25 дней июля, можно улучшить результаты. Хотите узнать насколько?
Применение правила улучшает отдачу с 45,7 до 58,2 процента, падение немного вырастает с 39,2 до 39,4 процента, а коэффициент MAR растет с 1,17 до 1,48. И вновь мы думаем, что это отличное правило и что с его применением система заработает лучше.
К сожалению, это правило работает только потому, что в эти периоды в прошлом было существенное падение. Маловероятно, что падения в эти конкретные периоды вновь повторятся. Это – пример самой неправильной подгонки. Удивительно, как много людей, толковых во всех прочих вопросах, умудряются попасться на эту удочку.
Не зная истинной причины, можно подумать, что это отличная система для начала трейдинга. Возможно, вы даже начнете собирать деньги на трейдинг у друзей и родственников, рассказывая им об этой прекрасной системе и ее результатах. Проблема только в том, что на самом деле ваша система приносит не 58,2, а 41,4 процента, падение составляет не 39,4, а 56,0 процентов, а коэффициент MAR равен не 1,48, а 0,74. В итоге все закончится разочарованием в реальных результатах – к сожалению, вы были слишком увлечены легкими поправками системы, что привело к подгонке кривой.
Далее мы обсудим возможности предотвращения проблем, описанных в этой главе. Я покажу вам способы минимизации эффекта трейдера, определения случайных эффектов, корректной оптимизации и предотвращения сверхоптимизации исторических данных – так, чтобы, используя ту или иную систему, вы могли получить реальные сведения, а не иллюзорные прогнозы.
Глава 12
На твердой почве
Торговать с использованием слабых методов —
все равно что жонглировать, стоя в шлюпке
во время шторма. Конечно, это можно делать,
но гораздо проще жонглировать, стоя на твердой почве.
Теперь, когда вы уже знакомы с основными причинами неточных результатов исторических тестов, давайте рассмотрим основные принципы правильного тестирования прошлого.
В лучшем случае вы можете получить лишь примерное представление о том, как связано будущее с результатами исторического моделирования. Но к счастью, даже примерное представление может обеспечить хорошему трейдеру перевес, достаточный для того, чтобы заработать много денег. Чтобы при оценке ваших идей проанализировать важность факторов, влияющих на величину ошибки или уровень неточности, необходимо рассмотреть несколько основных статистических концепций, лежащих в основе исторического тестирования. Так как я не большой любитель книг, напичканных формулами и пространными объяснениями, то постараюсь быть прост в аспекте математики и понятен в объяснениях.
Статистические основы тестирования
Правильное тестирование учитывает статистические концепции, влияющие на прогностические возможности тестов и присущие им ограничения. Неправильное тестирование может сделать вас чересчур доверчивыми там, где нет оснований воспринимать результаты тестов в качестве прогноза. Оно может дать даже совершенно неверные ответы.
В главе 11 мы изучили все основные факторы, низводящие историческое моделирование на уровень грубого наброска будущего. Эта глава расскажет о том, как улучшить прогнозную составляющую тестов и узнать хоть и приблизительные, но максимально вероятные варианты развития событий.
Область статистики, связанная с формированием выборки из совокупности, является также основой для прогнозного потенциала тестов с использованием исторических данных. Основная идея заключается в том, что при достаточно большой выборке вы можете в определенных пределах применять результаты расчетов по ней для оценки всей совокупности. Поэтому если при выработке стратегии вы посмотрите на достаточно большую выборку прошлых сделок, то сможете сделать заключение о вероятном будущем развитии этой системы. Это тот же раздел статистики, который используют организации, изучающие общественное мнение. Например, опрашивая 500 случайно выбранных людей из разных штатов, имеющих право голоса, можно сделать вывод о настроениях всех голосующих жителей США. Аналогичным образом ученые оценивают действие лекарства для лечения какой-либо болезни на небольшой группе пациентов, так как для этого есть статистическая основа.
Два основных фактора, влияющих на статистическую достоверность предположений, основанных на изучении выборки, – это размер выборки и степень, в которой выборка является репрезентативной по отношению ко всей совокупности. Многие трейдеры и тестеры систем понимают смысл размера выборки на концептуальном уровне, однако полагают, что размер относится лишь к количеству сделок в тестовом исследовании. Они не понимают, что статистическая достоверность тестов может быть снижена даже при изучении тысяч сделок в случаях, когда правила или концепции применяются только к некоторым характеристикам сделок.
Также они часто игнорируют необходимость репрезентативности выборки относительно всей совокупности – и в этих случаях исследование становится запутанным, а измерения затрудняются без проведения субъективного анализа. Трейдер, тестирующий систему, предполагает, что прошлое в определенной степени представляет то, что принесет будущее. Если это действительно так, а выборка является достаточной, мы можем взять некоторые черты прошлого и применять их для оценки будущего. Если выборка нерепрезентативна, тестирование бесполезно и ничего не скажет нам о возможном будущем поведении тестируемой системы. Таким образом, предположение о репрезентативности является критически важным. Если считать, что репрезентативная выборка из 500 человек достаточна для того, чтобы определить с точностью до 2 процентов, кто может быть следующим президентом США, хватит ли опроса 500 участников Демократического национального собрания (органа, избирающего кандидата на должность президента от Демократической партии США) для получения картины по стране в целом? Конечно, нет – выборка не будет репрезентативной с точки зрения всего населения. Она будет состоять только из демократов, в то время как голосующее население США состоит также из республиканцев, не включенных в выборку. Возможно, республиканцы будут голосовать не за тех кандидатов, которые определились в вашем опросе. Если вы делаете ошибки такого рода в выборке, то в результате получите ответ, возможно, желаемый, но неправильный.