Перейти к содержимому

Theme© by Fisana
 

Фотография
* * * * - 10 Голосов

Тестирование советников. Back тесты.


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 959

#121 swi-1

swi-1

    Почётный житель форума

  • Профи
  • PipPipPipPipPipPipPipPipPipPipPipPipPip
  • 1117 сообщений

Отправлено 19 January 2011 - 23:21

Если не кто не против то я продолжу. Буду предлагать, а вы тестировать.

1 HarvesterR3 как написано с 500 до 100000 за год нагнал. СКАЧАТЬ

2 RelativeR2 опять же написано что с 500 до 23000 за год. Без единого ордера в минус. СКАЧАТЬ

Но как я понял мин они торгуют по 0.1. И настройки лучше изменить под себя.

И можно вопрос есть ли значение каким я брокером пользуюсь? То есть если тест проведен не на таком же то итог может быть другой?

По последнему вопросу.
От брокера зависят не только результаты тестирования, но и само существование Вашего депозита.
У разных ДЦ котировки не на много, но отличаются.
Для выводов о применимости эксперта, в большинстве случаев, эти различия не существенны.
Сами результаты, профитность, просадка и т.д., т.е. конкретные цифры будут разными.

 
 

#122 swi-1

swi-1

    Почётный житель форума

  • Профи
  • PipPipPipPipPipPipPipPipPipPipPipPipPip
  • 1117 сообщений

Отправлено 19 January 2011 - 23:40

HarvesterR3 тестируем

Начнем с авторского описания.

"Советник, работающий по показаниям индикатора Laguerre,
который должен быть предварительно помещен в папку MetaTrader4/experts/indicators
и подцеплен к графику. Индикатор лучше анализирует большой период времени,
поэтому период графика - D1 или Weekly, оптимальная пара GBPUSD
(по результатам теста).
ТС - рост и понижение Laguerre довольно точно соответствуют тренду,
что и позволяет открываться в соответствующую сторону.
Работа ведется лотом 0.10 в начале, потом лот пропорционален фактическому балансу.
После каждого минуса, размер лота разово снижается до 0.10,
как мера противодействия возможной "полосе невезения".
Автономность - советник может работать как полностью автоматически
(для этого нужно включить в МТ опцию "Сервис -> Настройки -> Советники,
Разрешить советнику торговать"), так и в полуручном режиме.
Открывает 1 позицию только когда нет текущих открытых позиций.
Изменяемые переменные :
Hours = 0; - во сколько часов,
Мinutes = 0; - и во сколько минут он будет срабатывать*
RazVSutki = true; - работать ли раз в сутки (по умолчанию - да)
*Выставить удобное себе время, и всегда запускать МТ за несколько минут до этого.
Т.е. он работает 1 раз в сутки, строго в указанный час и минуту.
Если не сработал в это время - значит,
коньюнктура не располагает к открытию.
Прогон по истории за весь 2005 год показал следующий результат :
входное депо = 500
выходное депо = 100.000 (!)
Отчет тестера прилагается."

Делаем все, как здесь написано, сохраняя настройки автора,
прогоняем на истории по фунту за год и получаем результат.
выкладываю оба теста наш и авторский для сравнения, отличия только во времени.
На визуализации кроме Laguerre видны еще мувинг 120 и Commodity Channel Index.
Настроек для пользователя, кроме установки времени входа в рынок, нет.
Оптимизировать нечего. Конечно, из любопытства,
я поиграл настройками времени и рабочим таймфреймом при прогонах,
удалось даже получить профитные результаты,
но вряд ли на этом можно строить положительный вывод о применимости эксперта.
Замечу, что стопы советник ставит 10-12п. Короткие стопы почти всегда срабатывают.
Картинки показываю.
визуализация HarvesterR3.jpg
0.jpg
1.jpg

#123 swi-1

swi-1

    Почётный житель форума

  • Профи
  • PipPipPipPipPipPipPipPipPipPipPipPipPip
  • 1117 сообщений

Отправлено 20 January 2011 - 12:58

RelativeR2 тестируем

Сначала, слово автору:
"Советник, работающий по показаниям стандартного в МТ индикатора
Stochastic Oscillator, который лучше предварительно подцепить к графику.
Оптимальные значения достигаются при использовании периода H1 (часовик),
оптимальная пара GBPUSD (по результатам теста).
ТС - сопоставляя SO с рядом других инструментов и отсеивая лишние "шумы",
мы определяем направление тренда,
что и позволяет открываться в соответствующую сторону.
Работа ведется 1 лотом 0.10 в начале,
потом лот пропорционален фактическому балансу.
Автономность - советник может работать как полностью автоматически
(для этого нужно включить в МТ опцию "Сервис -> Настройки -> Советники,
Разрешить советнику торговать"), так и в полуручном режиме.
Открывает 1 позицию только когда нет текущих открытых позиций, сразу.
Поэтому кол-во сделок довольно большое - по нескольку в день
(торговля "интрадей" - внутри дня).
Изменяемые переменные :
TP = 98; - TakeProfit,
SL = 1000; - StopLoss (чисто символический;
допускается "закрывать минус" вручную),
Risk = 1.301; - степень риска для увеличения размеров лота
пропорционально балансу счета
SO на периоде H1 являет собой визуально "плавные волны",
в общем совпадающие с графиком изменения цены.
Это его ценное свойство позволяет определять оное движение
с высокой долей вероятности - тест на истории за год показал
практически полное отсутствие минусовых сделок !
Прогон по истории за весь 2005 год показал следующий результат :
входное депо = 500
выходное депо = 23.000, очень плавной экспонентой
Отчет тестера прилагается.
Для ТЕСТА использован период H1 (часовик),
для того чтобы Stochastic Oscillator анализировал
нормальный диапазон времени (не маленький).
ВНИМАНИЕ ! Советник работает 1 раз в час,
т.е. ровно в 00 минут каждого часа.
В другие минуты он НЕ открывает позиций."

Смущает сразу огромный (символический) стоп и маленький депозит при лоте 0.1.
Но, исполняем все, как пишет автор советника.
Делаем прогоны в тестере с авторскими параметрами на двух разных МТ4,
результат одинаковый: слив депо с первой сделки.
Пробуем изменять настройки.
Для начала депозит возьмем 10000,
чтобы увидеть ситуацию до слива депо.
Параметры ставим: риск =1, затем стоп покороче от 30п до 200п.,
потом тейк варьируем с 10п. до 500п.
Гоняем эксперта.
Депозит 10000 ситуацию не изменил,
т.к. советник ставит лот в зависимости от депо - 1 лот
и депо сливается при любых вариантах настроек.
Последний заход: определяем, как эксперт "видит" направление рынка,
ставим тейк равный профиту = 100п. и пускаем визуализацию.
Результат: не полный слив депо за год.
Получается, что профитности нам здесь не увидеть.
Результаты тестов в картинках и полные версии в архиве выкладываю.
0.jpg
1.jpg
3.jpg
Прикрепленный файл  результаты тестов RelativeR2.rar   31.91К   26 скачиваний

#124 Olej

Olej

    Почётный житель форума

  • Свой человек
  • PipPipPipPipPipPipPipPipPipPip
  • 411 сообщений

Отправлено 20 January 2011 - 15:10

Очень интересная тема, прочитал с большим интересом, особенно благодарен swi-1 за интересные результаты...
Для тех, кто интересуется автоматическим трейдингом и программированием - это пожалуй самая интересная тема форума.

Я достаточно много пишу своих (простых - убеждён: хорошо работать может только простое и ясное) советников (некоторые показывают неплохие результаты, если интересно - выкину сюда для обсуждения) и много тестирую...
Но вот для меня вопросы, которые не во всех деталях для меня ясны:
- что мы вообще тестируем в MT4?
- насколько эти результаты (и при каких настройках и условиях) имеют хоть что-то общее с вещами реальными?
- почему на тестах MT4 от разных ДЦ получаются разные результаты? т.е. у них одни и те же котировки отличаются? кто какими ДЦ пользуется при тестировании?
- почему повторные прогоны одного и того же советника, в одном МТ, при абсолютно тех же настройках - могут давать несколько отличающиеся результаты? пусть и не сильно - но это "звоночек"...
И т.п.

Это всё - вопросы методики измерений... а не конкретных советников.
Но в теории любых измерений - методики это первейшее, если нет чётких методик, то намерянные результаты - это неизвестно что :)

P.S. всё это же, что сказано о тестировании, относится и к оптимизации...
Вот, в частности:
- встречал ли кто и где, что означает флажок оптимизации "генетический алгоритм", который по умолчанию всегда включен?
  • swi-1 это нравится

#125 swi-1

swi-1

    Почётный житель форума

  • Профи
  • PipPipPipPipPipPipPipPipPipPipPipPipPip
  • 1117 сообщений

Отправлено 20 January 2011 - 20:45

lucky-2.4 тест

Советник скачал на нашем форуме пост№120.
Как и два предыдущих, выложил Temka599.

Попробуем официально потестить этот советник.
Не официальное мнение о нем у меня сложилось уже несколько лет назад.
Тогда, только появились первые версии.

Слово авторам робота:

"В результате длительной работы по оптимизации,
нашей командой была выпущена версия советника Lucky 2.4.
ОБРАТИТЕ ВНИМАНИЕ НА ОПИСАНИЕ ПАРАМЕТРОВ!!! Произошло много изменений.
Советник, из-за специфики используемых в нём индикаторов,
чувствителен к торгуемой валюте и таймфрейму.
Т.е. он должен торговать по ОПРЕДЕЛЁННОЙ валютной паре
и на ОПРЕДЕЛЁННОМ таймфрейме. На тех, на которые он настроен.
В связи с этим в новой версии параметрами задаётся инструмент SYMBOL
(по умолчанию EURUSD) и период PERIOD (по умолчанию H1).
Эта версия не зависит от таймфрейма и символа выбранного на графике,
но всё же, для корректной подкачки истории,
рекомендуется открывать тот же символ и таймфрейм.
Просто кратковременные переключения графика не влияют на его работу.
С остальными параметрами, выставленными по умолчанию,
советник также отлично работает на парах USDJPY, AUDUSD, USDCHF.
На фунте и кроссах результаты хуже. Нужно подбирать параметры.
На коротких таймфреймах прибыльность советника сильно зависит
от выбора брокера. Т.к. в режиме быстрого минутного рынка советник
постоянно торгует беря минимальную прибыль,
то решающую роль оказывает проскальзывание, спрэд и задержки брокера
при исполнении приказов."

Дальше следуют подробные инструкции по настройкам и советы по тестированию.
Все цитировать, наверное, нет смысла. Кому интересно, почитает, скачав архив.
В архиве есть подробное описание, сам советник, но нет показательно-рекламного теста.
Сравнивать не с чем. Значит буду выкладывать, то что натестим.
Традиционно, соблюдая все авторские рекомендации и сохраняя настройки, первый прогон.
Символ EURUSD, депо 10000, таймфрейм Н1, лот 0.1 за последний год.
Полный слив депо.
Тестируется очень медленно, более 20 мин., авторы не соврали.
Попытки получить профит будем делать на последних месяцах,
дабы не растягивать процесс поиска настроек на целый день.
Сразу подытожу, что профитные настройки получить удалось наконец-то, но...
Но профит меньше просадки раз в 10!
Думаю, такой профит нам не интересен.
Т.к. на реальный вопрос: "Когда же баксы снимать?", можно только развести руками...
Выкладываю скрины результатов тестирования.
Приношу извинения за качество котировок, со временем оно только ухудшается,
а закачивать новую историю, совершенно некогда.
0.jpg
1.jpg

#126 Temka599

Temka599

    Не сидит в окопе

  • Пользователи
  • PipPipPipPipPip
  • 87 сообщений

Отправлено 20 January 2011 - 20:54

swi-1 огромное вам спасибо за ваши консультации!
Нашёл интересную веточку вот /*удалено*/. Пересказывать нет смысла но суть в том что автор выставил свой советник на обозрение и все вместе его тестируют. Вроде тесты и сам советник не чё. Когда доработают :) .

Сообщение отредактировал Necron: 21 January 2011 - 06:26
несанкционированная ссылка

Я лучше стоя сдохну, чем на коленях буду жить!

#127 Olej

Olej

    Почётный житель форума

  • Свой человек
  • PipPipPipPipPipPipPipPipPipPip
  • 411 сообщений

Отправлено 20 January 2011 - 21:14

Нашёл интересную веточку вот /*удалено*/. Пересказывать нет смысла но суть в том что автор выставил свой советник на обозрение и все вместе его тестируют. Вроде тесты и сам советник не чё. Когда доработают :) .


Может и так (что суть в том что... (с))...

Но:

1.

MULTI BARACUDA 2011

- насколько я понимаю, мультивалютные советники (по крайней мере их мультивалютное тестирование) допустимы в MT5, но не MT4.


2. эта страница о-о-о-очень похожа на скрытую рекламу WWW-ресурса /*ссылка удалена модератором */ URL которого легко читается на обложке той красивой коробки.

Сообщение отредактировал Necron: 21 January 2011 - 06:26
несанкционированная ссылка


#128 Olej

Olej

    Почётный житель форума

  • Свой человек
  • PipPipPipPipPipPipPipPipPipPip
  • 411 сообщений

Отправлено 20 January 2011 - 21:31

Приношу извинения за качество котировок, со временем оно только ухудшается,
а закачивать новую историю, совершенно некогда.


Подскажите, пожалуйста, чтобы можно было сравнивать результаты тестирования и искать несоответствия:

1. на котировках какого ДЦ вы тестируете? откуда скачан дистрибутив MT4: Alpari, NordFX, ещё откуда?

2. что имеется в виду под "закачивать новую историю"? как я понимаю:

- подгруженные истории для открытых валютных инструментов хранятся в файлах *.hst, например в .../Program Files/MetaTrader NordFX/history/NordGroupInv-Demo, эти истории котировок можно подгрузить по меню правой мыши + "Обновить" (я работаю в Linux под Wine и для меня такое очень актуально); но эти котировки не имеют никакого касательства к тестированию.

- автономно подгруженные (F2) архивы котировок - хранятся как файлы *.dat в /Program Files/MetaTrader NordFX/history/downloads/EURUSD; они также не имеют отношения к тестированию.

- наконец, истории котировок для тестов сценариев - хранятся в файлах *.fxt совсем в другом месте, в /Program Files/MetaTrader NordFX/tester/history ... (в online руководстве в MT4 даже есть описание формата *.fxt ... непонятно, зачем в руководстве такого уровня?).

Что и как можно "закачать", "догрузить", или "перегрузить" относительно той истории, которую использует тестер?
Спасибо ... что дочитали :)

#129 swi-1

swi-1

    Почётный житель форума

  • Профи
  • PipPipPipPipPipPipPipPipPipPipPipPipPip
  • 1117 сообщений

Отправлено 20 January 2011 - 22:19

Подскажите, пожалуйста, чтобы можно было сравнивать результаты тестирования и искать несоответствия:

1. на котировках какого ДЦ вы тестируете? откуда скачан дистрибутив MT4: Alpari, NordFX, ещё откуда?

2. что имеется в виду под "закачивать новую историю"? как я понимаю:

- подгруженные истории для открытых валютных инструментов хранятся в файлах *.hst, например в .../Program Files/MetaTrader NordFX/history/NordGroupInv-Demo, эти истории котировок можно подгрузить по меню правой мыши + "Обновить" (я работаю в Linux под Wine и для меня такое очень актуально); но эти котировки не имеют никакого касательства к тестированию.

- автономно подгруженные (F2) архивы котировок - хранятся как файлы *.dat в /Program Files/MetaTrader NordFX/history/downloads/EURUSD; они также не имеют отношения к тестированию.

- наконец, истории котировок для тестов сценариев - хранятся в файлах *.fxt совсем в другом месте, в /Program Files/MetaTrader NordFX/tester/history ... (в online руководстве в MT4 даже есть описание формата *.fxt ... непонятно, зачем в руководстве такого уровня?).

Что и как можно "закачать", "догрузить", или "перегрузить" относительно той истории, которую использует тестер?
Спасибо ... что дочитали :)


Спасибо, за демонстрацию знаний и за развернутый вопрос.
Чувствуется программист.
Я в программировании никак, к сожалению.
Давно хотел разобраться с котировками, т.е. узнать,
как правильно и грамотно их закачивать и понять,
почему они меняются со временем не в лучшую сторону.
Думаю, Вы поможете в этом вопросе? И не только мне :) .
Я делаю это примитивно, ставлю свежий МТ4
от MetaQuotes Software Corp и закачиваю весь возможный архив по нужным мне парам.
В этом случае какое-то время тесты проходят с оценкой 90%.
Если этот МТ4 висит в инете и на нем ведется торговля, то через месяц другой,
качество тестирования меняется на n/а.
То-же самое проделываю и с МТ4 других ДЦ, для работы их тестеров.
Часто использую МТ4 NordFX.
Т.е. архив тоже от MetaQuotes Software Corp.
Хотя подозреваю, что последнее не очень корректно.

#130 Olej

Olej

    Почётный житель форума

  • Свой человек
  • PipPipPipPipPipPipPipPipPipPip
  • 411 сообщений

Отправлено 20 January 2011 - 22:55

Думаю, Вы поможете в этом вопросе? И не только мне B) .


Обязательно постараюсь :)
Потому как сам в MT4/5 очень хочу понять: что там есть обман от ДЦ, что - ошибки и некомпетентность тех, кто объясняет и учит, где - принципиальные ограничения и сложности, и как можно понимать тестовые данные (а потом их использовать в реале).
Но мне для этого придётся время от времени вас донимать разными вопросами ... о том, что вы наблюдали.

Я делаю это примитивно, ставлю свежий МТ4
от MetaQuotes Software Corp и закачиваю весь возможный архив по нужным мне парам.
В этом случае какое-то время тесты проходят с оценкой 90%.
Если этот МТ4 висит в инете и на нем ведется торговля, то через месяц другой,
качество тестирования меняется на n/а.


Ух ты! :)
Как всё запущено!

#131 swi-1

swi-1

    Почётный житель форума

  • Профи
  • PipPipPipPipPipPipPipPipPipPipPipPipPip
  • 1117 сообщений

Отправлено 20 January 2011 - 23:04

Обязательно постараюсь Изображение
Потому как сам в MT4/5 очень хочу понять: что там есть обман от ДЦ, что - ошибки и некомпетентность тех, кто объясняет и учит, где - принципиальные ограничения и сложности, и как можно понимать тестовые данные (а потом их использовать в реале).
Но мне для этого придётся время от времени вас донимать разными вопросами ... о том, что вы наблюдали.



Ух ты! Изображение
Как всё запущено!


Донимайте, что знаю выложу. Опыт в основном импирический, близко к основному научному "методу тыка".
Я Вас тоже поспрашиваю взаимно. Мы же по одну сторону баррикад?

#132 swi-1

swi-1

    Почётный житель форума

  • Профи
  • PipPipPipPipPipPipPipPipPipPipPipPipPip
  • 1117 сообщений

Отправлено 20 January 2011 - 23:05

Очень интересная тема, прочитал с большим интересом, особенно благодарен swi-1 за интересные результаты...
Для тех, кто интересуется автоматическим трейдингом и программированием - это пожалуй самая интересная тема форума.

Я достаточно много пишу своих (простых - убеждён: хорошо работать может только простое и ясное) советников (некоторые показывают неплохие результаты, если интересно - выкину сюда для обсуждения) и много тестирую...
Но вот для меня вопросы, которые не во всех деталях для меня ясны:
- что мы вообще тестируем в MT4?
- насколько эти результаты (и при каких настройках и условиях) имеют хоть что-то общее с вещами реальными?
- почему на тестах MT4 от разных ДЦ получаются разные результаты? т.е. у них одни и те же котировки отличаются? кто какими ДЦ пользуется при тестировании?
- почему повторные прогоны одного и того же советника, в одном МТ, при абсолютно тех же настройках - могут давать несколько отличающиеся результаты? пусть и не сильно - но это "звоночек"...
И т.п.

Это всё - вопросы методики измерений... а не конкретных советников.
Но в теории любых измерений - методики это первейшее, если нет чётких методик, то намерянные результаты - это неизвестно что :)

P.S. всё это же, что сказано о тестировании, относится и к оптимизации...
Вот, в частности:
- встречал ли кто и где, что означает флажок оптимизации "генетический алгоритм", который по умолчанию всегда включен?


Грамотные и интересные вопросы.
Под некоторыми утверждениями подпишусь обеими руками:
"хорошо работать может только простое и ясное".
Есть инструмент: ТЕСТЕР МТ4 и мы с его помощью говорим: этот эксперт не нравится или: в этом, что-то есть...
Конечно, инструментом можно пользоваться по разному. Тут и привычки и знания и лень роль играют.
Только реал, время и статистика дадут конечную оценку вероятностей тех или иных действий советника,
а тест это лишь моделирование.
Любая модель, это лишь приближение к оригиналу
и частенько совсем не большое сходство дает возможность понять многое.
Точность приближения конечно зависит от методики измерений.
Хорошо было бы почитать методику тестирования советников типа пошагового алгоритма действий
подробнее, чем в инструкции к МТ4.
Часть Ваших вопросов повиснет в воздухе до прихода сюда того, кто сможет вразумительно на них ответить :).
Мне очень интересны Ваши советники. Выкладывайте, с удовольствием посмотрим!

#133 Temka599

Temka599

    Не сидит в окопе

  • Пользователи
  • PipPipPipPipPip
  • 87 сообщений

Отправлено 20 January 2011 - 23:29

swi-1 я с вами солидарен. Olej покажите и предоставьте на тестирование ваших советников!
Я лучше стоя сдохну, чем на коленях буду жить!

#134 Olej

Olej

    Почётный житель форума

  • Свой человек
  • PipPipPipPipPipPipPipPipPipPip
  • 411 сообщений

Отправлено 21 January 2011 - 02:10

Хорошо было бы почитать методику тестирования советников типа пошагового алгоритма действий
подробнее, чем в инструкции к МТ4.
Часть Ваших вопросов повиснет в воздухе до прихода сюда того, кто сможет вразумительно на них ответить :) .
Мне очень интересны Ваши советники. Выкладывайте, с удовольствием посмотрим!


Очень многое (и в отношении достоверности тестирования) можно и нужно наблюдать только "через руки", в результате тщательного тестирования - перечитав множество обсуждений я не нашёл даже зацепок ко многим вопросам.
Нужно просто: делать, проверять и делать заключения.

#135 Olej

Olej

    Почётный житель форума

  • Свой человек
  • PipPipPipPipPipPipPipPipPipPip
  • 411 сообщений

Отправлено 21 January 2011 - 02:35

покажите и предоставьте на тестирование ваших советников!

Да легко :)


Вот по мотивам популярного трендового советника такого как Puria, который на только что закончившемся чемпионате по MT5 занял 2-е (?) место...
Правда, у меня там от Puria ничего не осталось ... кроме намёток идеи.
Выкладываю в исходниках, всё "живое", инструкций нет, но там всё примитивно просто:
- файлы PuriaM2.mq4 + Fun_Error.mqh - помещаете в /experts (Fun_Error.mqh это только обработка ошибок, никак руки не дошли поместить в собственную библиотеку)
- iPuria.mq4 - в /experts/indicators (это дополнительный индикатор пересечений)
- компилируете... кажется выложил всё, что для этого надо.
- тестируете в 5-ти значном MT4 (Alpari), приведение к единой размерности пунктов не сделано (пока), т.е. SL в 30 пунктов записываете в параметры как 300
- можете начать с таких пар (параметры я показываю в порядке как на 1-й картинке):
EURUSD H1 период 1.10.2010 - 01.01.2011 параметры: 700/2200 - 7-70-80

Прикрепленные изображения

  • PuriaM2.png
  • Снимок-2931512: MetaTrader - Alpari - Демо Счет - EURUSD,H1 (visual).png

Прикрепленные файлы





Copyright © 2024 Your Company Name