Как читать результаты бэктеста

Завершённый бэктест показывает набор цифр и график. Здесь объяснено, что значит каждая цифра и где она может ввести в заблуждение.

У результата три вида: Статистика, График и Таблица, а статистика разбита на вкладки Обзор, Эффективность, Анализ, Коэффициенты и Ошибки. Агент может прочитать те же цифры и объяснить их простыми словами.

Главные цифры#

На вкладке Обзор четыре карточки:

Комиссии уже учтены#

Чистая доходность уже включает комиссию и проскальзывание. На вкладке Эффективность видно, сколько ушло на комиссии (Комиссия) и на проскальзывание (Общее проскальзывание). Если агент называет общую доходность, она посчитана до комиссий и проскальзывания и всегда выглядит лучше. Оценивайте стратегию по чистой доходности.

Фактор прибыли может обмануть#

Фактор прибыли считается до комиссий. Стратегия с множеством мелких прибыльных сделок может показать фактор прибыли выше 1 и при этом терять деньги после комиссий. Читайте его вместе с чистой доходностью, а не вместо неё.

Успешность - это ещё не прибыль#

Стратегия может выигрывать 80 % сделок и всё равно терять деньги, если редкие убытки велики. Сравните среднюю прибыльную и среднюю убыточную сделку на вкладке Анализ.

Коэффициенты#

На вкладке Коэффициенты собраны показатели с поправкой на риск. Они помогают сравнивать стратегии на одном периоде.

• Коэффициент Шарпа: доходность на единицу общей волатильности.
• Коэффициент Сортино: как Шарп, но учитывает только волатильность вниз.
• Коэффициент Калмара: среднегодовая доходность, делённая на максимальную просадку.
• Фактор отыгрыша: чистая прибыль, делённая на максимальную просадку.
• Прибыль и убыток: доля прибыльных и убыточных сделок.
• Фактор прибыли: то же число, что на вкладке Обзор.

Если прогон потерял больше всей суммы торговли, коэффициенты теряют смысл. В этом случае не обращайте на них внимания.

Что допускает бэктест#

Бэктест - это модель. Вот её допущения по умолчанию:

• Комиссия 0,1 % с каждого ордера. Её можно изменить в параметрах.
• Проскальзывание 0,05 % на рыночных ордерах, потому что рыночный ордер редко исполняется ровно по той цене, которую вы видели.
• Ликвидация на фьючерсах считается с одной ставкой поддерживающей маржи для всех бирж, поэтому для крупных позиций оценка оптимистична.
• Фандинг на фьючерсах принят равным нулю.
• Каждая сделка использует всю сумму торговли, которую вы задали, сколько бы ни выиграли или проиграли предыдущие сделки.

У последнего пункта есть следствие. После убытка сумма не уменьшается, поэтому убытки складываются, и прогон может потерять больше суммы торговли. Результат вроде -117 % означает, что стратегия потеряла бы больше, чем вы выделили. Это тревожный сигнал, а коэффициенты в таком случае бессмысленны.

Кривая баланса, график и таблица#

Под карточками на вкладке Обзор есть кривая с вкладками Баланс, Доходность, Подъём и Просадка. Плавная линия, которая стабильно растёт, лучше линии с одним огромным скачком. Если почти вся прибыль пришла из одной сделки, результат случаен.

Вид График показывает ценовой график монеты, на котором отмечены входы, усредняющие ордера, тейк-профиты, стоп-лоссы и ликвидации.

Вид Таблица перечисляет каждую сделку и каждый ордер с ценой, количеством и комиссией, так что можно разобрать поведение стратегии в конкретный день.

Показатель Доходность «войти и держать» на вкладке Эффективность показывает, сколько вы заработали бы, просто купив монету в начале периода и удерживая её. Если стратегия его не обгоняет, она ничего не добавляет.

Чего бэктест не знает#

Несколько практических привычек:

• Проверяйте на нескольких периодах, в том числе на падающем рынке.
• Не подгоняйте параметры, пока прошлое не станет идеальным. Так вы подгоните шум.
• Запускайте бота сначала на демо-аккаунте, потом на небольшую сумму реальных денег.

Дальше: Запуск бэктеста, Конструктор стратегий.