Jak weryfikować hipotezę backtestem: od próby do kosztów i stabilności

Backtest potraktujmy jako zadanie badawcze z określonym początkiem i końcem. Zamiast pytać „które ustawienia zarobiły najwięcej?”, proponujemy pytanie: „jakie obserwacje uznamy za wystarczające, aby kontynuować sprawdzanie tej konkretnej hipotezy?”. Ten artykuł przedstawia nasz proponowany protokół edukacyjny. Nie zawiera rekomendacji zakupu aktywów ani prognozy zwrotu.

Opis MaxData podaje, że backtest korzysta z danych Pro Alertów i historii ceny instrumentu oraz obejmuje symulacje wyjść przez TP, SL i upływ czasu. To opis sposobu analizy historii, na którym oprzemy część produktową. Opis backtestów.

1. Zapisz hipotezę przed obejrzeniem wyniku

Nasza proponowana konwencja: hipotezę zapisuj jednym zdaniem, bez słów „dobry”, „mocny” czy „opłacalny”. Przykładowe zdanie do ćwiczenia: „Po wystąpieniu warunków A i B sprawdzam zmianę ceny w ciągu czterech godzin, według z góry zapisanej reguły wejścia i wyjścia”. Litery oznaczają warunki, które trzeba dopiero zdefiniować; nie są gotowym sygnałem transakcyjnym.

Do zdania dodaj kartę eksperymentu. Wpisz instrument i parę, rodzaj rynku, kierunek symulacji, warunek aktywacji, moment hipotetycznego wejścia, horyzont obserwacji oraz kryterium odrzucenia. Zaproponuj również konkurencyjne wyjaśnienie, na przykład: „podobny wynik pojawia się także w porównywanych oknach bez alertu”. Nie rozstrzygaj tego przed testem.

Dokumentacja Pro Alertów rozróżnia alert oparty na jednym warunku i Pro Alert łączący kilka warunków. Opisuje również okno czasowe spełnienia warunków, uśpienie po aktywacji oraz wybór źródła, takiego jak otwarcie, zamknięcie, minimum, maksimum lub średnia. Opis Pro Alertów.

W naszym protokole przepisz te ustawienia do karty zamiast pozostawiać je wyłącznie w interfejsie. Każdej zmianie nadaj nowy numer wersji. Jeśli zmieniasz okno warunków po obejrzeniu wyników, oznacz wersję jako kolejną próbę badawczą, a nie jako pierwotną hipotezę.

2. Dobierz próbę i opisz dane

Nasza proponowana checklista danych zaczyna się od definicji obserwacji. Ustal, czy jednostką analizy jest pojedyncze wywołanie, dzień, czy grupa wywołań. Zapisz sposób postępowania z kilkoma alertami występującymi podczas tego samego otwartego okna. Możesz przyjąć jedno wejście na okno albo analizować każde zdarzenie osobno; wybór nazwij i stosuj konsekwentnie.

W karcie danych umieść:

• dostawcę, instrument, giełdę i jednostkę notowania;
• definicję użytej metryki i odnośnik do jej opisu;
• zakres dat, strefę czasową i interwał cen;
• typowe opóźnienie publikacji metryki oraz podstawę jego ustalenia;
• chwilę, od której informację uznajesz za dostępną dla symulacji;
• luki, wykluczenia i sposób postępowania z brakami;
• liczbę wywołań przed wykluczeniami i po nich.

Jeżeli opóźnienie nie jest ustalone, wpisz „nieustalone”, zamiast przyjmować zero. W naszym protokole taki brak blokuje ocenę zgodności czasowej testu. Dla ćwiczenia proponujemy interwał pięciominutowy i horyzont czterogodzinny; są to jawne założenia przykładu, nie zalecane parametry handlu.

Zaproponuj chronologiczny podział na fragment do projektowania, fragment do sprawdzania wersji oraz fragment końcowy. Samodzielnie określ granice przed porównaniem wyników. Nie ustanawiamy uniwersalnej minimalnej liczby transakcji: wymagamy natomiast ujawnienia liczebności w każdym fragmencie i oznaczenia wniosku jako nierozstrzygniętego, jeśli zaplanowana próba nie została zebrana.

3. Rozdziel zachowanie ceny od reguł wyjścia

Opis backtestów MaxData przedstawia wykres mediany ruchu ceny przed sygnałem i po nim: historyczne wywołania są zestawiane, a następnie wyznaczana jest mediana przebiegu. Opis wykresu zdarzeń.

Nasza proponowana zasada interpretacji: najpierw opisz ten wykres bez języka transakcyjnego. Zanotuj kierunek przebiegu, horyzont odczytu i zakres analizowanych zdarzeń. Dopiero w oddzielnej części zapisz model pozycji. Nie przepisuj mediany bezpośrednio jako wyniku portfela; w naszym raporcie są to dwa osobne pola.

Dokumentacja opisuje dwa warianty wyjścia. Portfel czasowy zamyka pozycję po określonym czasie. Portfel TP/SL stosuje progi TP i SL oraz zamknięcie po czasie, jeśli żaden próg nie został osiągnięty. Dwa warianty backtestu.

W naszej checkliście doprecyzuj cenę odniesienia dla progów, moment uruchomienia licznika oraz procedurę dla świecy obejmującej oba poziomy. Jeżeli kolejność osiągnięcia TP i SL pozostaje nieustalona, oznacz obserwację jako niejednoznaczną i pokaż osobno przyjęte warianty rozstrzygnięcia. Nie ukrywaj wyboru w ustawieniu domyślnym.

4. Czytaj obsunięcia i stabilność według jawnej konwencji

Opis wyników MaxData wymienia krzywą kapitału porównywaną z aktywem lub BTC, maksymalne obsunięcie oraz heatmapę rezultatów różnych ustawień TP/SL. Elementy raportu.

Nasza proponowana konwencja raportowania drawdownu: opisuj spadek kapitału od wcześniejszego szczytu do późniejszego dołka w analizowanym przebiegu. Ujawnij, czy uwzględniasz wycenę otwartych pozycji, czy tylko zamknięte transakcje. Obok największego obsunięcia zapisz daty jego początku i dołka oraz moment powrotu do poprzedniego szczytu, jeśli wystąpił w próbie.

Stabilność potraktujmy jako zestaw pytań, a nie jedną ocenę. Czy podobny obraz otrzymujesz w kolejnych fragmentach czasu? Jak wygląda wynik po niewielkim przesunięciu TP i SL? Co pokazuje raport po usunięciu najlepszego zdarzenia? Czy porównanie z aktywem ma ten sam zakres dat i zasady wyceny?

W naszej proponowanej ocenie heatmapy zaznacz wybrane ustawienie oraz sąsiednie komórki. Opisz ich wyniki bez przyznawania automatycznej etykiety „bezpieczne”. Jeśli korzystasz z dodatkowych wskaźników jakości, zażądaj definicji, sposobu obliczenia i jednostek. Pole bez wyjaśnionej metodologii pozostaw poza kryterium akceptacji.

5. Wprowadź koszty i warunki wykonania

Dokumentacja backtestów wskazuje prowizje, poślizg i różnice wykonania jako możliwe wyjaśnienia rozbieżności między wynikiem historycznym a handlem rzeczywistym. Wymienia także użycie innego rynku, na przykład spot zamiast rynku perpetual. Ograniczenia wykonania.

Nasz proponowany arkusz kosztów ma osobne pola na prowizję wejścia, prowizję wyjścia, spread, poślizg i ewentualne koszty utrzymania pozycji. Przy każdym polu zapisz źródło wartości albo oznaczenie „założenie scenariusza”. Nie wpisuj kosztu dwukrotnie, jeśli został już uwzględniony w modelu ceny wykonania.

Przygotuj dwa jawnie hipotetyczne warianty: podstawowy i obciążony większymi kosztami. Nie nazywaj ich realistycznymi bez uzasadnienia. Dla płynności dopisz wielkość hipotetycznego zlecenia, dane użyte do oceny możliwości wykonania oraz procedurę dla częściowego wypełnienia. Gdy tych danych brakuje, proponujemy status „wykonanie niezweryfikowane”.

W ćwiczeniu ustal także opóźnienie między sygnałem i hipotetycznym wejściem. Porównaj z góry zaplanowane opóźnienia, zachowując ten sam zestaw zdarzeń. Zakończ sekcję pytaniem: które założenie o wykonaniu pozostaje nierozstrzygnięte i jakiego dowodu potrzebujesz, żeby je sprawdzić?

6. Prowadź rejestr prób i zakończ test decyzją badawczą

Nasza proponowana procedura przeciw przeoptymalizowaniu obejmuje rejestr wszystkich sprawdzonych wariantów, również odrzuconych. Termin „przeoptymalizowanie” stosujemy tutaj jako roboczą etykietę sytuacji, w której wybór parametrów podporządkowujesz dopasowaniu do obejrzanej historii. Nie traktuj samej liczby wariantów jako dowodu jakości.

Dodaj trzy pytania kontrolne dotyczące własnych ocen: „Czy zachowuję niekorzystne wyniki?”, „Czy po zobaczeniu wyniku zmieniłem kryterium sukcesu?” oraz „Czy komentarz do testu końcowego napisałem przed ponownym strojeniem?”. To nasza checklista pracy z błędami poznawczymi, bez obietnicy ich wyeliminowania.

Proponujemy trzy statusy końcowe: „odrzucona”, „nierozstrzygnięta” i „do dalszej obserwacji”. Odrzucenie powiąż z wcześniej zapisanym warunkiem. Nierozstrzygnięcie przypisz brakującym danym lub niezebranej próbie. Dalszą obserwację opisz jako kolejny etap badania, z zamrożonymi parametrami, dziennikiem zdarzeń i wyznaczonym terminem przeglądu.

Do dokumentu końcowego dołącz alternatywną interpretację wyniku oraz warunki unieważniające wniosek: zmianę źródła danych, niezgodność momentu publikacji, nieudokumentowane wykonanie lub złamanie własnych kryteriów testu. Są to nasze proponowane bramki metodologiczne, nie automatyczne polecenia transakcyjne.

MaxData Help Hub przedstawia MaxData Info Bot jako asystenta odpowiadającego na pytania o MaxData. Help Hub. Pytanie produktowe przygotuj z nazwą pola, wersją konfiguracji i opisem oczekiwanego zachowania. Osobno zachowaj swoją ocenę metodologiczną. CTA produktowe: założenie konta lub rozmowa z agentem to dalszy krok poznawania narzędzia, nie wynik przeprowadzonego testu.