Backtest yang Terlalu Indah

Robot dengan Sharpe 21

Sebagai pengelola portofolio, Raka akan terus disodori backtest oleh penjual sistem, penyedia produk, bahkan rekan kerja. Ukuran yang paling sering dipamerkan adalah rasio Sharpe, yaitu hasil per satuan risiko. Modul ini adalah modul yang paling "merusak" di seluruh kurikulum, dan itu disengaja. Setelah ini, kamu tidak akan bisa lagi melihat kurva untung yang mulus dengan mata polos.

Backtest itu klaim, bukan bukti

Backtest yang dihitung dengan benar menyatakan fakta kecil tentang masa lalu: "kalau strategi ini dijalankan di periode itu, hasilnya begini." Tetapi yang dibaca hampir semua orang adalah klaim yang jauh lebih besar: "strategi ini bekerja."

Lompatan dari kalimat pertama ke kalimat kedua butuh tiga syarat yang hampir tidak pernah diperiksa:

1. Hitungannya bersih dari bias. Tidak ada kebocoran atau pemilihan data yang mencemari hasil.
2. Hasilnya tidak bisa dijelaskan oleh kebetulan, mengingat berapa banyak varian yang dicoba.
3. Datanya cukup panjang untuk mendukung klaim sebesar itu.

Kebanyakan backtest gagal di syarat kedua. Bukan karena penyusunnya curang, tetapi karena jumlah percobaan hampir tidak pernah dicatat.

Tujuh bias, dan seberapa besar kerusakannya

Bias backtest adalah kesalahan cara menguji yang membuat hasil tampak lebih bagus daripada kenyataan. Ada tujuh yang wajib kamu kenal.

Bias 1 · Bertahan hidup: hanya menghitung yang selamat

Bias bertahan hidup terjadi bila strategi diuji hanya pada saham yang masih ada hari ini. Saham yang bangkrut atau delisting hilang dari data, padahal justru merekalah yang terburuk.

1. Setiap tahun, tiap saham punya peluang 2,5% untuk delisting, dengan kerugian 60% di tahun itu.

2. Berapa yang bertahan 20 tahun? 0,975²⁰ = 60,3%. Sebanyak 39,7% saham menghilang dari data.

3. CAGR rata-rata semua saham (termasuk yang delisting): −1,454% per tahun. Hanya yang bertahan: +5,153%. Biasnya +6,607 pp per tahun.

4. Selama 20 tahun: (1,05153 ÷ 0,98546)²⁰ − 1 = 266,1%. Kekayaan akhir di data yang bias tampak 3,66 kali kenyataan.

5. Bacaan terpenting: data lengkap menunjukkan strategi ini merugi; data yang bias menunjukkan ia untung. Bias ini tidak sekadar melebih-lebihkan keunggulan. Ia menciptakan keunggulan yang tidak ada.

Bias 2 · Melihat ke depan: menyontek kunci jawaban

Bias melihat ke depan terjadi bila backtest memakai informasi yang belum tersedia saat keputusan dibuat. Bentuk paling umum: memakai harga penutupan hari ini untuk membuat sinyal, lalu membeli di harga penutupan yang sama.

Naskah modul mengujinya pada 5.000 hari data acak, dengan strategi "ikuti arah pergerakan". Versi yang sah (sinyal dari kemarin) memberi Sharpe −0,1166 dan CAGR −3,93%, wajar karena datanya acak. Versi yang menyontek (sinyal dari hari yang sama) memberi Sharpe +21,1992 dan CAGR +994,29%. Pergeseran satu hari saja.

Bentuk menyontek yang lebih halus dan sering lolos:

• memakai laporan keuangan per tanggal periodenya, padahal baru terbit dua sampai tiga bulan kemudian;
• memakai daftar anggota indeks versi hari ini untuk periode masa lalu;
• menyetarakan data memakai rata-rata atau simpangan baku seluruh periode, termasuk masa depan;
• memakai harga yang sudah disesuaikan dengan aksi korporasi yang saat itu belum diumumkan.

Bias 3 · Penggalian data

Penggalian data adalah mencoba banyak varian lalu melaporkan yang terbaik. Ini masalah terbesar dari ketujuhnya, dan dibahas khusus di bagian berikutnya.

Bias 4 · Biaya transaksi

Biaya memakan hasil sebanding dengan perputaran. Untuk strategi dengan Sharpe kotor 1,20 dan volatilitas 12%, biaya 10 bps:

Pada 10 bps, perputaran yang menghapus seluruh Sharpe adalah 7.200% per tahun. Kedengarannya menenangkan, tetapi menyesatkan. Biaya 10 bps hanya berlaku untuk instrumen paling likuid. Pada saham kecil, aset digital di luar yang terbesar, atau saat pasar tertekan, biayanya berkali lipat. Dua komponen yang hampir selalu hilang dari backtest:

• Dampak pasar: order besar menggerakkan harga melawanmu, dan efeknya membesar lebih cepat daripada ukuran order.
• Biaya kesempatan: order yang tidak terisi di harga yang diasumsikan.

Bias 5 sampai 7

Likuiditas. Backtest menganggap setiap order terisi di harga tercatat. Kenyataannya, volume yang bisa kamu jual tanpa menggerakkan harga terbatas, dan paling terbatas justru saat kamu paling ingin keluar. Periksa apakah ukuran posisi melebihi porsi wajar volume harian. Strategi yang lancar dengan modal Rp100 juta sering gagal total pada Rp10 miliar.

Penyajian ulang. Angka laporan keuangan sering direvisi setelah terbit. Backtest yang memakai angka versi hari ini memakai informasi yang dulu belum ada. Obatnya data point-in-time, yang jarang tersedia bagi peneliti ritel.

Pemilihan periode. Memilih tanggal mulai dan akhir yang menguntungkan. Ini bentuk penggalian data yang paling mudah dan paling sulit dideteksi. Uji sederhananya: jalankan strategi di semua subperiode lima tahun. Kalau hasilnya hanya bagus di beberapa jendela, kamu menemukan jendela, bukan strategi.

Penggalian data: mesin pembuat keberuntungan

Ini bagian terpenting modul. Pertanyaan yang harus diajukan pada setiap backtest: berapa banyak varian yang dicoba sebelum yang ini dipilih? Jumlah itu kita sebut \(N\).

Perhatikan "jalur terbaik". Kalau penjual sistem hanya menunjukkan garis itu, kamu tidak akan tahu ada 59 garis lain di belakangnya.

Sharpe terbaik yang bisa muncul dari kebetulan

Kalau \(N\) strategi yang semuanya tanpa keunggulan diuji pada \(T\) tahun data, Sharpe terbaiknya tetap bisa tinggi. Rumus perkiraannya ada di kotak Mode Mendalam. Hasilnya:

Lihat baris 1.000 kolom 5 tahun: Sharpe 1,4557. Backtest seperti itu akan meyakinkan hampir semua investor, padahal lahir dari seribu strategi yang semuanya berekspektasi nol.

Perhatikan juga: data pendek jauh lebih berbahaya daripada banyak percobaan. Seribu percobaan atas 20 tahun menghasilkan Sharpe semu 0,7279. Sepuluh percobaan atas 5 tahun menghasilkan 0,7042. Hampir sama.

Ambang yang harus dinaikkan

Karena kebetulan bisa menghasilkan Sharpe tinggi, ambang untuk menyebut hasil "signifikan" harus naik seiring \(N\). Pada data 10 tahun dan tingkat keyakinan 95%:

Dengan seribu percobaan, Sharpe 1,20 tidak signifikan, karena di bawah ambang 1,2284. Padahal pada satu percobaan saja, Sharpe 1,20 sangat meyakinkan. Ini disebut Sharpe terdeflasi.

Panjang backtest minimum

Bailey dan rekan merumuskan berapa tahun data yang minimal dibutuhkan untuk mendukung klaim Sharpe tertentu setelah \(N\) percobaan.

Klaim Sharpe rendah justru paling sulit dibuktikan, karena Sharpe dikuadratkan di penyebut. Sharpe 0,5 terasa seperti klaim yang rendah hati, padahal butuh data puluhan tahun yang nyaris tidak ada. Ini juga alasan strategi yang jarang bertransaksi (misalnya 12 transaksi setahun) sulit sekali divalidasi.

1. Galat baku Sharpe kira-kira 1 ÷ √T = 1 ÷ √5 = 0,4472.

2. Sharpe terbaik dari kebetulan untuk N = 500, T = 5: 1,3651 (lihat tabel).

3. Bandingkan. Sharpe yang dilaporkan, 1,35, berada di bawah hasil kebetulan murni. Tidak ada bukti keunggulan sama sekali.

4. Panjang minimum: 2 × ln 500 ÷ 1,35² = 2 × 6,2146 ÷ 1,8225 = 6,82 tahun. Datanya 5 tahun, kurang 1,82 tahun.

5. Ambang signifikansi untuk N = 500 dan T = 5: 1,6603. Sharpe 1,35 jauh di bawahnya.

6. Bandingkan dengan peneliti lain yang hanya menguji 10 varian yang ditetapkan sebelumnya, atas 20 tahun data. Sharpe kebetulan terbaiknya hanya 0,3521, dan MinBTL-nya 2 × ln 10 ÷ 1,35² = 2,53 tahun. Sharpe 1,35 yang sama kini sangat berarti.

Walk-forward: ukur penurunannya, jangan didebat

Cara terbaik menghadapi overfitting bukan berdebat, melainkan mengukurnya. Alatnya disebut analisis walk-forward.

1. Bagi data menjadi jendela-jendela berurutan.
2. Di setiap jendela, pilih atau setel strategi di bagian dalam-sampel.
3. Ukur hasilnya di bagian keluar-sampel berikutnya, yang belum pernah disentuh.
4. Geser maju, ulangi.

Naskah modul menjalankan percobaan yang menentukan. Ambil \(N\) strategi yang semuanya berekspektasi nol. Pilih yang terbaik di dua tahun dalam-sampel, lalu ukur di dua tahun keluar-sampel.

Tiga bacaan

Teori dan simulasi cocok sampai dua desimal. Seluruh Sharpe dalam-sampel bisa ditebak hanya dari \(N\) dan panjang data, tanpa tahu apa pun tentang strateginya. Artinya seluruh Sharpe itu berasal dari proses memilih, bukan dari keunggulan.

Sharpe keluar-sampel nol di setiap N. Dengan N = 500, backtest menunjukkan Sharpe 2,16, cukup untuk menarik dana institusi. Di data baru: 0,05.

PBO berkisar di sekitar 50%. Apa artinya? Simak di bawah.

Probabilitas Overfitting Backtest (PBO)

PBO adalah peluang bahwa strategi yang terpilih sebagai juara dalam-sampel ternyata berkinerja di bawah nilai tengah (median) di keluar-sampel.

Pada strategi dengan keunggulan sejati, kamu akan melihat tiga tanda: Sharpe keluar-sampel positif dan berarti walau lebih rendah; PBO jauh di bawah 50%, idealnya di bawah 30%; dan degradasi berupa sebagian persen, bukan 100%.

Menilai backtest orang lain

Kemampuan ini langsung terpakai. Saat disodori backtest, ajukan sepuluh pertanyaan berikut.

Pertanyaan 1 yang paling menentukan. Jawaban yang paling sering muncul adalah "tidak tahu" atau "tidak banyak". Keduanya sama artinya: N tidak dicatat, jadi hasilnya tidak bisa ditafsirkan.

1. Seorang penyedia sistem menulis: "CAGR 34%, Sharpe 2,8, drawdown maksimum hanya 8%, backtest 2019 sampai 2023, diuji pada 50 saham teratas."

2. Cek kewajaran. Hasil di atas bunga bebas risiko sekitar 34% − 5% = 29%. Volatilitas tersirat = 29% ÷ 2,8 = 10,36%. Untuk volatilitas sekitar itu selama 5 tahun, drawdown maksimum yang wajar ada di kisaran 14% sampai 17%. Klaim 8% terlalu kecil. Tanda pertama ada yang tidak beres.

3. "50 saham teratas" menurut kapan? Kalau menurut ukuran hari ini, backtest memuat bias bertahan hidup dan melihat ke depan sekaligus: saham yang menjadi terbesar di 2023 dipilih untuk diperdagangkan sejak 2019. Bias bertahan hidup saja bernilai sekitar +6,6 pp per tahun pada simulasi modul.

4. Penggalian data? Andaikan jujur dijawab "sekitar 200 kombinasi". Sharpe kebetulan terbaik untuk N = 200 dan T = 5 sekitar 1,2368. Sharpe 2,8 melampauinya, dan MinBTL = 2 × ln 200 ÷ 2,8² = 1,35 tahun, di bawah 5 tahun. Pada dimensi ini klaimnya lolos. Masalah utamanya ada di pemilihan sampel (langkah 3).

5. Yang tidak dinyatakan: N, perputaran dan biaya, saham delisting, waktu ketersediaan sinyal, uji volume, PBO, lama pulih, hasil per subperiode. Dari sepuluh pertanyaan, brosur ini hanya menjawab dua, itu pun tidak lengkap.

6. Keputusan: backtest ini tidak bisa ditafsirkan. Bukan "salah", melainkan "tidak bisa ditafsirkan" sampai empat hal dijawab: N, cara memilih "saham teratas", perputaran dan biaya, serta hitungan drawdown 8%.

Protokol Pengujian: catat N sebelum mulai

Seluruh modul bermuara pada satu dokumen yang dibuka sebelum pengujian dimulai: Protokol Pengujian.

Bagian 2 adalah jantungnya. N akhir hampir selalu jauh lebih besar daripada N yang direncanakan, dan selisih itu hanya diketahui bila dicatat saat terjadi.

Mitos atau fakta?

Ketuk setiap kartu untuk membaliknya.

Cek pemahamanmu

Latihan singkat ini tidak dinilai. Kuis resmi modul ada di bagian akhir halaman.

Ringkasan dan kamus mini

Backtest

Simulasi strategi pada data masa lalu.

Rasio Sharpe

Hasil di atas bebas risiko per satuan volatilitas.

Bias bertahan hidup

Hanya menguji instrumen yang masih ada hari ini.

Bias melihat ke depan

Memakai informasi yang belum tersedia saat keputusan.

Penggalian data

Mencoba banyak varian dan melaporkan yang terbaik.

Perputaran

Persen portofolio yang diperjualbelikan per tahun.

Point-in-time

Data persis seperti yang tersedia pada setiap tanggal lampau.

Sharpe terdeflasi

Ambang Sharpe yang dinaikkan sesuai jumlah percobaan.

MinBTL

Panjang data minimum untuk mendukung klaim Sharpe setelah N percobaan.

Overfitting

Strategi terlalu cocok dengan derau masa lalu sehingga gagal di data baru.

Dalam-sampel / keluar-sampel

Data untuk memilih strategi / data baru untuk mengujinya.

Walk-forward

Pilih di satu jendela, uji di jendela berikutnya, geser maju.

Degradasi

Penyusutan Sharpe dari dalam-sampel ke keluar-sampel.

PBO

Peluang juara backtest berada di bawah median saat diuji di data baru.

Protokol Pengujian

Dokumen tertulis berisi hipotesis, N, pemeriksaan bias, hasil, dan aturan keputusan.

Materi ini untuk pendidikan, bukan rekomendasi membeli atau menjual produk, sistem, atau layanan apa pun. Angka-angka adalah contoh hitungan dan hasil simulasi; hasil investasi tidak dijamin.