Como identificar um sistema de trading sobreajustado

Um sistema de trading sobreajustado é aquele que memorizou o passado sem aprender algo duradouro sobre o mercado. Ajusta-se aos movimentos exatos dos seus dados históricos, incluindo o ruído aleatório, pelo que o backtest parece espetacular e a conta real sangra. O frustrante é que o sobreajuste parece sucesso enquanto o constrói: cada ajuste que sobe o número do backtest parece progresso. Este guia dá-lhe os sinais de alerta concretos que separam uma vantagem real de uma miragem ajustada à curva, e o que fazer a respeito, para deixar de perseguir a curva de capital mais bonita.

Sinal de alerta 1: parâmetros a mais para os dados que tem

Cada botão que acrescenta, um período de média móvel, um limiar de RSI, uma distância de stop, um filtro de hora do dia, é um grau de liberdade que o otimizador pode dobrar para lisonjear o passado. Quantos mais botões, mais fácil é atingir qualquer curva-alvo por puro acaso. Uma verificação de bom senso aproximada: conte os seus parâmetros livres face ao número de operações independentes. Se uma estratégia tem oito entradas ajustáveis e o backtest só produziu 32 operações, o otimizador teve um botão ajustável por cada quatro operações. É liberdade mais do que suficiente para ajustar ruído. Como regra prática, desconfie quando tiver menos de ~10-20 operações por parâmetro livre, e trate cinco operações por parâmetro como o piso em que os resultados estão quase de certeza ajustados à curva, pelo que o exemplo de oito entradas e 32 operações fica abaixo dessa linha, em pleno território de miragem.

O que fazer em vez disso: comece pelo menor modelo que exprima a sua ideia real e acrescente complexidade só quando ela merecer o lugar em dados que o modelo nunca viu. Um sistema de dois parâmetros com 300 operações diz-lhe muito mais do que um sistema de dez parâmetros com 60.

Sinal de alerta 2: a curva de capital é perfeita demais

Um backtest que sobe quase em linha reta, com drawdowns minúsculos e quase nenhum mês perdedor, é prova de que ajustou o ruído. As vantagens reais são irregulares. Têm séries de perdas, períodos planos e drawdowns que testam a paciência, porque os mercados pagam-lhe por suportar a incerteza. Quando a curva de capital parece um extrato de conta poupança, pergunte que acidentes históricos concretos a deixaram tão suave.

O que fazer em vez disso: avalie a forma da curva, incluindo o ponto final. Veja o pior drawdown, o período plano mais longo e como os retornos se agrupam. O drawdown de um sistema credível no backtest deve ser pelo menos tão mau como qualquer coisa que estaria disposto a aguentar ao vivo; se não for, ainda não viu o risco real.

Sinal de alerta 3: nenhum teste fora da amostra

Se todos os números de que se orgulha vieram dos mesmos dados que usou para desenhar e afinar o sistema, não tem prova de que ele generaliza. Esta é a falha mais comum. A solução é reservar dados antes de começar a otimizar.

• Divisão em treino / validação / teste. Construa e afine no primeiro bloco, verifique num bloco intermédio e toque na reserva final exatamente uma vez, mesmo no fim. Se o desempenho colapsar na reserva, a "vantagem" vivia no ruído do treino.
• Análise walk-forward. Otimize numa janela móvel, depois negoceie a janela seguinte com essas definições e avance. Isto imita como voltaria a afinar ao longo do tempo e expõe sistemas cujos "melhores" parâmetros não param de mudar.
• Verificação da estabilidade dos parâmetros. Mexa cada entrada um pouco para cima e para baixo. Os resultados de um sistema robusto devem ceder com suavidade. Se passar um período de 20 para 22 transforma um vencedor num perdedor, encontrou uma coordenada com sorte.

Sinal de alerta 4: a vantagem está ajustada ao ruído, a um só símbolo ou a um só regime

Os sistemas que só funcionam num único ticker, num único intervalo de datas ou num único ambiente de volatilidade costumam estar a ajustar-se ao acaso dessa fatia. Uma estratégia de 2020-2021 que assumia compra implacável nas quedas parecia brilhante até chegar o regime de 2022 e a apagar. O comportamento genuíno do mercado tende a aparecer em mais do que um sítio: em instrumentos relacionados, ao longo do tempo e em períodos calmos e turbulentos, mesmo que as métricas exatas variem.

O que fazer em vez disso: teste a mesma lógica em instrumentos correlacionados mas separados e em períodos tanto calmos como voláteis. Se o carácter direcional sobreviver, mesmo com números mais fracos, provavelmente tem algo real. Se se evaporar assim que o ambiente muda, ajustou o passado. Perceber em que ambiente está é uma disciplina própria; veja o glossário dos níveis de day trade e como usar os níveis diários para o vocabulário.

O assassino mais discreto: a iteração descontrolada

Pode sobreajustar um sistema perfeitamente razoável sem nunca acrescentar um parâmetro, apenas mexendo-lhe cem vezes contra o mesmo histórico. Cada "pequena melhoria" consome em silêncio informação fora da amostra até a sua reserva deixar de ser independente. Trate a cadência de alterações como parte do método: mantenha as edições escassas, escreva porque existe cada uma e o que esperava que fizesse, e exija uma nova janela de validação antes de qualquer coisa entrar em produção. É a mesma lógica de governação tratada no guia de governação da automatização de trading, e combina com um processo disciplinado de revisão de desempenho que separa a qualidade das decisões dos resultados com sorte.

Como isto se liga ao método dos Planos de Trading

Os Planos de Trading publicam níveis concretos de resistência, pivô e suporte que aplica com o seu próprio critério. Cada nível é publicado à vista de todos, sem parâmetros escondidos que se partam quando o regime vira. Traz a sua própria execução e regras de risco e testa-as da forma honesta: fora da amostra, entre regimes, com o risco mostrado com clareza. Essa transparência é o essencial.

Apenas conteúdo educativo. Não é aconselhamento de investimento.