Como identificar um sistema de trading com overfitting

Um sistema de trading com overfitting é aquele que decorou o passado sem aprender nada durável sobre o mercado. Ele se ajusta às oscilações exatas dos seus dados históricos, incluindo o ruído aleatório, então o backtest parece espetacular e a conta real sangra. O frustrante é que o overfitting parece sucesso enquanto você o constrói: cada ajuste que melhora o número do backtest dá a sensação de progresso. Este guia mostra os sinais de alerta concretos que separam uma vantagem real de uma miragem de curve-fit, e o que fazer a respeito, para você parar de perseguir a curva de capital mais bonita.

Sinal de alerta 1: parâmetros demais para os dados que você tem

Cada botão que você adiciona, o período de uma média móvel, um limite de RSI, uma distância de stop, um filtro de horário, é um grau de liberdade que o otimizador pode torcer para favorecer o passado. Quanto mais botões, mais fácil acertar qualquer curva-alvo por puro acaso. Uma checagem rápida de sanidade: conte seus parâmetros livres contra o número de operações independentes. Se uma estratégia tem oito entradas ajustáveis e o backtest só produziu 32 operações, o otimizador teve um botão ajustável para cada quatro operações. Isso é liberdade de sobra para ajustar ruído. Como regra prática, desconfie quando houver menos de ~10-20 operações por parâmetro livre, e trate cinco operações por parâmetro como o piso em que os resultados quase certamente são curve-fit, então o exemplo de oito entradas e 32 operações fica abaixo dessa linha, em pleno território de miragem.

O que fazer em vez disso: comece com o menor modelo que expresse a sua ideia real e só adicione complexidade quando ela se justificar em dados que o modelo nunca viu. Um sistema de dois parâmetros com 300 operações diz muito mais do que um de dez parâmetros com 60.

Sinal de alerta 2: a curva de capital é perfeita demais

Um backtest que sobe quase em linha reta, com drawdowns minúsculos e quase nenhum mês perdedor, é sinal de que você ajustou o ruído. Vantagens reais são irregulares. Têm sequências de perdas, trechos laterais e drawdowns que testam a sua paciência, porque os mercados pagam você por suportar a incerteza. Quando a curva de capital parece o extrato de uma poupança, pergunte quais acidentes históricos específicos a deixaram tão suave.

O que fazer em vez disso: julgue a forma da curva, incluindo o ponto final. Olhe o pior drawdown, o maior período lateral e como os retornos se agrupam. O drawdown de um sistema crível no backtest deve ser pelo menos tão ruim quanto qualquer coisa que você aceitaria suportar ao vivo; se não for, você ainda não viu o risco real.

Sinal de alerta 3: nenhum teste fora da amostra

Se todo número do qual você se orgulha veio dos mesmos dados que você usou para projetar e ajustar o sistema, não há evidência de que ele generalize. Essa é a falha mais comum de todas. A solução é reservar dados antes de começar a otimizar.

• Divisão em treino / validação / teste. Construa e ajuste no primeiro trecho, confira num trecho do meio e toque no holdout final exatamente uma vez, bem no fim. Se o desempenho desabar no holdout, a "vantagem" morava no ruído do treino.
• Análise walk-forward. Otimize numa janela móvel, depois opere a janela seguinte com essas configurações, e então avance. Isso imita como você reajustaria de verdade ao longo do tempo e expõe sistemas cujos "melhores" parâmetros ficam mudando.
• Checagem de estabilidade de parâmetros. Mexa cada entrada um pouco para cima e para baixo. Os resultados de um sistema robusto devem cair de forma suave. Se mudar um período de 20 para 22 transforma um vencedor em perdedor, você achou uma coordenada de sorte.

Sinal de alerta 4: a vantagem é curve-fit ao ruído, a um único ativo ou a um único regime

Sistemas que só funcionam em um único ticker, em um único intervalo de datas ou em um único ambiente de volatilidade geralmente estão ajustando o acaso daquela fatia. Uma estratégia de 2020-2021 que presumia compra de quedas sem parar parecia brilhante até o regime de 2022 chegar e apagá-la. O comportamento genuíno do mercado tende a aparecer em mais de um lugar: entre instrumentos relacionados, ao longo do tempo e entre períodos calmos e turbulentos, mesmo que as métricas exatas variem.

O que fazer em vez disso: teste a mesma lógica em instrumentos correlacionados mas separados e em trechos tanto calmos quanto voláteis. Se o caráter direcional sobrevive, mesmo com números mais fracos, você provavelmente tem algo real. Se evapora assim que o ambiente muda, você ajustou o passado. Entender em que ambiente você está é uma disciplina própria; veja o glossário de níveis de day trade e como usar os níveis diários para o vocabulário.

O assassino mais discreto: iteração sem controle

Dá para fazer overfitting num sistema perfeitamente razoável sem nunca adicionar um parâmetro, só mexendo nele cem vezes contra o mesmo histórico. Cada "pequena melhoria" consome em silêncio informação fora da amostra até o seu holdout deixar de ser independente. Trate a cadência de mudanças como parte do método: mantenha poucas edições, anote por que cada uma existe e o que você esperava dela, e exija uma janela de validação nova antes de qualquer coisa entrar no ar. É a mesma lógica de governança do guia de governança de automação de trading, e combina com um processo disciplinado de revisão de desempenho que separa a qualidade das decisões dos resultados de sorte.

Como isso se liga ao método dos Planos de Trade

Os Planos de Trade publicam níveis de resistência, pivô e suporte concretos que você aplica com o seu próprio julgamento. Cada nível é publicado às claras, sem parâmetros ocultos que quebrem quando o regime virar. Você traz a sua própria execução e as suas regras de risco e as testa do jeito honesto: fora da amostra, entre regimes, com o risco mostrado com clareza. Essa transparência é o ponto.

Conteúdo apenas educacional. Não é aconselhamento de investimento.