O que calibração de fato significa
Calibração é o hábito de checar se suas probabilidades batem com a realidade. Se eventos que você chama de 70% acontecem só em metade das vezes, seu modelo é superconfiante. Se acontecem em 90% das vezes, você pode estar subprecificando seu próprio edge. Calibração é a fundação sob toda outra disciplina — sem ela, seu sizing é construído em areia movediça e seu framework de banca não te salva de mispricing sistemático.
Mercados de previsão tornam calibração visível porque preços são contínuos e resultados são públicos. Traders comparam forecasts pessoais com probabilidades implícitas do mercado e acompanham desempenho por bucket. Os mesmos dados alimentam o trader, o operador da plataforma e o pesquisador acadêmico. É uma das razões pela existência da categoria: mercados de previsão são máquinas de calibração.
Este playbook cobre os passos práticos para medir, melhorar e operacionalizar sua calibração. Complementa gestão de risco para traders (que usa calibração para dimensionar posições) e o framework de banca (que usa calibração para alocar capital). O contexto de plataforma está na introdução aos mercados de previsão.
Passo 1 — Construa um log de previsões
Primeiro passo é não-negociável: registre cada forecast antes da resolução. Sem o log, você não mede calibração; só narra.
Log mínimo viável:
| Campo | Por que importa |
|---|---|
| Data | Para tracking temporal |
| Pergunta | O forecast em palavras claras |
| Minha probabilidade | Sua estimativa, entre 0 e 1 |
| Preço de mercado | Probabilidade implícita do mercado no momento |
| Razão | Uma frase — por que sua probabilidade difere |
| Data de resolução | Quando você espera a pergunta resolver |
| Resultado | Preenchido após resolução |
A disciplina é logar a probabilidade antes de negociar, não depois. Forecast escrito após o trade é contaminado pelo resultado. A integridade da sua calibração depende da integridade do log.
Você pode usar planilha, tracking da Manifold Markets ou qualquer ferramenta pública. A ferramenta importa menos que a consistência. Planilha ruim que você preenche todo dia ganha de ferramenta perfeita abandonada em duas semanas.
Passo 2 — Agrupe forecasts em buckets de probabilidade
Tendo 50+ forecasts resolvidos, agrupe em buckets e cheque se cada hit rate bate com o esperado.
| Bucket | Hit rate esperado | Número de forecasts | Hit rate real | Erro de calibração |
|---|---|---|---|---|
| 50–60% | 55% | 12 | 50% | -5% |
| 60–70% | 65% | 18 | 67% | +2% |
| 70–80% | 75% | 15 | 60% | -15% |
| 80–90% | 85% | 10 | 90% | +5% |
| 90–100% | 95% | 8 | 88% | -7% |
Erro acima de ±5 pontos em qualquer bucket é sinal pra investigar. O bucket 70–80% no exemplo é o pior — o trader pensa que tem 75% de confiança média mas só acerta 60%. É superconfiança no tier de convicção moderada, exatamente onde a maioria dos edges vive.
A representação visual é o gráfico de calibração — scatter com probabilidade esperada no eixo X e hit rate real no Y. Forecaster perfeitamente calibrado tem todos os pontos na linha y = x. Superconfiança aparece abaixo da linha nos buckets altos; subconfiança aparece acima nos baixos.
Passo 3 — Pontue-se com Brier
Análise por bucket é intuitiva mas grossa. O Brier score dá um número único que captura calibração e resolução (capacidade de discriminar entre eventos).
Brier score = média((probabilidade_forecast - resultado_real)^2)
Onde resultado_real é 1 se aconteceu, 0 se não. Menor é melhor. Forecaster perfeito pontua 0; quem chuta 50% em tudo pontua 0,25; um maximamente ruim pontua 1,0.
Benchmark útil: o Iowa Electronic Markets historicamente pontua Brier entre 0,04–0,08 em mercados eleitorais, melhor que a maioria das pesquisas. Superforecasters individuais no Good Judgment Project de Tetlock pontuaram 0,10–0,15 em questões geopolíticas. Se seu Brier pessoal está acima de 0,20, você é sistematicamente miscalibrado.
O Brier pode ser decomposto em três termos: confiabilidade (erro de calibração), resolução (capacidade de discriminar) e incerteza (aleatoriedade irredutível). Para traders ativos, confiabilidade é o componente acionável — é o alvo da melhoria.
Passo 4 — Encontre seus vazamentos de calibração
Brier de 0,18 não é acionável. "Sou superconfiante em earnings de tech" é. O próximo passo é achar categorias e contextos onde sua calibração quebra.
Agrupe seus forecasts por:
- Categoria (política, macro, cripto, esportes, tech)
- Tempo até resolução (horas, dias, semanas, meses)
- Fonte de edge (notícia, modelo, especialista, intuição)
- Tamanho da posição (pequeno, médio, grande)
- Direção do edge (long Sim vs long Não)
Rode a análise por bucket dentro de cada subgrupo. Padrões emergem. Achados comuns de traders reais:
- "Sou calibrado em política mas superconfiante em tech."
- "Meus forecasts de semana estão bem; os do mesmo dia são selvagemente superconfiantes."
- "Sou calibrado quando tenho modelo mas superconfiante quando negocio em notícia."
- "Sou subconfiante em apostas no Não — quando penso 30%, é mais como 22%."
Cada padrão vira meta direcionada. O loop de melhoria de 90 dias: identifique vazamento, desenhe experimento, rode 90 dias, re-meça.
Passo 5 — Implemente as técnicas dos superforecasters
A pesquisa de Philip Tetlock em Superforecasting identificou técnicas específicas que produzem melhoria. As mais importantes:
Triage seus forecasts. Gaste mais tempo em perguntas onde você plausivelmente tem edge. Forecast binário em cara-ou-coroa é esforço perdido. Forecast em reunião do Fed onde você leu o dot plot, ata e a curva de juros futuros é onde calibração melhora.
Decomponha a pergunta. "O Fed corta?" decompõe em "Inflação abaixo de 3%?" + "Payrolls enfraquece?" + "Qual a função de reação?" Forecast nos subitens separados e combinar quase sempre é mais calibrado que forecast no titular.
Use taxas base. A maioria dos eventos tem frequência histórica. "Que fração de reuniões FOMC produziu corte nos últimos 30 anos?" é taxa base. Ancore seu forecast na taxa base e ajuste com informação atual.
Atualize incrementalmente. Quando informação nova chega, atualize sua probabilidade moderadamente em vez de oscilar drasticamente. A falha mais comum é reagir demais a notícia. A correção é a atualização Bayesiana — multiplique o prior pelo razão de verossimilhança, não substitua.
Distinga sinal de ruído. Variação de 3 pontos numa pesquisa duas semanas antes da eleição é majoritariamente ruído. Mesmos 3 pontos após debate é mais provavelmente sinal. Treine-se para reconhecer quais inputs merecem atualização e quais não.
Use a "visão externa". Quando travado, pergunte "o que acontece em situações similares?" em vez de "o que torna esse caso especial?" A maioria dos casos é menos especial do que os participantes acreditam.
Passo 6 — Calibração como revisão por categoria
A revisão trimestral de banca (coberta no framework de banca) deve incluir auditoria de calibração por categoria. Saída combinada num dashboard único:
- Brier score e tendência por categoria. Calibração melhorando ou degradando?
- P&L por categoria. Lucrativo mas miscalibrado é bandeira vermelha — está com sorte.
- Contagem de posições por categoria. Trades suficientes para tornar calibração mensurável?
- Exposição por categoria. O cap está sendo atingido, e isso é justificado pela calibração?
Os traders que compõem ao longo de anos são os que tratam calibração como disciplina medida e dashboardada — não autoavaliação vaga. Builders devem publicar dados de calibração por categoria publicamente; é um dos sinais de confiança mais fortes que uma plataforma pode oferecer. Algumas plataformas expõem no arquivo de resolução; o Iowa Electronic Markets e preditores como Metaculus são padrões públicos.
Como calibração interage com preço de mercado
Calibração é seu edge sobre o mercado. Se você e o mercado estão calibrados em 70% num contrato de 70¢, não há trade. Se você está calibrado em 70% e o mercado em 60¢, você tem edge de 10 pontos — assumindo que sua medição de calibração é sólida.
O trabalho do trader não é achar preços que "parecem" errados. É achar preços onde sua calibração é significativamente melhor que a do mercado. Isso exige:
- Conhecer sua própria calibração na categoria (Passo 4).
- Estimar a calibração do mercado na categoria (compare preço com hit rate real em mercados similares).
- Negociar só quando sua vantagem é grande o bastante para superar fees, spread e variância.
O post de microestrutura vai mais fundo em como traduzir vantagem de calibração em trade executável.
Erros comuns de calibração
Três padrões.
Confundir certeza com convicção. "Tenho 95% de certeza" é uma probabilidade. "Pesquisei bastante" não é. Confiança no processo não traduz em confiança no resultado. Muitos traders logam 95% e descobrem que essas chamadas só batem em 70% — estavam medindo convicção, não probabilidade.
Ancorar no mercado. É tentador logar sua probabilidade como "5 centavos do mercado". Não é seu forecast; é mercado mais offset arbitrário. Seu forecast honesto é o que você assinaria se o mercado não existisse. Ancorar no mercado faz seu "edge" virar principalmente ruído.
Pular trades de baixa convicção. Traders novos pulam o bucket 50–60% porque o edge parece pequeno. Mas é onde calibração é mais valiosa — edges pequenos repetidos compõem. Seu framework deve incluir trades suficientes desse bucket para ser estatisticamente significativo.
Tratar calibração como verificação única. Calibração deriva. Categorias mudam. Seu edge em tech hoje não é o de daqui um ano. Re-meça pelo menos trimestralmente.
Perguntas Frequentes
O que é calibração em forecasting?
Calibração é a propriedade de que suas probabilidades batem com a frequência real dos resultados. Forecaster perfeitamente calibrado que chama eventos de 70% vê esses eventos acontecerem em exatos 70% das vezes em muitos forecasts. Calibração é mensurável e melhorável, o que a torna a fundação de toda outra disciplina de trading.
Como medir minha calibração?
Registre forecasts antes da resolução, agrupe em buckets (50–60%, 60–70% etc.) e cheque se cada hit rate bate com o esperado. Então compute o Brier: média((forecast - resultado)^2). Menor é melhor. Acima de 0,20 indica miscalibração sistemática.
O que é Brier score e qual é bom?
Brier é o erro quadrático médio entre seus forecasts e resultados binários reais. Varia de 0 (perfeito) a 1 (maximamente ruim). 0,25 é o que se obtém chutando 50% em tudo. Bons forecasters pontuam 0,10–0,15 em perguntas difíceis, 0,04–0,08 nas mais fáceis.
Quantos forecasts preciso antes de calibração ser significativa?
Pelo menos 50 forecasts resolvidos para ter dados grosseiros e 200+ para tirar conclusões por categoria. Abaixo de 50 o ruído domina o sinal. A boa notícia é que 50–200 é alcançável em poucos meses de trading ativo.
Um mercado de previsão pode estar miscalibrado?
Sim. Mercados não são perfeitamente eficientes, especialmente em categorias de cauda. A literatura empírica — incluindo Wolfers e Zitzewitz — mostra que mercados são bem calibrados no agregado mas exibem vieses sistemáticos nos extremos. Seu edge frequentemente mora em identificar esses mispricings específicos.
Qual a diferença entre calibração e precisão?
Calibração mede se suas probabilidades batem com frequências. Precisão mede com que frequência você acerta. Quem chuta 50% em tudo é perfeitamente calibrado mas inútil porque não discrimina. O Brier captura ambos, motivo pelo qual é a métrica composta padrão.
Como superforecasters melhoram calibração?
A pesquisa de Tetlock identificou seis técnicas: triage de quais perguntas forecastar, decompor perguntas complexas em subitens, ancorar em taxas base, atualização incremental, distinguir sinal de ruído e usar a "visão externa". Metodologia completa em Good Judgment Project.
Devo publicar meus dados de calibração?
Publicar constrói confiança e accountability. Plataformas se beneficiam de publicar calibração agregada; traders individuais se beneficiam de publicar quando confiantes na disciplina. O leaderboard do Metaculus é exemplo excelente de dados públicos que constroem credibilidade.
Para onde ir a seguir
Você agora tem o playbook de calibração. Próximos passos:
- Para sizing baseado em edges calibrados, veja gestão de risco para traders.
- Para a arquitetura de banca que usa calibração para alocar capital, veja frameworks de banca para traders de informação.
- Para a microestrutura que determina se seu edge calibrado sobrevive à execução, veja microestrutura de mercado para previsões.
- Para o contexto mais amplo, nossa introdução aos mercados de previsão é o primer fundacional.
Calibração é incerteza feita honestamente. Os traders, builders e analistas que internalizam isso são os que transformam probabilidade de um número em uma disciplina.
