quarta-feira, 16 de abril de 2014

"Ei, juiz, ..."



Os erros de arbitragem no futebol sempre estão na mídia. Depois da final do Campeonato Carioca não se fala em outra coisa. O debate entre os que são a favor do uso da tecnologia para auxílio da arbitragem e os que são contra é quente e constante.

Nesse cenário, o Mauro Rodrigues e eu resolvemos fazer um ranking dos juízes brasileiros de acordo com uma variável muito simples: a probabilidade do time da casa ganhar quando eles estão apitando.

O time da casa tem uma vantagem natural. Seria então de se esperar que, meio que para todos, essa probabilidade estivesse um pouco acima dos 33% (dado que há 3 resultados possíveis, vitória, empate e derrota). Para nosso espanto, para alguns juízes ela está bem acima disso! E a dispersão entre eles é considerável!

Tomamos alguns cuidados na estimação:

(i) consideramos apenas jogos do Brasileirão série A no formato pontos corridos;

(ii) consideramos apenas juízes que apitaram 50 jogos ou mais (30 juízes);

(iii) controlamos a regressão por uma dummy que é 1 quando o time da casa é grande e o visitante não (de repente, alguns juízes são mais escalados para esse tipo de jogo que, naturalmente, tem chance de vitória maior do time da casa);

(iv) controlamos a regressão por dummies de campeonato (como estamos comparando juízes em anos diferentes, pode ter algum padrão temporal que deve ser considerado).

Bom, mesmo com os cuidados de (i) a (iv), a conta ainda não está totalmente blindada de falhas. Por exemplo, pode ser o caso de alguns juízes serem usualmente escalados para jogos onde o time da casa tem maior chance de ganhar, por alguma política estranha da CBF. Então, vale o disclaimer: o ranking abaixo não é um fato certeiro. É possível sim (embora não provável) que algum juiz tenha sido injustiçado pelo nosso método.

Os juízes estão ordenados pela probabilidade do mandante ganhar em um jogo apitado por eles:



A pedidos, algumas informações que podem ajudar a interpretar os resultados:
  • a probabilidade não condicional do mandante ganhar é 45%
  • o erro-padrão das dummies de cada juiz é ao redor de 7%
  • o juiz com menos jogos tem 51, o com mais tem 196 



27 comentários:

  1. Respostas
    1. https://www.facebook.com/georgehtakei/photos/a.223098324386295.105971.205344452828349/485601504802641/?type=1

      Excluir
    2. Por favor, não usem Comic Sans. Vocês são professores doutores da USP formados nas melhores universidades americanas, não professores da UNIP formados na Uninove - diria George Takai?

      Excluir
  2. On comic sans: http://opinionator.blogs.nytimes.com/2012/08/08/hear-all-ye-people-hearken-o-earth/?_php=true&_type=blogs&_r=0

    Por favor, precisamos de erros padrão, n, e também da média não-condicional de vitórias em casa, empate e derrotas. Como está não dá pra concluir nada. Se vcs atualizarem a tabela, MANTENHAM comic sans!

    ResponderExcluir
  3. "Então, vale o disclaimer: o ranking abaixo não é um fato certeiro. É possível sim (embora não provável) que algum juiz tenha sido injustiçado pelo nosso método."

    Cara, nada a ver, é muito mais do que provável que todos os juízes tenham sido injustiçados pelo seu método. Afinal, o que está sendo calculado? O efeito "causal" de um dado juiz na probabilidade de vitória do time da casa? É claro que não...

    ResponderExcluir
    Respostas
    1. Isso foi um logit/probit? As probabilidades são efeitos marginais da dummy nos valores médios?

      Excluir
  4. OI, Comic Sans de novo. Concordo com a reclamacao do anonimo 15:54. E mesmo se fosse causal, o erro padrão de toda a amostra é 0.07, as individual juízes será ainda maior, e nenhum deles estará mais de dois SE da média, acho. O fato dos juízes variarem tanto é interessante, mas de forma alguma é sinal de manipulação.

    ResponderExcluir
  5. São Paulino fazendo estudo sobre futebol é meio...vcs sabem...
    Vcs controlam pela qualidade do time? posição na tabela, desfalques, jogo decisivo da libertadores na semana seguinte ou anterior, incentivo a entregar para prejudicar o corinthians (2010), se esta sendo transmitido pela globo, etc?

    Abs,
    Berbel

    ResponderExcluir
  6. Fala Berba. Não controlamos por nada disso. abs

    ResponderExcluir
  7. Vocês retiraram os eventos com 2 times da mesma cidade?

    ResponderExcluir
  8. Parece legal e apenas um ou outro juiz ficaram distantes da média. Mas apenas lembrando que p=0,45 para um juíz não significa idoneidade e sim "idoneidade média"

    ResponderExcluir
  9. caras.. só precisava usar os dados do Placar Real pra captar os erros de arbitragem.. vale a pena controlar por "orçamento do clube" e "clube mandante"... mas tinham que usar os dados de erros de arbitragem

    http://www.placarreal.com.br/

    ResponderExcluir
  10. E o efeito Flamengo e Corinthians?

    ResponderExcluir
  11. Esse Marcio Rezende de Freitas eh notoriamente um picareta.

    ResponderExcluir
  12. Jogando aqui algumas outras questões:
    i) Não estou convencido sobre sua seleção de juízes, pode haver viés aí. Eg, e se juízes que apitam mais/menos tem maior probabilidade de serem injustos? Entendo os problemas de amostragem que geraria, mas seria interessante tentar rodar algo controlando por número de partidas apitadas.
    ii) Talvez seria mais interessante rodar um modelo com o número de apitadas (e para que time) o juiz dá. Se partido da casa recebe menos cartões, se recebe mais acréscimo no segundo tempo, etc, e daí controlar por qual juiz que está apitando

    ResponderExcluir
    Respostas
    1. (i) boa ideia, vou fazer isso depois e atualizo a tabela

      (ii) isso já dá mais trabalho...

      Excluir
    2. mas pensando bem, não sei se queremos controlar por (i). Imagine que a CBF escala mais juizes que favorecem mais os mandantes. Não quero controlar por isso. Ele vai parecer bonzinho mas não é!

      Excluir
    3. "Imagine que a CBF escala mais juizes que favorecem mais os mandantes". Mas está aí a questão, como saber se a CBF favorece que favorece mais? Todos nós sabemos (ou desconfiamos) da picaretagem da CBF, mas o modelo deveria ser neutro imho. De todo jeito, tenta rodar aí, e vê no que dá, depois se discute os resultados.

      É, eu sei que daria um trabalho bem chato de fazer certo o ponto (ii)...
      Quem sabe você podia fazer só um modelo vendo se o mandante tem maior chance de receber acréscimo. Já seria um dado bacana por si só.

      Excluir
  13. Não sei se dá pra concluir algo com a regressão, mas o fato de ter conseguido sinalizar bem o Marcio Rezende de Freitas indica que o ajuste está bom.

    ResponderExcluir
  14. Bruno, e Mauro, parabéns pelo artigo. Me lembrei imediatamente deste texto de 2011, que ficou na minha cabeça desde então:

    "Are referees deliberately biased? The authors think not. Instead, they blame the fact that referees, like the rest of us, tend subconsciously to rely on crowdsourcing, picking up on the mood of the crowd when making their decision. “Anchoring” is the name economists give to people's tendency to be unduly influenced by outside suggestion. Take away the crowd and the home bias shrinks, as it did a few years back when 21 Italian soccer matches were played without supporters following incidents of crowd violence. In these games the home bias declined by 23% on fouls called, by 26% for yellow cards and by a remarkable 70% for red cards, which remove a player from the game and have a particularly big impact on the result. This bias is consistently higher in soccer than in most other sports because there are many more judgments for the referee to make. If technology is ever adopted to help referees—using TV to review contentious calls, for instance—away teams should benefit most."

    Fonte: http://www.economist.com/node/18330455

    ResponderExcluir
  15. Seria interessante fazer um estudo de caso sobre o Wallace Nascimento Valente. O que será que o sujeito tem?

    ResponderExcluir
  16. Então o Botafogo RJ foi campeão em 1995 a despeito do Márcio Resende de Freitas?

    ResponderExcluir
  17. Então o Botafogo RJ foi campeão em 1995 a despeito do Márcio Resende de Freitas?

    ResponderExcluir