Maia e Bezerra (2023): no TRF4, o tipo de peça e a natureza da parte predizem o sentido do voto

Método de pesquisa
Replicabilidade
Jurimetria sobre os 11.770 acórdãos publicados pelo TRF4 em 2018, com análise de correspondência múltipla e testes G. A nota registra o que esse desenho oferece, e o que não oferece, a quem pretenda medir a estabilidade de anotação de decisões em português.

MAIA, Marcos; BEZERRA, Cicero Aparecido. Padrões nos acórdãos do Tribunal Regional Federal da Quarta Região. Revista Direito GV, São Paulo, v. 19, e2318, 2023. DOI: 10.1590/2317-6172202318.

Maia e Bezerra raspam o diário eletrônico do TRF4 e reúnem os 11.770 acórdãos disponibilizados entre 1º de janeiro e 31 de dezembro de 2018, relatados por 52 magistrados — o tribunal tem 27 desembargadores e recorreu a juízes federais convocados nas substituições (p. 9). Sobre cinco variáveis extraídas do cabeçalho de publicação, quais sejam tipo de peça, função do decisor, natureza do apelante, unanimidade e sentido do voto, aplicam análise de correspondência múltipla; as três primeiras dimensões respondem por 40,32% da variância das onze possíveis, com alfas de Cronbach de 0,79, 0,80 e 0,75 (p. 14-15). Os agrupamentos assim projetados são então submetidos a testes G de independência e a razões de chance. O voto final se reparte em 40,98% totalmente desfavorável, 33,57% parcialmente favorável e 25,45% totalmente favorável, e 98,04% dos acórdãos são unânimes (p. 13). As apelações têm 3,02 vezes mais chance de voto favorável do que as demais peças (G(1) = 657,25; p < 0,000), e as pessoas jurídicas de direito privado, 2,26 vezes (G(1) = 235,68; p. 17). No sentido oposto, as pessoas jurídicas de direito público têm 2,93 vezes mais chance de voto desfavorável e os embargos, 4,21 vezes (p. 19). A média é de 226,35 acórdãos por magistrado no ano, e o intervalo entre a propositura e a publicação do acórdão fica em 5,82 anos, com desvio padrão de 4,43 (p. 10 e 12).

O que me interessa é ter aqui um corpus nacional inteiro, em português, delimitado por um critério que qualquer um reproduz: tudo o que um tribunal federal disponibilizou em um ano civil. O protocolo de coleta vem descrito etapa a etapa, com as URLs consultadas e os pacotes de R empregados em cada uma (p. 6), e os campos da base final quase coincidem com os que pretendo anotar por modelo de linguagem. A jurisdição também serve à minha linha: a 1ª Seção do TRF4 concentra a matéria trabalhista, aduaneira e tributária, e a 4ª Seção, a penal (p. 5); o INSS e a União Federal, pela Fazenda Nacional, respondem por 32,19% e 10,95% das demandas (p. 11). O que o desenho não oferece é justamente a parte difícil. As variáveis não nascem da leitura do acórdão, e sim do cabeçalho estruturado da publicação, de modo que a anotação é mecânica e não há juízo de codificação a ser tomado em caso duvidoso. Daí não haver manual de codificação, dupla anotação nem medida de concordância entre anotadores — nada, portanto, contra o que aferir a estabilidade de um modelo. Os próprios autores registram que não consideraram os ramos do Direito das demandas e sugerem pesquisas que busquem especificidades dos próprios acórdãos (p. 20). É nessa passagem do metadado para o texto que a anotação deixa de ser determinística e o problema que investigo começa. O que aproveito, então, são as marginais: a distribuição do voto em três níveis e as massas por categoria (p. 13 e 15) servem de referência distributiva contra a qual comparar uma anotação automatizada do mesmo tribunal e do mesmo ano. E a classe parcialmente favorável, que reúne um terço dos casos, é onde espero que a instabilidade se concentre.

Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.