Garzo e Palumbo (2025): o GPT-4o diante do homicídio viário italiano

Testa sessenta conceitos do art. 589-bis do Código Penal italiano e dez acórdãos da Corte de Cassação, com avaliação por perito jurídico e taxonomia do erro cometido pelo modelo.

GARZO, Grazia; PALUMBO, Alessandro. Does ChatGPT understand the law? A case study on road homicide in Italy. In: MARKOVICH, Réka; DI CARO, Luigi; RAPP, Amon; SCHIFANELLA, Claudio (org.). Legal Knowledge and Information Systems: JURIX 2025. Amsterdam: IOS Press, 2025. p. 74-85. (Frontiers in Artificial Intelligence and Applications, v. 416). DOI: 10.3233/FAIA251578.

O desenho tem duas fases. Na primeira, o modelo define, exemplifica e reconhece sessenta conceitos ligados ao tipo penal do homicídio viário. Na segunda, recebe acórdãos íntegros da Corte de Cassação e deve sintetizar a decisão, reconstruir o raciocínio sobre os fatos e identificar a ratio decidendi. Um perito jurídico avalia cada saída em escala estruturada.

O achado que guardo é a tipologia do erro, e não o escore. O modelo fabrica ou atribui mal referências jurisprudenciais, apresenta hipóteses sem marcá-las como hipóteses, inventa expressões jurídicas e erra a norma aplicável, imputando a cooperação culposa ao artigo errado do Código Penal. É a lista de riscos concretos de quem usa esses modelos em matéria sancionadora. Registro que a avaliação repousa sobre um único perito, sem segunda anotação e sem coeficiente de concordância.

Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.