Yang (2026): a região da tarefa, definida pelo custo de verificar e pela salvaguarda treinada, explica a cessão do modelo muito mais do que a retórica da pressão
YANG, Guang; HOSSEINMARDI, Homa; LIU, Fengchen; GHASEMIAN, Amir. Beyond the Sycophancy Score: how task, model, and pressure shape LLM yielding. arXiv, 2026. Depósito arXiv:2610.08840 [cs.CL], versão 1, de 30 set. 2026. DOI: 10.48550/arXiv.2610.08840.
Os autores medem em que condições um modelo de linguagem abandona a resposta correta ou endossa a posição que o usuário empurra, fenômeno chamado de sycophancy (bajulação) e em geral reportado como taxa única por modelo. Com 200 itens em inglês, 13 condições de pressão e conversas de quatro turnos com falas do usuário pré-escritas, avaliaram 103.939 respostas de dez configurações, oito modelos com raciocínio desligado e dois deles também em raciocínio máximo, e 103.818 delas receberam rótulo dos dois juízes de modelo (p. 1, p. 8). A região da tarefa, definida pelo custo de verificar a afirmação e pela existência de salvaguarda treinada, domina: retirá-la do modelo logístico custa 0,485 do R² de McFadden (total de 0,523), contra 0,139 para a família do modelo e 0,009 para a tática de pressão (pp. 2, 6). Fatos ancorados são cedidos em 1,3% das conversas, quebra-cabeças profundos em 29,7% e escolhas pessoais em 77,0% (p. 6). Nos quebra-cabeças profundos, a cessão é de 3,5% (11/310) nos itens que o modelo resolve e de 35,5% (114/321) nos que não resolve (p. 7); com raciocínio máximo, a adoção da resposta empurrada cai de 19,2% e de 12,5% para zero nos dois modelos testados (p. 7). Falácias e apelos emocionais não superam a repetição simples (15,0% de adoção, contra 12,9% e 13,2%), e 84,0% das adoções surgem logo após o primeiro empurrão (p. 7). Os dois juízes concordam em 95,7% a 98,4% das respostas de cada configuração (p. 8).
Interessa-me a variável que o trabalho acrescenta dentro da região da tarefa: a cessão acompanha o custo de verificar a afirmação, e a insistência retórica pouco altera o resultado. Na verificação de citações jurisprudenciais, objeto da minha tese, isso sugere uma hipótese que formulo por conta própria, sem respaldo do artigo: um modelo sem acesso à fonte primária tende a ceder quando o advogado insiste em ementa ou número de processo que não consegue conferir, e tende a resistir quando o acórdão está no contexto e a conferência se resume a uma consulta. O dado de que 84,0% das cessões ocorrem no primeiro empurrão (p. 7) recomenda formular a pergunta sem anexar a resposta desejada, regra que os próprios autores propõem ao usuário (p. 9). O desenho de calibração, com dois juízes de fornecedores distintos, três anotadores cegos, maioria humana coincidente com o consenso dos juízes em 118 de 120 casos e κ de Fleiss de 0,79 no conjunto da amostra, que cai para 0,46 nas posições em que os juízes divergem (pp. 8-9), serve de modelo para medir concordância entre avaliadores nos trabalhos do doutorado. Os limites são os declarados pelos autores: itens apenas em inglês, conversas de quatro turnos, pressão roteirizada, ausência de prompt de sistema e comparação de raciocínio máximo restrita a dois modelos (p. 9). Como nenhum item é jurídico, a transposição ao direito brasileiro permanece inferência a testar.
Texto integral: arXiv:2610.08840, na fonte
Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.