Performance in a dialectal profiling task of LLMs for varieties of Brazilian Portuguese

Abstract

Vieses de diferentes tipos são reproduzidos em respostas geradas por LLMs, inclusive dialetais. Um estudo baseado em engenharia de prompt foi realizado para descobrir como os LLMs discriminam as variedades do português brasileiro, especificamente se regras sociolinguísticas são consideradas por quatro LLMs – GPT 3.5, GPT-4o, Gemini e Sabiá-2 – na geração de suas respostas. Os resultados oferecem contribuições sociolinguísticas para uma tecnologia de PLN com equidade dialetal.