Forty Years of Welding Research and Development at the Ohio State University

Construção E Avaliação De Um Treebank Padrão Ouro

“…2 Quando o recurso é volumoso, uma possibilidade é revisar apenas uma pequena amostra do todo (JÄRVINEN, 2003). A detecção de erros na amostra pode servir como indicador de quais são as questões mais complicadas que merecem revisão no corpus todo, seja porque a decisão de anotação não foi tomada corretamente, seja porque não houve aplicação consistente da decisão tomada no corpus (DICKINSON, 2005). De modo semelhante, Kilgarriff (1998) sugeriu olhar o corpus sob a lente da distribuição das palavras, para que a partir delas se encontrem os erros de anotação semântica, tornando desnecessário revisar o corpus todo.…”

“…Oliva (2001), por exemplo, desenvolve regras manualmente para identificar erros em corpus. Dickinson (2005) nota que, nos casos em que é necessário que alguém especifique quais são os padrões de erro, não há nenhuma garantia de que todos os erros ou tipos de erros serão identificados, pois dependem primeiro da identificação humana.…”

“…Ou seja, constrói-se uma gramática paralelamente ao treebank, de maneira que um recurso alimenta o outro, conforme adotado, por exemplo, por Oepen, Flickinger e Bond (2004). Dickinson (2005) considera essa abordagem útil e teoricamente muito atrativa, mas de difícil aplicação pois requer muito esforço para desenvolver uma gramática que seja robusta o suficiente para considerar todos os casos do corpus.…”

“…Outra forma de detectar erros na anotação de corpora que foi muito desenvolvida ao longo do tempo em diferentes contextos é a que busca por variação na anotação de trechos semelhantes. Dickinson (2005) mostra que esse tipo de aplicação pode ser realizado para anotação sequencial de POS, para anotação de sintaxe de constituintes ou mesmo para sintaxe de dependências. A ideia é a de que em corpora muito volumosos é possível encontrar pedaços de texto idênticos cuja anotação seja diferente, cabendo ao revisor (automático ou manual) decidir se a diferença está correta ou se uma das duas anotações é a correta e deve ser replicada nas demais.…”