Semi-automated text classification

Abstract

SommarioAl giorno d'oggi esiste una forte domanda di sistemi informatici per l'analisi automatica dei dati testuali. Le grandi industrie e organizzazioni hanno bisogno di elaborare enormi quantità di dati testuali, un'attività che non può essere eseguita con il solo lavoro umano. La Text Classification (TC)è l'attività di etichettare automaticamente i documenti testuali di un insieme D con le categorie tematiche di un insieme predefinito C. I sistemi di text classification lavorano con un'alta efficienza, ma non possono garantire un'accuratezza impeccabile dell'etichettatura.La Semi-Automated Text Classification (SATC) consiste nell'attività di ordinare un insieme di documenti testuali etichettati automaticamente D in modo che, se un annotatore umano validasse (i.e., ispezionasse e correggesse dove appropriato) una porzione dei primi documenti dell'ordinamento con l'obiettivo di incrementare l'accuratezza dell'etichettatura di D, l'incremento atteso venga massimizzato. Una strategia ovviaè quella di ordinare D in modo che i documenti che il classificatore ha etichettato con confidenza più bassa siano i primi dell'ordinamento. In questa tesi dimostriamo che questa strategiaè subottimale. Sviluppiamo nuovi metodi di ordinamento basati sulla teoria dell'utilità e sul concetto di guadagno della validazione, definito come il miglioramento dell'efficacia di classificazione che deriverebbe validando un dato documento etichettato automaticamente. Proponiamo inoltre nuove misure di efficacia per i metodi di ordinamento orientati alla SATC, basati sulla riduzione attesa dell'errore di classificazione, riduzione ottenuta dalla validazione di parte della lista do documenti generata da un dato metodo di ordinamento.Riportiamo i risultati degli esperimenti che dimostrano che, in confronto al metodo di base di cui sopra, e secondo le misure proposte, i nostri metodi di ordinamento basati sulla teoria dell'utilità sono in grado di ottenere una riduzione attesa dell'errore di classificazione sostanzialmente maggiore. Esploriamo quindi l'attività della SATC e il potenziale dei nostri metodi, in molteplici contesti della text classification. Questa tesiè, al meglio delle nostre conoscenze, la prima ad affrontare l'attività della semiautomated text classification. I II AbstractNowadays there is a high demand of information systems for the automatic analysis of textual data. Large industries and organizations need to process huge amounts of textual data, an activity that cannot be performed with human work only. Text Classification (TC) is the task of automatically labelling textual documents from a set D with thematic categories from a predefined set C. Text classification systems work with high efficiency, but they cannot guarantee impeccable labelling accuracy.Semi-Automated Text Classification (SATC) is the task of ranking a set D of automatically labelled textual documents in such a way that, if a human annotator validates (i.e., inspects and corrects where appropriate) the documents in a top-ranked portion of D with the goal o...