All You Need is "Love"

Abstract

With the spread of social networks and their unfortunate use for hate speech, automatic detection of the la er has become a pressing problem. In this paper, we reproduce seven state-of-the-art hate speech detection models from prior work, and show that they perform well only when tested on the same type of data they were trained on. Based on these results, we argue that for successful hate speech detection, model architecture is less important than the type of data and labeling criteria. We further show that all proposed detection techniques are bri le against adversaries who can (automatically) insert typos, change word boundaries or add innocuous words to the original hate speech. A combination of these methods is also effective against Google Perspective-a cu ingedge solution from industry. Our experiments demonstrate that adversarial training does not completely mitigate the a acks, and using character-level features makes the models systematically more a ack-resistant than using word-level features.

Studying Generalisability across Abusive Language Detection Datasets

“…Generalisability of a model has also come under considerable scrutiny. Works such as Karan andŠnajder (2018) and Gröndahl et al (2018) have shown that models trained on one dataset tend to perform well only when tested on the same dataset. Additionally, Gröndahl et al (2018) showed how adversarial methods such as typos and word changes could bypass existing state-ofthe-art abusive language detection systems.…”

“…Works such as Karan andŠnajder (2018) and Gröndahl et al (2018) have shown that models trained on one dataset tend to perform well only when tested on the same dataset. Additionally, Gröndahl et al (2018) showed how adversarial methods such as typos and word changes could bypass existing state-ofthe-art abusive language detection systems. They also observed unimpressive results when using ULMFiT (Howard and Ruder, 2018) for abusive language detection, but argued that model architecture is less important than the type of data and the annotation scheme.…”

Von Hass-Sprache zur Kriminalität

“…"Es sei hervorgehoben, dass Internet-Ausfälle geografisch überall auftreten und weder mit den AfD-Likes auf Facebook noch mit der Anzahl flüchtlingsfeindlicher Delikte von Hass-Kriminalität in Zusammenhang stehen" kommentieren die Autoren ihr Vorgehen [9]. 3 Mit diesem Verfahren wurde nachgewiesen, dass die Steigerung der Hass-Kriminalität in Zeiten von mehr Hass-Kommentaren auf Facebook an Orten und Zeiten von Internet-Ausfällen völlig ausblieb. Man konnte weiterhin zeigen, dass der Effekt auf die Facebook-Nutzung und nicht auf die Internet-Nutzung im Allgemeinen zurückging.…”

“…Man konnte weiterhin zeigen, dass der Effekt auf die Facebook-Nutzung und nicht auf die Internet-Nutzung im Allgemeinen zurückging. 4 Für einen kausalen Effekt von Facebook auf die Auswirkungen von Hass-Kommentaren im Sinne der Befeuerung von Hass-Kriminalität spricht weiterhin der Befund, dass landesweite Facebook-Ausfälle zu einem Verschwinden des Zusammen- 3 "Notably, internet disruptions are geographically dispersed and orthogonal to both AfD likes on Facebook and the total number of refugee attacks in a municipality." 4 Ausnahmsweise sei hier der gesamte Absatz im Original wiedergegeben, um den methodischen Detailreichtum der Arbeit zu illustrieren: "We find that, while the number of hate crimes increases during periods of higher anti-refugee salience, this effect disappears for municipalities experiencing an internet outage.…”

“…So wurde beispielsweise nachgewiesen, dass allein das Vorkommen von Eigenheiten der Sprache der schwarzen Bevölkerung in den USA die Wahrscheinlichkeit der Klassifizierung einer Nachricht als Hass verdoppeln kann [11]. Umgekehrt ergab eine finnische Studie, dass man nur ▪ Wörter falsch schreiben oder ▪ eine Zahl in einem W0rt einzuschmuggeln oder ▪ ganz einfach das Wort "Liebe" irgendwo in einer Nachricht unterzubringen braucht, um die Wahrscheinlichkeit ihrer Klassifikation als "Hass" deutlich zu vermindern [3].…”