There has been a lot of interest in understanding what information is captured by hidden representations of language models (LMs). Typically, interpretation methods i) do not guarantee that the model actually uses the encoded information, and ii) do not discover small subsets of neurons responsible for a considered phenomenon. Inspired by causal mediation analysis, we propose a method that discovers within a neural LM a small subset of neurons responsible for a particular linguistic phenomenon, i.e., subsets causing a change in the corresponding token emission probabilities. We use a differentiable relaxation to approximately search through the combinatorial space. An L 0 regularization term ensures that the search converges to discrete and sparse solutions. We apply our method to analyze subject-verb number agreement and gender bias detection in LSTMs. We observe that it is fast and finds better solutions than the alternative (REINFORCE). Our experiments confirm that each of these phenomenons is mediated through a small subset of neurons that do not play any other discernible role.

ZusammenfassungCoworking Spaces (CSPs) sind geteilte Arbeitsplätze für Selbstständige, Freelancer*innen, Mikrounternehmen und Startups, die Isolation entgegenwirken und zum interdisziplinären Wissensaustausch anregen können. Jedoch existieren auch Barrieren, die Nutzer*innen davon abhalten, zu anderen Coworker*innen Kontakt aufzunehmen, da oft unklar ist, wann und ob jemand zum kreativen Austausch oder zum Anbieten von Hilfe bereit ist. Durch die Covid-19 Pandemie wurde die Unsicherheit bei der gegenseitigen Kontaktaufnahme noch weiter erschwert und viele CSPs mussten zeitweise schließen. Um Barrieren bei der Kontaktaufnahme zu reduzieren und die interdisziplinäre Zusammenarbeit zu fördern, können Informations- und Kommunikationstechnologien eingesetzt werden. Virtual Reality (VR) und Augmented Reality (AR) sind Technologien, die sich durch einen besonders hohen Grad an Immersion und sozialer Präsenz auszeichnen. Deshalb zeigen wir in diesem Beitrag, wie VR- und AR-Technologien gezielt eingesetzt werden können, um den interdisziplinären Wissensaustausch und Zusammenarbeit sowohl in CSPs als auch ortsunabhängig zu fördern. Dazu präsentieren wir positive Effekte, die durch den Einsatz einer der beiden Technologien im Zusammenhang mit CSPs erzielt werden können und leiten konkrete Gestaltungsempfehlungen für Anwendungsentwickler*innen, Unternehmen sowie Betreiber*innen von CSPs ab. Diese Gestaltungsempfehlungen basieren sowohl auf den neuesten Erkenntnissen aus der Fachliteratur als auch auf Interviews mit Expert*innen aus Forschung und Praxis mit Erfahrung im Bereich CSPs, VR und AR. Unsere Anwendungsszenarien können Entwickler*innen, Unternehmen und Betreiber*innen von CSPs als Grundlage dienen, vom Einsatz beider Technologien zu profitieren.

No abstract