Unifying syntactic theory and sentence processing difficulty through a connectionist minimalist parser

Abstract

Syntactic theory provides a rich array of representational assumptions about linguistic knowledge and processes. Such detailed and independently motivated constraints on grammatical knowledge ought to play a role in sentence comprehension. However most grammar-based explanations of processing difficulty in the literature have attempted to use grammatical representations and processes per se to explain processing difficulty. They did not take into account that the description of higher cognition in mind and brain encompasses two levels: on the one hand, at the macrolevel, symbolic computation is performed, and on the other hand, at the microlevel, computation is achieved through processes within a dynamical system. One critical question is therefore how linguistic theory and dynamical systems can be unified to provide an explanation for processing effects. Here, we present such a unification for a particular account to syntactic theory: namely a parser for Stabler's Minimalist Grammars, in the framework of Smolensky's Integrated Connectionist/Symbolic architectures. In simulations we demonstrate that the connectionist minimalist parser produces predictions which mirror global empirical findings from psycholinguistic research.

Geometric Representations for Minimalist Grammars

“…The representations are using two different encodings. At first we show arithmetic representations implemented by Gerth (2006), then, we describe fractal representations outlined by Gerth and beim . For computing harmony we use Euclidian norm in both cases.…”

“…Recently, Gerth (2006) and Gerth and beim Graben (2009) revived the ideas of early MG, by presenting two ICS/DCM studies for the processing of minimalist grammars in geometric representation spaces, because minimalist tree representations could be of significance for psycholinguistic processing performance. In these studies, different filler/role bindings for minimalist feature arrays and minimalist trees have been used: one purely arithmetic representation for filler features and syntactic roles (Gerth 2006); and another one, combining arithmetic and numerical representations into a fractal tensor product representation (Gerth and beim Graben 2009). Until now, these studies lack proper theoretical justification by means of rigorous mathematical treatment.…”

Computationelle Neurolinguistik

“…(2003)) ausgegangen, die geringfügig zu modifizieren war. Durch die strukturerzeugenden Funktionen "merge" und "move" baut ein bottom-up Parser Kollektionen von Ausdrücken auf, die wir mithilfe einer fraktalen Tensorprodukt-Darstellung und anschließender Dimensionsreduktion auf Aktivierungsvektoren in einem Hopfield-Netz abgebildet haben (beim Graben & Potthast 2009b, Gerth & beim Graben 2009. Trainiert man die synaptischen Gewichte des Netzwerks mit dem korrekten Parse für NPI-Konstruktionen, lassen sich sowohl für diesen wie auch für die ungrammatischen Bedingungen Harmoniewerte bestimmen (Smolensky & Legendre 2006a, 2006b, Smolensky 2006, die in einem statistischen Modell (Gries 2012) mit den beobachteten EKP korreliert werden konnten.…”

“…Daher werden in jüngerer Zeit mächtigere Grammatik-Formalismen, wie z. B. BaumAdjunktions-Grammatiken (Tree Adjoining Grammars, TAG: Joshi et al (1975), Joshi & Schabes (1997)) oder minimalistische Grammatiken (Minimalist Grammars, MG: Stabler (1997), Stabler & Keenan (2003)) für die kognitive Modellierung eingesetzt (Vosse & Kempen 2000, Gerth & beim Graben 2009.…”

“…Dazu werden zuerst die syntaktischen und semantischen Lizenzierungsbedingungen von NPI mithilfe minimalistischer Grammatiken beschrieben (Stabler 1997, Stabler & Keenan 2003. In einem zweiten Schritt werden die von einem minimalistischen Parser berechneten Zustandsbeschreibungen durch DCM auf Aktivierungsmuster eines neuronalen Netzwerks abgebildet (Gerth & beim Graben 2009). Dann werden die synaptischen Gewichte des Netzwerks so trainiert, dass das Netzwerk die korrekten NPILizenzierungsbedingungen realisiert.…”