Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks

Tai, Kai Sheng; Socher, Richard; Manning, Christopher D.

doi:10.3115/v1/p15-1150

Cited by 2,371 publications

(2,063 citation statements)

References 31 publications

Supporting

Mentioning

2,042

Contrasting

Unclassified

Order By: Relevance

“…Δεδομένου του ανεξερεύνητου χώρου έρευνας γύρω από τα νευρωνικά δίκτυα, μπορούμε να δοκιμάσουμε πιο σύνθετες δομές εκμάθησης και να δίνουμε με διαφορετικό τρόπο την πρόσθετη πληροφορία για τον κώδικα. Μια πρώτη τέτοια ιδέα είναι η χρήση των tree-LSTM δικτύων [20] για την διαχείριση των abstract syntax trees της γλώσσας που χρησιμοποιείται.…”

Section: μελλοντική εργασίαunclassified

Towards Source Code Generation with Recurrent Neural Networks

Bountris¹

2018

Preprint

View full text Add to dashboard Cite

ΕυχαριστίεςΘα ήθελα αρχικά να ευχαριστήσω τον επίκουρο καθηγητή κ. Ανδρέα Συμεωνίδη για την εμπιστοσύνη και την καθοδήγηση. ΄Επειτα θα ήθελα να ευχαριστήσω τον μεταδιδακτορικό ερευνητή κ. Κυριάκο Χατζηδημητρίου για την καθοδήγηση και τη συνεργασία. Τέλος, θέλω να ευχαριστήσω την οικογένειά μου για την αδιάλειπτη στήριξη.1 Περίληψη Η εξέλιξη των κλάδων της Μηχανικής Μάθησης και της Επιστήμης της Πληροφορίας είναι ραγδαία την τελευταία δεκαετία. Ως μηχανικοί υπολογιστών, αναζητούμε τρόπους να εκμεταλλευτούμε την εξέλιξη αυτή.Στην παρούσα διπλωματική εργασία εξετάζουμε την ικανότητα των αναδραστικών νευρω-νικών δικτύων στην παραγωγή κώδικα, ως δίκτυα αποτελεσματικά στη διαχείριση ακολουθιών. Προτείνουμε δύο προσεγγίσεις, που βασίζονται στην κατά χαρακτήρα ανάλυση αποθετηρίων κώδικα. Μετά την κατάλληλη προ-επεξεργασία του κώδικα και την εκπαίδευση των δικτύων, τα μοντέλα μπορούν να παράγουν κώδικα μέσω μιας στοχαστικής διαδικασίας. Εκτελούμε στατική ανάλυση κώδικα στα προϊόντα των μοντέλων, με σκοπό την εξέταση των επιδόσεων των προσεγγίσεων. Η γλώσσα επιλογής μας είναι η JavaScript.Η ανάλυση δείχνει την μεγάλη αναπαραστατική δύναμη των αναδραστικών νευρωνικών δικτύων, αλλά και την αδυναμία των προσεγγίσεων μας να αντιμετωπίσουν ικανοποιητικά το πρόβλημα του αυτόματου προγραμματισμού. Με βάση αυτά τα ευρήματα προτείνουμε περαιτέρω ερευνητικές κατευθύνσεις και τρόπους εκμετάλλευσης των μοντέλων που σχεδιάστηκαν. Λέξεις ΚλειδιάΑναδραστικά Νευρωνικά Δίκτυα, Παραγωγή Κώδικα, Χαρακτήρας, Ακολουθία, Μάθηση 3 Towards Source Code Generation with Recurrent Neural Networks AbstractThe evolution of Machine Learning and Data Science disciplines has been rapid during the last decade. As computer engineers, we are looking for ways to take advantage of this evolution.In this diploma thesis we examine the potential of recurrent neural networks to generate source code, given their effectiveness at handling sequences. We propose two approaches, based on per-character analysis of software repositories. Following appropriate code preprocessing and network training, models generate source code through a stochastic process. We perform static code analysis on model products, in order to examine the performance of the approaches. We have applied our approach on the JavaScript Language.The analysis shows the great representational power of the recurrent neural networks, but also the inability of our approaches to satisfactorily address the problem of automatic programming. Based on these findings, we propose further research directions and ways of exploiting the models that were designed. Keywords

show abstract

Section: μελλοντική εργασίαunclassified

Towards Source Code Generation with Recurrent Neural Networks

Bountris¹

2018

Preprint

View full text Add to dashboard Cite

show abstract

“…These models usually build up the sentence representation directly from the lexical surface representation and rely on the pooling layer to capture the dependencies between words. Another popular method for continuous sentence representation is based on the recursive neural network (Socher et al, 2012;Socher et al, 2013;Tai et al, 2015). These models use a tree structure to compose a continuous sentence representation and have the advantages of capturing more fine-grained sentential structure due to the use of parsing trees.…”

Section: Related Workmentioning

confidence: 99%

Open-Domain Name Error Detection using a Multi-Task RNN

Cheng¹,

Fang²,

Ostendorf³

2015

Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing

View full text Add to dashboard Cite

Out-of-vocabulary name errors in speech recognition create significant problems for downstream language processing, but the fact that they are rare poses challenges for automatic detection, particularly in an open-domain scenario. To address this problem, a multi-task recurrent neural network language model for sentence-level name detection is proposed for use in combination with out-of-vocabulary word detection. The sentence-level model is also effective for leveraging external text data. Experiments show a 26% improvement in name-error detection F-score over a system using n-gram lexical features.

show abstract

“…In natural language processing tasks, LSTM has been used for text data related tasks such as sentiment analysis and semantic representation [7], [8]. There are several variations of LSTM exist, but in this paper, we use the following LSTM notation and formulations as used in [9]:…”

Section: Long Short-term Memorymentioning

confidence: 99%