MIRACLE at GeoCLEF 2005: First Experiments in Geographical IR

Lana-Serrano, Sara; Goñi-Menoyo, José Miguel; González-Cristóbal, José Carlos

doi:10.1007/11878773_102

Cited by 2 publications

(3 citation statements)

References 2 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Group IR GeoKB QE RF MAP (R. BM25 no auto BF 0.3936 (R. BM25 yes auto -0.3879 (Leidner, 2005) TFIDF yes yes -0.1850 (Cardoso et al, 2005) TFIDF yes manual -0.2253 (Kornai, 2005) TFIDF yes auto -0.1700 (Buscaldi et al, 2005) TFIDF yes auto -0.1464 (Ferrés et al, 2005a) TFIDF yes auto -0.2231 (Ferrández et al, 2005) BM25 no auto -0.3495 (Kornai, 2005) TFIDF yes auto -0.1700 (Lana-Serrano, et al, 2006a) (Ruiz et al, 2006) TFIDF yes manual RF 0.2446 (Bischoff et al, 2006) boolean yes auto BF 0.1875 (S. Overell et al, 2006) binTF yes auto -0.1953 (Z. Li et al, 2006) BM25 yes manual -0.2395 (Lana-Serrano, et al, 2006a) trie yes auto -0.2653 (Guillén, 2006) DFR no auto -0.2857 (Toral et al, 2006) DFR no auto -0.2985 (Hauff et al, 2006) yes auto -0.1875 (Ferrés and Rodríguez, 2006b) -yes auto -0.1370 (Andogah and Bouma, 2007) TFIDF yes -0.2515 (Cardoso et al, 2007) BM25 yes yes yes 0.2180 (Z. Li et al, 2007a) BM25 no no no 0.1519 (Buscaldi and Rosso, 2007) TFIDF no --0.2636 (Ferrés and Rodríguez, 2007b) TFIDF yes auto RF 0.2850 TFIDF no --0.1535 (S. E. Overell et al, 2007) TFIDF no --0.1850 Moscow state Univ.…”

Section: Results Of the Monolingual English Systems At Geoclefmentioning

confidence: 99%

“…if two entities have a similarity such as being administrative divisions of the same country or if they are countries, …). Lana-Serrano et al (2006a) provided a flexible structure that allows define other types of relationships between resources: based on its languages ("latin america", "anglo-saxon countries") or religion ("catholic countries", "protestant towns",…).…”

Section: Geographical Knowledgementioning

confidence: 99%

See 1 more Smart Citation

Knowledge-based and data-driven approaches for geographical information access

Ferrés Domènech

View full text Add to dashboard Cite

Geographical Information Access (GeoIA) can be defined as a way of retrieving information from textual collections that includes the automatic analysis and interpretation of the geographical constraints and terms present in queries and documents. This PhD thesis presents, describes and evaluates several heterogeneous approaches for the following three GeoIA tasks: Geographical Information Retrieval (GIR), Geographical Question Answering (GeoQA), and Textual Georeferencing (TG). The GIR task deals with user queries that search over documents (e.g. ¿vineyards in California?) and the GeoQA task treats questions that retrieve answers (e.g. ¿What is the capital of France?). On the other hand, TG is the task of associate one or more georeferences (such as polygons or coordinates in a geodetic reference system) to electronic documents. Current state-of-the-art AI algorithms are not yet fully understanding the semantic meaning and the geographical constraints and terms present in queries and document collections. This thesis attempts to improve the effectiveness results of GeoIA tasks by: 1) improving the detection, understanding, and use of a part of the geographical and the thematic content of queries and documents with Toponym Recognition, Toponym Disambiguation and Natural Language Processing (NLP) techniques, and 2) combining Geographical Knowledge-Based Heuristics based on common sense with Data-Driven IR algorithms. The main contributions of this thesis to the state-of-the-art of GeoIA tasks are: 1) The presentation of 10 novel approaches for GeoIA tasks: 3 approaches for GIR, 3 for GeoQA, and 4 for Textual Georeferencing (TG). 2) The evaluation of these novel approaches in these contexts: within official evaluation benchmarks, after evaluation benchmarks with the test collections, and with other specific datasets. Most of these algorithms have been evaluated in international evaluations and some of them achieved top-ranked state-of-the-art results, including top-performing results in GIR (GeoCLEF 2007) and TG (MediaEval 2014) benchmarks. 3) The experiments reported in this PhD thesis show that the approaches can combine effectively Geographical Knowledge and NLP with Data-Driven techniques to improve the efectiveness measures of the three Geographical Information Access tasks investigated. 4) TALPGeoIR: a novel GIR approach that combines Geographical Knowledge ReRanking (GeoKR), NLP and Relevance Feedback (RF) that achieved state-of-the-art results in official GeoCLEF benchmarks (Ferrés and Rodríguez, 2008; Mandl et al., 2008) and posterior experiments (Ferrés and Rodríguez, 2015a). This approach has been evaluated with the full GeoCLEF corpus (100 topics) and showed that GeoKR, NLP, and RF techniques evaluated separately or in combination improve the results in MAP and R-Precision effectiveness measures of the state-of-the-art IR algorithms TF-IDF, BM25 and InL2 and show statistical significance in most of the experiments. 5) GeoTALP-QA: a scope-based GeoQA approach for Spanish and English and its evaluation with a set of questions of the Spanish geography (Ferrés and Rodríguez, 2006). 6) Four state-of-the-art Textual Georeferencing approaches for informal and formal documents that achieved state-of-the-art results in evaluation benchmarks (Ferrés and Rodríguez, 2014) and posterior experiments (Ferrés and Rodríguez, 2011; Ferrés and Rodríguez, 2015b). L'Accés a la Informació Geogràfica (GeoAI) pot ser definit com una forma de recuperar informació de col·lecions textuals que inclou l'anàlisi automàtic i la interpretació dels termes i restriccions geogràfiques que apareixen en consultes i documents. Aquesta tesi doctoral presenta, descriu i avalua varies aproximacions heterogènies a les seguents tasques de GeoAI: Recuperació de la Informació Geogràfica (RIG), Cerca de la Resposta Geogràfica (GeoCR), i Georeferenciament Textual (GT). La tasca de RIG tracta amb consultes d'usuari que cerquen documents (e.g. ¿vinyes a California?) i la tasca GeoCR tracta de recuperar respostes concretes a preguntes (e.g. ¿Quina és la capital de França?). D'altra banda, GT es la tasca de relacionar una o més referències geogràfiques (com polígons o coordenades en un sistema de referència geodètic) a documents electrònics. Els algoritmes de l'estat de l'art actual en Intel·ligència Artificial encara no comprenen completament el significat semàntic i els termes i les restriccions geogràfiques presents en consultes i col·leccions de documents. Aquesta tesi intenta millorar els resultats en efectivitat de les tasques de GeoAI de la seguent manera: 1) millorant la detecció, comprensió, i la utilització d'una part del contingut geogràfic i temàtic de les consultes i documents amb tècniques de reconeixement de topònims, desambiguació de topònims, i Processament del Llenguatge Natural (PLN), i 2) combinant heurístics basats en Coneixement Geogràfic i en el sentit comú humà amb algoritmes de Recuperació de la Informació basats en dades. Les principals contribucions d'aquesta tesi a l'estat de l'art de les tasques de GeoAI són: 1) La presentació de 10 noves aproximacions a les tasques de GeoAI: 3 aproximacions per RIG, 3 per GeoCR, i 4 per Georeferenciament Textual (GT). 2) L'avaluació d'aquestes noves aproximacions en aquests contexts: en el marc d'avaluacions comparatives internacionals, posteriorment a avaluacions comparatives internacionals amb les col·lections de test, i amb altres conjunts de dades específics. La majoria d'aquests algoritmes han estat avaluats en avaluacions comparatives internacionals i alguns d'ells aconseguiren alguns dels millors resultats en l'estat de l'art, com per exemple els resultats en comparatives de RIG (GeoCLEF 2007) i GT (MediaEval 2014). 3) Els experiments descrits en aquesta tesi mostren que les aproximacions poden combinar coneixement geogràfic i PLN amb tècniques basades en dades per millorar les mesures d'efectivitat en les tres tasques de l'Accés a la Informació Geogràfica investigades. 4) TALPGeoIR: una nova aproximació a la RIG que combina Re-Ranking amb Coneixement Geogràfic (GeoKR), PLN i Retroalimentació de Rellevancia (RR) que aconseguí resultats en l'estat de l'art en comparatives oficials GeoCLEF (Ferrés and Rodríguez, 2008; Mandl et al., 2008) i en experiments posteriors (Ferrés and Rodríguez, 2015a). Aquesta aproximació ha estat avaluada amb el conjunt complert del corpus GeoCLEF (100 topics) i ha mostrat que les tècniques GeoKR, PLN i RR avaluades separadament o en combinació milloren els resultats en les mesures efectivitat MAP i R-Precision dels algoritmes de l'estat de l'art en Recuperació de la Infomació TF-IDF, BM25 i InL2 i a més mostren significació estadística en la majoria dels experiments. 5) GeoTALP-QA: una aproximació basada en l'àmbit geogràfic per espanyol i anglès i la seva avaluació amb un conjunt de preguntes de la geografía espanyola (Ferrés and Rodríguez, 2006). 6) Quatre aproximacions per al georeferenciament de documents formals i informals que obtingueren resultats en l'estat de l'art en avaluacions comparatives (Ferrés and Rodríguez, 2014) i en experiments posteriors (Ferrés and Rodríguez, 2011; Ferrés and Rodríguez, 2015b).

show abstract

Section: Results Of the Monolingual English Systems At Geoclefmentioning

confidence: 99%

Section: Geographical Knowledgementioning

confidence: 99%

Knowledge-based and data-driven approaches for geographical information access

Ferrés Domènech

View full text Add to dashboard Cite

show abstract

“…MIRACLE has taken part in CLEF since 2003 in many different tracks and tasks, including the main bilingual, monolingual and cross lingual tasks [4] as well as in ImageCLEF, Question Answering,WebCLEF and GeoCLEF [5] [6]tracks. This paper describes the MIRACLE participation at the Query Parsing task of GeoCLEF 2007.…”

Section: Introductionmentioning

confidence: 99%

MIRACLE at GeoCLEF Query Parsing 2007: Extraction and Classification of Geographical Information

Lana-Serrano

Villena-Román

González-Cristóbal

et al.

Lecture Notes in Computer Science

Self Cite

View full text Add to dashboard Cite

This paper describes the participation of MIRACLE research consortium at the Query Parsing task of GeoCLEF 2007. Our system is composed of three main modules. First, the Named Geo-entity Identifier, whose objective is to perform the geo-entity identification and tagging, i.e., to extract the "where" component of the geographical query, should there be any. This module is based on a gazetteer built up from the Geonames geographical database and carries out a sequential process in three steps that consist on geo-entity recognition, geo-entity selection and query tagging. Then, the Query Analyzer parses this tagged query to identify the "what" and "geo-relation" components by means of a rule-based grammar. Finally, a two-level multiclassifier first decides whether the query is indeed a geographical query and, should it be positive, then determines the query type according to the type of information that the user is supposed to be looking for: map, yellow page or information. According to a strict evaluation criterion where a match should have all fields correct, our system reaches a precision value of 42.8% and a recall of 56.6% and our submission is ranked 1 st out of 6 participants in the task. A detailed evaluation of the confusion matrixes reveal that some extra effort must be invested in "user-oriented" disambiguation techniques to improve the first level binary classifier for detecting geographical queries, as it is a key component to eliminate many false-positives.

show abstract

MIRACLE at GeoCLEF 2005: First Experiments in Geographical IR

Cited by 2 publications

References 2 publications

Knowledge-based and data-driven approaches for geographical information access

Knowledge-based and data-driven approaches for geographical information access

MIRACLE at GeoCLEF Query Parsing 2007: Extraction and Classification of Geographical Information

Contact Info

Product

Resources

About