Finding coincident data from satellites: using "meta-metadata" to reduce load on archive

Abstract

In this paper, the concept of "meta-metadata" is introduced as an abstraction of metadata as metadata is an abstraction of the data. The problem of finding coincident data from satellites is examined using metadata and metametadata. The meta-metadata approach is shown to be more generally applicable and supports a more heterogeneous system. Finally, the implementation of a prototype system for performing coincidence search is described.The challenges and opportunities for archives are evolving. The number and scale of archives are increasing, as is the interoperability of archives through the use of standards and Internet connectivity. Archivists are challenged because the demands on archives are increasing faster than the technology; however, there is great opportunity because of the large and diverse volume of data online. One way to reduce the challenge and to take advantage of the opportunity is through the introduction of meta-metadata. Metadata reduces the demands on an archive by providing information about archive holdings in a more compact form than is available through the data, and it may support the discovery of related data in an archive. Meta-metadata reduces the demands on archives by representing the metadata in a more compact form, and it may support the discovery of related data across multiple archives. The ability to search across multiple archives becomes valuable as the variety of data online allows combining data in ways not envisioned when the data were collected.The problem of finding coincident data from satellites can be exemplified by two questions: (1) When does a specific instrument onboard a specific spacecraft view a particular wheat field in Kansas?, and (2) When do two specific instruments on two spacecraft both view a particular wheat field in Kansas within half an hour of each other? The National Aeronautics and Space Administration's (NASA's) Earth Observing System (EOS) Data and Information System (EOSDIS) collects spacecraft data from multiple spacecraft and supports the interdisciplinary use of those data. In some cases, however, the metadata provided with the data does not facilitate coincidence searches. EOSDIS metadata for spacecraft data ignore the inherent relationship between the space and time dimensions of the data. For data granules with large temporal extent, ignoring the spacetime relationship leads to spatial metadata with little or no information content. The lack of information in the metadata leads to coincidence queries that are all hits or all misses. To perfom space-time coincidence queries on such metadata can be a resource-prohibitive endeavor because of the large numbers of false-positive data granule hits. Once the relevant data granules are found in the database by eliminating the false-positive hits, it is frequently beneficial to subset those data granules to obtain the data of interest only. To spatially subset data that is organized by time of data collection, space must be related to time.The natural way to relate space and time for spacecraft da...

Observatoires et Infrastructures de Données Géographiques (IDG) pour le suivi spatiotemporel et environnemental des territoires.

“…Landsat 8 OLI produit une imagerie globale de la planète tous les 16 jours et fait l'acquisition de l'état de surface terrestre d'environ 21 mio km² par jour. Or la plupart des chercheurs préfère une donnée de qualité qui répond à leurs attentes spécifiques qu'une masse de données qui nécessite une recherche en plusieurs étapes (Willard et Berbert, 1999). L'interopérabilité des formats de métadonnées entre différents production d'imagerie satellitaire permet à de multiples IDG d'accéder aux catalogues de différents fournisseurs (Noucher et al, 2017 ;Percivall, 2010 ;Vancauwenberghe et al, 2018.…”

“…Présentation de la station hydrométrique Les IDG en imagerie et celles en hydrométrie n'offrent pas à l'utilisateur final un accès aux données basée sur la dynamique spatiotemporelle de leur observation mais uniquement à leur catalogage à partir des métadonnées. Ces dernières pourraient être enrichies pour proposer une interopérabilité « de niveau 2 » sur des méta-métadonnées (Willard et Berbert, 1999) en croisant les informations des métadonnées avec des objets spatiotemporel extraits des données de plusieurs IDG (Wiemann et Bernard, 2016, Willard et Berbert, 1999, dans le cas présent, les observatoires hydrométriques et l'imagerie aérienne ou satellitaire. S'agissant des volumes de données considérables déjà archivés et à venir, il est raisonnable de considérer cette nouvelle interopérabilité comme un défi numérique visant à proposer des métadonnées améliorées, orientées objet, sur les données ouvertes.…”

“…Répondre à ces questions implique une recherche fédérée mobilisant plusieurs IDG dont certains regroupent pourtant plusieurs catalogues (Earthexplorer). Il faut également que les métadonnées fournies à l'échelle de l'image soient mises à jour et enrichies car, dans les IDG actuelles, la donnée d'imagerie est sous-renseignée, parce que la métadonnée est uniquement produite à l'échelle globale de l'image (Desconnets, 2017, Willard et Berbert, 1999. Mettre en oeuvre une segmentation robuste de type quadtree (Finkel et Bentley, 1974 ;Bentley, 1975 ;Samet, 1984) puis extraire de nouvelles métadonnées dans une couche vectorielle interopérable permettrait de résoudre la partie spatiale du problème de l'utilisateur travaillant sur les aléas hydrologiques.…”

“…Ces deux types de segmentation spatiale et temporelle utilisent des d'outils et des modèles de traitements qui sont faciles à mettre en oeuvre. Ils peuvent donc aisément participer à la création d'une métadonnée améliorée (Willard et Berbert, 1999) qui permettrait de proposer à l'utilisateur une interopérabilité de niveau supérieur entre les IDG. Un aléa hydrologique, une fois observé par imagerie et par hydrométrie, disposerait alors d'une signature numérique inter IDG.…”

“…Ces outils devraient pouvoir interroger des métadonnées interopérables sur plusieurs IDG mais aussi pouvoir fédérer des métadonnées relevant de plusieurs silos d'une même IDG. Ce premier défi renvoie aux concepts de méta-métadonnées (Willard et Berbert, 1999) et ceux promus par l'ISDE (International Society for Digital Earth) qui insiste sur le fait que des questions scientifiques complexes ne peuvent pas être résolues à l'intérieur d'un seul domaine scientifique et que les digital earth technologies doivent pouvoir répondre aux besoins d'échanges, d'intégration et de réemploi de données hétérogènes (Janowicz et Hitzler, 2012).…”