Für eine präventive und nachhaltige Instandhaltung von Infrastrukturbauwerken sind regelmäßige visuelle Inspektionen von großer Bedeutung, um Schäden frühzeitig zu erkennen und entsprechende Maßnahmen zu ergreifen. Moderne Technologien wie unbemannte Flugsysteme, ausgerüstet mit hochauflösenden Kameras, unterstützen immer mehr den Inspektionsprozess und die damit verbundene Dokumentation. Dadurch entstehen große Mengen an Bilddaten, Orthofotos, Punktwolken und Oberflächennetzen, welche die gesamte Bauwerksoberfläche in einem ausreichend hohen Detailgrad darstellen und die Annotation von visuell detektierbaren Anomalien ermöglichen. Um diese Datenmenge effektiv nutzen und verwalten zu können, sind Methoden zur Verarbeitung und entsprechend verknüpfte Datenmodelle notwendig. Vor dem Hintergrund einer kontinuierlich zu wiederholenden Bauwerksüberwachung ist eine Automatisierung der einzelnen Analyseschritte besonders vielversprechend. In diesem Aufsatz werden Ansätze für die Verarbeitung großer bildbasierter Datensätze zu einem verknüpften Inspektionsmodell beschrieben. Dazu wird gezeigt, wie Annotationen in Bildern und Orthofotos im Kontext von idealisierten Simulationsmodellen genutzt werden und den Prozess der Zustandsbewertung unterstützen können. Der daraus entstehende digitale Zwilling soll eine konsistente Datenbasis über mehrere Zustände abbilden und damit die Verwaltung heterogener Inspektionsdaten ermöglichen.