Rock Mass segmentation of 2D RGB outcrop data using sam (segment anything model)

Geotechnische Entscheidungen beim Tunnelbau und bei der Böschungsplanung hängen von einer repräsentativen Beschreibung von geklüfteten Gebirgsmassen ab. Zwar können etablierte Gebirgsklassifizierungssysteme auf messbaren Parametern basieren, doch stützt sich die Praxis vor Ort auch auf ¿visuelle¿ Interpretationen ¿ jene Art von schnellen, erfahrungsbasierten Ein- schätzungen, die oft als ¿das Auge des Geologen¿ bezeichnet werden. Diese Arbeit untersucht, ob ein modernes Computer-Vision-Modell wie SAM (Segment Anything Model) für diesen An- wendungsbereich zu einer Art ¿elektronischen Taschengeologen¿ umfunktioniert werden kann, indem es lernt, (i) visuell unterscheidbare Strukturbereiche im Gestein zu klassifizieren und (ii) die entsprechenden Bereiche direkt auf Aufschlussbildern zu segmentieren. Diese Studie nutzt photogrammetrische Bilder von Böschungen aus dem Portalbereich des ¿Zen- trum am Berg¿ (Erzberg, Österreich). Aus Ultra-HD-Fotos mit einer Auflösung von 4000 × 2250 Pixeln werden zehn repräsentative Hängebilder ausgewählt und in Kacheln von 400 × 400 Pixeln zerlegt. Insgesamt 503 Kacheln werden manuell in drei strukturelle Qualitätsklassen eingeteilt: ¿gut¿, ¿mittel¿ und ¿schlecht¿ sowie ¿Hintergrund¿. Daraus entsteht ein Datensatz vom Typ VOC (Visual Object Class), bei dem das nicht annotierte ( nicht klassifizierte & segmentierte) Bild als SAM-Eingabe und das annotierte Bild als Ground-Truth-Maske dient, die die tatsäch- lichen Klassen und deren Grenzen angibt. SAM liefert als Maskierungsalgorithmus eine Segmentierungsmaske für ein bestimmtes Objekt im Bild, das durch eine Reihe von Eingabeaufforderungen (prompts) festgelegt wird. Da der Maske jedoch keine Klasse zugewiesen wird, werden zwei SAM-Anpassungsstrategien implemen- tiert und verglichen. Im ¿semantischen¿ Pfad sagt SAM eine Multiklassenmaske für das gesamte Bild voraus, wobei jedem Pixel eine Klasse zugewiesen wird, wodurch die durch Eingabeauf- forderungen steuerbare Eigenschaft verloren geht. Im ¿vorschlagsbasierten (proposal)¿ Pfad be- hält SAM die durch Eingabeaufforderungen steuerbare Eigenschaft des ursprünglichen Modells bei und gibt eine Maske und die entsprechende Klasse basierend auf der vom Benutzer eingegebe- nen prompts zurück. Die Bild-Masken-Paare des Datensatzes und die semantischen/proposal Anpassungen werden verwendet, um SAM neu zu trainieren, damit es mit besseren Masken und zusätzlichen Klassenmerkmalen reagiert. Um das Umtrainieren mit begrenzten Daten und Hardware-Ressourcen praktikabel zu halten, wurden dem Hauptteil von SAM verschiedene Arten von Adaptern hinzugefügt, um seine Lernleistung zu verbessern. In allen Experimenten schneiden die proposal SAM-Varianten durchweg besser ab als das se- mantische SAM. Die Vorschlags-Checkpoints erzielen regelmäßig höhere Bewertungswerte für den mittleren Dice-Koeffizienten, die IoU (Intersection over Union) und den Recall sowie gün- stigere Trainingskurven. Zwei ideale Vorschlagvarianten wurden als diejenigen mit dem größten Potenzial für die weitere Forschung identifiziert. Ein qualitativer Vergleich der semantischen Variante mit der auf Random Forests basierenden Pixelklassifizierung von ilastik zeigt eine deut- lich schwächere Segmentationsleistung und Formkonsistenz, was den Vorteil der Transformer- basierten Segmentierung für strukturell komplexe Gesteinstexturen unterstreicht. Die Ergebnisse zeigen, dass SAM so umtrainiert werden kann, dass es unter begrenzten Hardware- und Datensatzressourcen eine aussagekräftige Segmentierung und Klassifizierung der Gesteinsstruk- tur liefert. Da der Datensatz jedoch geografisch und geologisch begrenzt ist, wird eine direkte Übertragung auf andere Gesteinsarten ohne weitere Diversifizierung der Daten nicht empfohlen. Die Ausweitung des Workflows auf breitere Lithologien, Bildauflösungen und schließlich auf ne