Robust and Resource-Efficient Computer Vision Pipelines for Open-World Industrial Applications

Der Einsatz von Deep-Learning-Modellen zur Instanzsegmentierung in unstrukturierten Industrieumgebungen wird durch systemische Einschränkungen bei der Datengenerierung, der Modelloptimierung und der Hardwareimplementierung begrenzt. Während moderne Netzwerkarchitekturen unter kontrollierten Laborbedingungen hohe Genauigkeiten erzielen, führen praxisnahe Einflüsse wie extreme Materialvariabilität, Verdeckungen, Staubbildung und wechselnde Lichtverhältnisse im Regelfall zu erheblichen Einbußen der Lokalisierungsperformanz. Diese Dissertation stellt eine methodische Bildverarbeitungspipeline vor, welche diese Defizite behebt und eine echtzeitfähige, robuste Objekterkennung unter rauen Betriebsbedingungen ermöglicht. Zur Beschleunigung von Annotationsprozessen wird das teilautomatisierte Werkzeug FOST (Fast Object Segmentation and Tracking Tool) eingeführt. Durch die Kombination von interaktiver Klicksegmentierung mit temporalem optischen Fluss nach Lucas-Kanade senkt FOST den manuellen Labelaufwand auf Bruchteile einer Sekunde pro Videoframe. Mittels dieser Pipeline wurde der hochaufgelöste Videodatensatz SteelDS mit 24.297 annotierten Einzelbildern erstellt, welcher die Klassifizierung feingliedriger Materialfraktionen unter variierenden Objektdichten abbildet. Um die für Edge-Geräte erforderlichen Latenzzeiten einzuhalten, wird der mathematische Pruning-Algorithmus IBIS (Instance-Based Importance Scores) entwickelt. Durch eine instanzkonditionierte Gradientengewichtung reduziert IBIS die Modellgröße um bis zu 95%, ohne die Segmentierungspräzision kritischer Objektklassen zu beeinträchtigen. Im Rahmen einer systematischen Resilienzstudie unter sieben realen Störeinflüssen (darunter Bewegungsunschärfe und Luftverschmutzung durch Staub) wird nachgewiesen, dass unstrukturierte, hochgradig sparsifizierte Netzwerke als räumliche Filter wirken und Domänenverschiebungen stabiler kompensieren als klassische, dichte Modelle. Zur Reduktion des hohen manuellen Aufwands bei der Generierung pixelgenauer Trainingsdaten, welcher eine zentrale Herausforderung überwachter Lernverfahren darstellt, wird ein neuartiger Ansatz zur unüberwachten Entdeckung untersucht. Hierzu wird das Framework PASTA (Vision Transformer Patch Aggregation for Weakly Supervised Target and Anomaly Segmentation) zur markerlosen Zero-Shot-Zielobjekt- und Anomaliesegmentierung vorgestellt. Durch die statistische Auswertung von Kontrastunterschieden in den Tokenverteilungen gegenüber nominalen Referenzen demonstriert dieses Framework eine domänenagnostische Generalisierung über Metallrecyclingstrecken und die autonome agrarrobotische Pflanzenlokalisierung hinweg. Die wissenschaftlichen und methodischen Kernbeiträge dieser Dissertation werden durch zwei publizierte Konferenzbeiträge mit Peer-Review, zwei aktuell zur Begutachtung eingereichte Journal-Manuskripte sowie den beigefügten industriellen Benchmark-Datensatz untermauert. Zusammenfassend schließt diese Arbeit die Lücke zwischen theoretischer Computer Vision und robotergestützter Interaktion in unkooperativen Umgebungen. Die entwickelten Algorithmen wurden im industriellen und universitären Forschungsumfeld in der Steiermark validiert und leisten einen direkten Beitrag zur operativen Ressourceneffizienz und Automatisierung in der modernen industriellen visuellen Bildverarbeitung.