A Framework for Learning Visual and Tactile Correlation

Taktile Daten sind eine wichtige Informationsquelle für Anwendungen in Bereichen wie der Objekt Manipulation oder der Objekt Erkennung, aber die Sammlung der Daten kann Zeitintensiv und problematisch sein. Zum Beispiel, ein Manipulator müsste jedes Mal das zu bewegende Objekt greifen um die taktilen Informationen zu sammeln und dann noch einmal um es endgültig aufzuheben. Diese Masterarbeit schlägt ein System vor, das hilft dieses Problem zu umgehen, indem es die Taktilen Daten, die Sensoren messen würden, wenn sie ein Objekt an einer gewissen Stelle berühren, basierend auf zweidimensionalen visuellen Informationen. Dafür wurden visuell-taktile Datenpaare gesammelt, um ein Convolutional Neural Network zu trainieren, das Bilder von Objekten als Input nimmt und die Kraftvektoren ausgibt. Um bessere Ergebnisse zu erzielen, wurden die Kanten in den Bildern mit dem Canny Algorithmus extrahiert, eine neue Architektur entwickelt und der Training Prozess mit dem Bayesian Optimisation Algorithmus optimiert. Es wurde eine Evaluations Strategie entwickelt und ein Test Set eingerichtet, um die verschiedenen Modelle effektiv miteinander vergleichen zu können. Das Resultat ist ein System, das die räumlichen Beziehungen zwischen taktilen Sensoren und Oberflächen versteht, aber an Genauigkeit zu wünschen übriglässt. als Folge von ungenaue Daten. Die schlechte Qualität der Daten ist auf ungenaue Sensoren und die suboptimale Strategie der Datensammlung zurückzuführen.