Industrial

Metaverse

Verschmelzung von physischem und virtuellem Raum

Ihre Ansprechpartner

Heike Wohlfeld

Forschungskoordinatorin ARENA2036 e.V.

Powered By

Die Herausforderung: Das blinde Metaverse 

Ein Roboter in der Simulation agiert perfekt aber nur in der Theorie. Sobald er auf die echte Welt trifft, scheitern Algorithmen oft an Lichtreflexionen, Schatten oder minimalen Abweichungen. Dies ist der Sim2Real Gap, die größte Hürde für echte Physical AI. 

Manuelle Datenbeschaffung gilt als "Goldstandard", ist jedoch anfällig für menschliche Fehler und für KMU schlichtweg nicht skalierbar. Wenn sich Geometrien oder Materialien ändern, wird die ständige händische Pflege von Datensätzen unwirtschaftlich. Die realistische Lösung liegt daher in synthetischen Daten: Unsere Forschung beweist, dass bereits rein synthetisch trainierte Modelle gute Leistungen erbringen und durch die gezielte Beimischung nur weniger realer Bilder ("Hybrid-Ansatz") sogar "State-of-the-Art"-Ergebnisse liefern.

Stufen der Wahrnehmung

Unsere Forschung im Reallabor hat gezeigt, dass robuste Wahrnehmung ein evolutionärer Prozess ist. Wir haben unsere Systeme schrittweise validiert:

  1. Lokalisation (Bounding Boxes): Der erste Schritt. Die KI lernt, wo sich ein Objekt im Raum befindet. Diese grobe Einrahmung genügt oft für reine Zählaufgaben oder Inventuren, liefert jedoch noch keine Informationen über die tatsächliche Form oder Ausrichtung des Bauteils für einen Greifvorgang.
  2. Präzision (Semantische Segmentierung): Das System lernt, Objektgrenzen exakt von der Umgebung zu trennen – essenziell für sichere Interaktion. Durch diese pixelgenaue Maskierung erkennt der Roboter die exakten Konturen und verhindert so, dass beim Greifen versehentlich benachbarte Objekte oder Behälterwände beschädigt werden.
  3. Verständnis (6D Pose Estimation): Der Schlüssel zur Physical AI. Die KI begreift die exakte Lage und Rotation eines Objekts im 3D-Raum, um es physisch manipulieren zu können. Erst durch die Kombination aus drei Positions- und drei Rotationskoordinaten weiß der Roboterarm genau, aus welchem Winkel er ein ungeordnet liegendes Werkstück anfahren muss, um es sicher zu montieren.

Die Strategie: Generalisierung statt Kopie

Das Ziel ist nicht, die Realität im Metaverse pixelgenau nachzubauen – das ist ineffizient. Stattdessen verfolgen wir den Ansatz der Domain Randomization. Wir trainieren die KI mit tausenden Variationen der Umgebung. So lernt das System, sich nicht von wechselndem Licht oder Hintergründen ablenken zu lassen, sondern sich auf die physische Geometrie des Bauteils zu konzentrieren.

Anwendung: Der selbst-aktualisierende Zwilling

Das Ziel ist ein nahtloser Kreislauf: Ein Sensor scannt die Halle, die KI erkennt Veränderungen (z.B. eine verschobene Maschine) und aktualisiert den Digital Twin automatisch. Das Metaverse bleibt synchron mit der Realität.