Einleitung

A prototypical Mixed Reality concept of swarm © DALL-E

Die Schwarmrobotik befasst sich mit der Koordination mehrerer Einheiten zur Erreichung eines gemeinsamen Ziels; in praktischen Anwendungen werden diese oft als Multi-Roboter-Systeme [1] bezeichnet, die auch als Multi-Agenten-Systeme [2] beschrieben werden. Fortschritte in den Bereichen Künstliche Intelligenz (KI), Edge-Computing und neuartige Sensoren haben eine dezentrale Koordination und komplexe Verhaltensweisen weiter ermöglicht. Allerdings bestehen weiterhin Herausforderungen hinsichtlich der Aufgabenzuweisung, der Kommunikation und der großen Zustandsräume menschlicher Interaktion.

Wie in [3] festgestellt wird, variieren Steuerung und Interaktion je nach Autonomiegrad, was die Bedeutung der Mensch-Computer-Interaktion (HCI) in der Schwarmrobotik unterstreicht. Motiviert durch diese Erkenntnisse beabsichtigen wir, bisherige Arbeiten durch eine systematische Literaturrecherche zu erweitern, die sich mit neuen KI-Ansätzen und multimodalen Schnittstellen in der Mensch-Schwarm-Interaktion (HSI) befasst.

So konzentrieren sich beispielsweise aktuelle Übersichtsarbeiten auf HSI-Modalitäten wie Gestensteuerung, Sprachbefehle und Gehirn-Computer-Schnittstellen [4, 5]. Weitere Untersuchungen unterstreichen die Bedeutung des User-Experience-Designs und des Managements der Bedienerbelastung bei UAV-Schwärmen [6].

Chancen

Example of the use extended reality technology

In der aktuellen Fachliteratur wird zunehmend die Notwendigkeit betont, zu untersuchen, wie Extended Reality (XR) mit künstlicher Intelligenz (KI) – oft als KI/XR bezeichnet – integriert werden kann, um das Nutzererlebnis bei der Interaktion mit Schwarm-Systemen zu verbessern.

Eine menschenzentrierte KI-Integration kann neuartige Interaktionsmethoden wie Kommunikationswerkzeuge, Zustandsschätzung, Visualisierung und fortschrittliche Steuerungsmechanismen ermöglichen. Diese Fähigkeiten haben das Potenzial, Schwarm-Systeme intuitiver und zugänglicher zu machen.

Herausforderungen

Mangel an natürlicher Interaktion

Aktuelle Schnittstellen bieten Endnutzern oft keine natürliche Möglichkeit, mit Schwärmen zu interagieren.

Uneinheitliche Terminologie

In diesem Fachgebiet werden unterschiedliche und manchmal widersprüchliche Begriffe verwendet (z. B. „Multi-Agenten-Systeme“, „Multi-Roboter-Systeme“, „kollektive Robotik“, „Schwärme“), was zu Verwirrung führt.

Kluft zwischen Simulation und Realität

Viele bestehende Studien stützen sich auf unrealistische Simulationen, die die Herausforderungen bei der Implementierung von Schwarm-Systemen in realen Umgebungen nicht vollständig widerspiegeln.

Forschungsfragen

F1: Welche Faktoren beeinflussen die Mensch-Schwarm-Interaktion (HSI) in aktuellen Studien am stärksten?

F2: Inwiefern ermöglichen oder schränken Schwarmarchitekturen die HSI ein?

F3: Welche Hauptmuster und Herausforderungen zeichnen sich in der HSI-Forschung ab?

Ziel

  • Entwicklung einer Taxonomie für die Interaktion von Humas-Schwärmen;
  • Entwicklung einer XR-Simulationsinfrastruktur für „Human-in-the-Loop“-Simulationen unter Nutzung von Mixed-Reality-Fähigkeiten;
  • Bewertung neuartiger Interaktionsformen zur Überwachung, Steuerung und Entscheidungsfindung;

Quellen

  1. A. Hocraffer and C. S. Nam, “A meta-analysis of human-system interfaces in unmanned aerial vehicle (UAV) swarm management,” Applied Ergonomics, vol. 58, pp. 66–80, 2017, doi: 10.1016/j.apergo.2016.05.011.
  2. A. Dahiya, A. M. Aroyo, K. Dautenhahn, and S. L. Smith, “A survey of multi-agent Human–Robot Interaction systems,” Robotics and Autonomous Systems, vol. 161, 104335, 2023, doi: 10.1016/j.robot.2022.104335.
  3. A. Kolling, P. Walker, N. Chakraborty, K. Sycara, and M. Lewis, “Human interaction with robot swarms: A survey,” IEEE Transactions on Human-Machine Systems, vol. 46, no. 1, pp. 9–26, 2016, doi: 10.1109/THMS.2015.2480801.
  4. V. Steane, J. Oakes, S. Palmer, and M. Chattington, “Human-swarm partnerships: A systematic review of human factors literature,” in D. De Waard, K. A. Brookhuis, C. Weikert, C. Yamamoto, and F. R. Drews (eds.), Human Factors in Robots, Drones and Unmanned Systems, 2023, pp. 121–131, AHFE Open Access, doi: 10.54941/ahfe1003754.
  5. A.-I. Şiean, B.-C. Grădinaru, O.-I. Gherman, M. Danubianu, and L.-D. Milici, “Opportunities and challenges in human-swarm interaction: Systematic review and research implications,” International Journal of Advanced Computer Science and Applications, vol. 14, no. 4, pp. 896–904, 2023, doi: 10.14569/IJACSA.2023.0140498.
  6. S. Aldhaheri, F. Renda, and G. De Masi, “Underwater human-robot and human-swarm interaction: A review and perspective,” arXiv preprint arXiv:2406.12473, 2024, doi: 10.48550/arXiv.2406.12473.

THI Ansprechpartner

Forschungsprofessor, Stellvertretender Studiengangleiter „Intelligent Aerial Systems“ (Master)
Prof. Dr.-Ing. Simon Schwerd
Tel.: +49 841 9348-6417
Raum: K210
E-Mail:
Wissenschaftliche Mitarbeiterin
Diah Ayu Irawati
Tel.: +49 841 9348-5209
E-Mail: