Zurück zur Hauptseite / Back to main page

Wechseln Sie zur Seite in englischer Sprache

Drohnen mit Künstlicher Intelligenz - Master-Projekt - Studienfeld Intelligente Systeme (WS2627)

Teilnehmerinnen und Teilnehmer des Projekts arbeiten in Gruppen von maximal vier Personen. Jede Gruppe erhält eine fertig aufgebaute und flugbereite FPV-Drohne sowie die erforderlichen Hard- und Softwarekomponenten. Ziel des Projekts ist die Entwicklung, Implementierung und experimentelle Bewertung einer drohnenbasierten Lösung zur automatischen Erkundung und Kartografierung von Innenräumen.

Die Drohne soll Räume und Gänge eines Gebäudes möglichst selbstständig erkunden und dabei eine zwei- oder dreidimensionale Karte der Umgebung erstellen. Da innerhalb von Gebäuden in der Regel kein zuverlässiger GPS-Empfang verfügbar ist, müssen alternative Verfahren zur Positionsbestimmung, Navigation und Hinderniserkennung untersucht und miteinander kombiniert werden. Hierfür kommen beispielsweise optischer Fluss, LiDAR, visuelle Odometrie, Inertialsensoren sowie Verfahren aus den Bereichen SLAM (Simultaneous Localization and Mapping) und künstliche Intelligenz infrage.

Die Verarbeitung kann vollständig auf der Drohne oder verteilt zwischen Drohne und Bodenstation erfolgen. In jedem Fall muss die Drohne auch bei eingeschränkter oder unterbrochener Funkverbindung in einen sicheren Zustand wechseln können. Neben der technischen Umsetzung sollen insbesondere die Genauigkeit und Vollständigkeit der erzeugten Karten, die Zuverlässigkeit der Positionsbestimmung sowie die Grenzen der verwendeten Hard- und Software untersucht und nachvollziehbar dokumentiert werden.

Das Projekt umfasst die folgenden Aufgaben:

• Aufgabe 1: Drohnenplattform und Systemarchitektur. Machen Sie sich mit der bereitgestellten FPV-Drohne sowie deren Hard- und Softwarekomponenten vertraut. Entwerfen Sie eine geeignete Gesamtarchitektur für die automatische Gebäudeerkundung und legen Sie fest, welche Verarbeitungsschritte auf der Drohne und welche gegebenenfalls auf einer Bodenstation ausgeführt werden.
• Aufgabe 2: Autonomer Flug in Innenräumen. Integrieren und konfigurieren Sie eine geeignete Autopilot-Lösung, vorzugsweise ArduPilot. Die Kommunikation zwischen Autopilot, Einplatinencomputer und Bodenstation kann über MAVLink erfolgen. Realisieren Sie einen stabilen und sicheren Flug ohne GPS. Verwenden Sie dazu geeignete Sensoren für Entfernungsmessung, optischen Fluss, Hinderniserkennung und Positionsschätzung. Die Drohne muss jederzeit manuell übernommen beziehungsweise über einen Not-Aus-Mechanismus sicher gestoppt werden können.
• Aufgabe 3: Lokalisierung und Kartografierung. Entwickeln Sie ein Verfahren, mit dem sich die Drohne innerhalb eines Gebäudes lokalisiert und gleichzeitig eine Karte ihrer Umgebung erzeugt. Als Ergebnis soll mindestens eine zweidimensionale Belegungskarte oder ein Grundriss entstehen. Eine dreidimensionale Punktwolke oder eine semantisch angereicherte Karte kann als Erweiterung umgesetzt werden. Geeignete Softwarelösungen sind beispielsweise Robot Operating System 2 (ROS), Open Computer Vision Library (OpenCV), Real-Time Appearance-Based Mapping (RTAB-Map), ORB-SLAM3 oder Cartographer.
• Aufgabe 4: Automatische Erkundung und Navigation. Die Drohne soll bislang unbekannte Bereiche selbstständig erkennen, geeignete Erkundungsziele bestimmen und eine möglichst kollisionsfreie Flugroute planen. Räume, Gänge, Türen, Sackgassen und Hindernisse sollen dabei sinnvoll berücksichtigt werden. Nach Abschluss der Erkundung oder beim Auftreten eines Fehlers soll die Drohne sicher landen oder zu einem bekannten Ausgangspunkt zurückkehren. Optional können Räume, Türen, Schilder oder andere relevante Objekte erkannt und in der Karte markiert werden.
• Aufgabe 5: Integration und mechanische Anpassung. Integrieren Sie die benötigten Kameras, Entfernungssensoren und Einplatinencomputer in die Drohnenplattform. Entwickeln Sie bei Bedarf geeignete Halterungen oder Erweiterungen des bestehenden Rahmens. Für Konstruktion und 3D-Druck können beispielsweise Tinkercad und UltiMaker Cura verwendet werden. Möglichkeiten zum 3D-Druck stehen zur Verfügung.
• Aufgabe 6: Experimentelle Evaluation. Testen Sie das System in unterschiedlich gestalteten Räumen und Gängen. Untersuchen Sie unter anderem die Kartenqualität, Lokalisierungsabweichung, Flächenabdeckung, Erkundungsdauer, Zahl der erforderlichen manuellen Eingriffe, Rechen- und Energiebedarf sowie die Robustheit gegenüber unterschiedlichen Lichtverhältnissen, spiegelnden Flächen, strukturlosen Wänden, engen Durchgängen und beweglichen Hindernissen. Vergleichen Sie die erzeugte Karte nach Möglichkeit mit einem bekannten Grundriss oder einer anderweitig vermessenen Referenz.
• Aufgabe 7: Dokumentation und Präsentation. Erstellen Sie eine vollständige und verständliche Online-Dokumentation, die Studierende, Forschende und Lehrende in die Lage versetzt, das entwickelte System nachzubauen und für eigene Lehr- und Forschungsprojekte weiterzuverwenden. Es werden keine Folienpräsentationen oder klassischen PDF-Projektberichte erstellt. Jedes Team dokumentiert seine Architektur, Implementierung, Experimente, Ergebnisse und bekannten Einschränkungen beispielsweise mit GitHub Pages und präsentiert das Projekt abschließend mit einem Poster und einer Live-Demonstration.
• Bonusaufgabe: Entwicklung eines Propellerschutzes. Entwerfen und fertigen Sie einen möglichst leichten, stabilen Propellerschutz (z.B. mit Tinkercad, FreeCAD oder Blender) oder einen Mantelpropeller (Englisch: Ducted Fan) bzw. einen Impeller, der den sicheren Betrieb der Drohne in Gebäuden und beengten Umgebungen ermöglicht. Untersuchen Sie experimentell dessen Schutzwirkung sowie die Auswirkungen auf Flugstabilität, Leistungsaufnahme, Flugzeit und Manövrierfähigkeit und dokumentieren Sie Konstruktion, Testverfahren und Ergebnisse. Einige Quellen zur Thematik: [1], [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12], [13]

Im Mittelpunkt des Projekts steht nicht allein eine erfolgreiche Demonstration. Ebenso wichtig sind eine systematische Vorgehensweise, reproduzierbare Experimente und eine fundierte Analyse der technischen Grenzen. Dazu gehören insbesondere die begrenzte Rechenleistung und Akkukapazität der Drohne, Fehler und Drift bei der Positionsbestimmung, unvollständige Sensordaten, Kommunikationsabbrüche sowie die sichere Navigation in einer unbekannten Umgebung.

Zeitplan für das Semester

Der Stundenplan kann sich u.a. wegen Dienstreisen und Belegungen der Mehrzweckhalle im Laufe des Semesters ändern. Bitte regelmäßig kontrollieren!

Mittwochs von 10 bis 12 Uhr können wir die Mehrzweckhalle in Gebäude 10 für Flugversuche nutzen. Zudem stehen uns immer die Labore in 1-022 und 2-033. Beide Labore verfügen über Lötausstattung. Das Labor 1-022 verfügt zudem über einen modernen 3D-Drucker, den Sie nutzen können.

Dokumente

		KI-Drohnen: Ein zweisprachiges Handbuch über Entwurf, Bau und Einsatz von KI-fähigen Drohnen für wissenschaftliche Projekte und Lehre (GitHub-Repository)
		Deep-Learning-gestützte Ansätze für visionbasierte Umgebungserfassung und sichere Navigation Bachelorarbeit von Veronika Herold (Hochschule Fulda), 2026

Ausstattung

Jedes Team erhält folgende Ausrüstung:

• FPV-Drohne 7-8'' mit komplett aufgebaut und flugfähig
• Skyzone Cobra X FPV-Brille
• Li-Ion Akkus (3 Stück)
• Radiomaster GX12 ELRS Dual-Band Gemini-X 868MHz/2.4GHz Fernsteuerung mit Firmware EdgeTX v2.12.2 und passend zum Empfänger konfigurierter Binding Phrase: drone[1-3]ffm
• Raspberry Pi Zero 2 WH Einplatinencomputer
• Gehäuse passend für den Raspberry Pi Zero 2 Einplatinencomputer
• Raspberry Pi AI Kameramodul
• MicroAi Sensoren für Entfernungsmessung (LiDAR)
• CP2102-USB-UART-Adapter zur Konfiguration des MicroAir MTF-01P
• Mini-HDMI zu Standard-HDMI-Kabel
• Micro-USB (m) auf USB Typ A (f) Kabel
• USB Typ A (m) auf USB-C Kabel
• USB-C auf USB-C Kabel
• USB-Audio/Video-Grabber (MacroSilicon MS210x)
• Verbindungskabel (Buchse auf Buchse und Buchse auf Stecker)
• Smoke Stopper (Kurzschlussschutzstecker)
• Speedybee Adapter V3 (Konfigurationstool)
• SkyRC B6neo+ Ladegerät
• Imbus- und Sechskant-Schraubenschlüssel in den für FPV-Drohnen üblichen Größen (1,5 mm, 2,0 mm, 4,0 mm, 5,5 mm, 8,0 mm)
• Schraubendreher-Set mit 48-teiligem Präzisions-Bitsatz
• Ersatzpropeller (5'' und 6'')
• MicroSD-Speicherkarte (32 GB) mit SD/MicroSD-Adapter
• USB-Kartenlesegerät für SD und MicroSD-Speicherkarten
• 18650-Akkus für Fernsteuerung und FPV-Brille
• Power Bank 20000 mAh PD 20 W (für alle Fälle...)
• USB-C Netzteil 27W zum Laden der FPV-Brille, der Fernsteuerung, der Power Bank und zum Betrieb des SkyRC B6neo+ Ladegeräts
• M3-Distanzbolzen und Schrauben (M3x9mm, M3x12mm) zum eventuellen nötigen Bau einer Plattform
• Alukoffer (ca. 45x30x15 cm)

Drohnen im WS2627

Die Komponenten und deren Verbindung miteinander ist bei allen drei Drohnen weitestgehend identisch.

Bilder TBD

Die vorbereiteten Drohnen sind im Detail...

Drohne 1

• Rahmen: GEPRC LC75 Frame 7,5 Zoll (Informationen)
• Flugcontroller: MicoAir743 V2 (STM32H743VIT6, 480MHz, 2MB Flash, 2-6S, 8xUART, 1xI2C, 11xPWM, 5V 3A BEC, 12V 3A BEC) mit ArduPilot (Dokumentation)
• ESC: MicoAir AM32-4IN1-55A
• Empfänger: Radiomaster XR1 Nano Multi-Frequency ExpressLRS Empfänger mit Firmware ExpressLRS 4.1.0 (Handbuch)
• Binding Phrase: drone1ffm
• Kamera: Foxeer T-Rex Micro 1500TVL 4.5-27V Analog (Handbuch)
• Videosender: Foxeer Reaper Extreme V3 2.5W VTX 9-36V (Handbuch)
• Kanal: 5865 MHz (Band: A, Channel: 1)
• Den Videosender betreffende Einstellungen in ArduPilot sind:
  • VTX_ENABLE       = 1
  • SERIAL2_PROTOCOL = 44 # IRC Tramp
  • SERIAL2_OPTIONS  = 4  # Half-Duplex (wichtig!)
  • SERIAL2_BAUD     = 57 # 57600 Baudrate
  • SVTX_BAND        = 0  # Band A
  • SVTX_CHANNEL     = 0  # Kanal 1 => 5865 mW
  • VTX_MAX_POWER    = 25 # Sendeleistung: 25mW
  • VTX_OPTIONS      = 0  # Empfehlung: Wert 7 für Pitmode vor und nach dem Arming
• VTX-Antenne: Foxeer Lollipop V4 Stubby 5,8 GHz RHCP SMA
• Motoren: iFlight XING2 2809 1250KV 4-6S (Spezifikation)
• Propeller: Gemfan Hurricane 6038-4 6-Zoll 4-Blatt Propeller (Informationen)
• GPS: HGLRC M100-5883 mit Kompass (Handbuch)

Bilder TBD

Drohne 2

• Rahmen: HGLRC Rekon8 PRO Frame 8 Zoll (Informationen)
• Flugcontroller: MicoAir743 V2 (STM32H743VIT6, 480MHz, 2MB Flash, 2-6S, 8xUART, 1xI2C, 11xPWM, 5V 3A BEC, 12V 3A BEC) mit ArduPilot (Dokumentation)
• ESC: MicoAir AM32-4IN1-55A
• Empfänger: Radiomaster XR1 Nano Multi-Frequency ExpressLRS Empfänger mit Firmware ExpressLRS 4.1.0 (Handbuch)
• Binding Phrase: drone2ffm
• Kamera: Caddx Ratel Pro 1500TVL 125FOV 4,5-16V Analog (Handbuch)
• Videosender: Foxeer Reaper Extreme V3 2.5W VTX 9-36V (Handbuch)
• Kanal: 5825 MHz (Band: A, Channel: 3)
• Den Videosender betreffende Einstellungen in ArduPilot sind:
  • VTX_ENABLE       = 1
  • SERIAL2_PROTOCOL = 44 # IRC Tramp
  • SERIAL2_OPTIONS  = 4  # Half-Duplex (wichtig!)
  • SERIAL2_BAUD     = 57 # 57600 Baudrate
  • SVTX_BAND        = 0  # Band A
  • SVTX_CHANNEL     = 2  # Kanal 3 => 5825 mW
  • VTX_MAX_POWER    = 25 # Sendeleistung: 25mW
  • VTX_OPTIONS      = 0  # Empfehlung: Wert 7 für Pitmode vor und nach dem Arming
• VTX-Antenne: Foxeer Lollipop V4 Stubby 5,8 GHz RHCP SMA
• Motoren: T-MOTORHOBBY VELOX V2808 1950KV 4-6S
• Propeller: Gemfan Hurricane 6038-4 6-Zoll 4-Blatt Propeller (Informationen)
• GPS: HGLRC M100-5883 mit Kompass (Handbuch)

Bilder TBD

Drohne 3

• Rahmen: HGLRC MY7 Frame 7 Zoll (Informationen)
• Flugcontroller: MicoAir743 V2 (STM32H743VIT6, 480MHz, 2MB Flash, 2-6S, 8xUART, 1xI2C, 11xPWM, 5V 3A BEC, 12V 3A BEC) mit ArduPilot (Dokumentation)
• ESC: MicoAir AM32-4IN1-55A
• Empfänger: Radiomaster XR1 Nano Multi-Frequency ExpressLRS Empfänger mit Firmware ExpressLRS 4.1.0 (Handbuch)
• Binding Phrase: drone3ffm
• Kamera: Caddx Ratel 2 1200TVL 165FOV 5-40V Analog (Handbuch)
• Videosender: SpeedyBee TX800 VTX (Handbuch)
• Kanal: 5785 MHz (Band: A, Channel: 5)
• Die Eingangsspannung des SpeedyBee TX800 VTX ist nur 3.7-5V. Der analoge VIDEO-OUT des MicoAir743 V2 Flugcontrollers hat aber eine Ausgangsspannung vin 9V. Aus diesem Grund befindet sich ein Battery Eliminator Circuit (BEC) zwischen Flugcontroller und Videosender.
• Den Videosender betreffende Einstellungen in ArduPilot sind:
  • VTX_ENABLE       = 1
  • SERIAL2_PROTOCOL = 44 # IRC Tramp
  • SERIAL2_OPTIONS  = 4  # Half-Duplex (wichtig!)
  • SERIAL2_BAUD     = 57 # 57600 Baudrate
  • SVTX_BAND        = 0  # Band A
  • SVTX_CHANNEL     = 4  # Kanal 5 => 5785 mW
  • VTX_MAX_POWER    = 25 # Sendeleistung: 25mW
  • VTX_OPTIONS      = 0  # Hinweis: Pitmode funktioniert bislang nicht (Ursache unklar)
• VTX-Antenne: Foxeer Lollipop V4 Stubby 5,8 GHz RHCP SMA
• Motoren: iFlight XING2 2806.5 1800KV 4-6S (Spezifikation)
• Propeller: Gemfan Hurricane 6038-4 6-Zoll 4-Blatt Propeller (Informationen)
• GPS: HGLRC M100-5883 mit Kompass (Handbuch)

Bilder TBD

Teams

Vorlesungsevaluation

Kontakt

Zu erreichen bin ich am besten per E-Mail: christianbaun@fb2.fra-uas.de