SigSys15 Target Tracking

Autor: Asaad Al-Suleihi
Betreuer: Prof. Schneider

Motivation

Mechatroniker haben einen USB-Raketenwerfer umgebaut, so dass sich dieser mit Lego Mindstorms ansteuern lässt. Die Methoden der Bildverarbeitung sollen angewendet werden, um ein sich bewegendes Objekt zu verfolgen.

Ziel

Ein roter Luftballon soll in Bewegung vor einem weissen Hintergrund erkannt und vom Raketenwerfer getroffen werden.

Aufgabe

Erkennen Sie den Luftballon vor seinem Hintergrund mit einer Webcam.
Fokussieren Sie den Raketenwerfer auf den Luftballonschwerpunkt.
Treffen Sie den Luftballon in einer Flugsequenz mit 3 von 4 Schüssen.

Lösung

Lösungsansatz

Das vorangestellte Problem teilt sich in 2 Teilproblemen auf. Zum einem muss das Luftballon aus Kamerabildern erkannt werden. Zum anderen muss mit dem Rakettenwerfer das erkannte Objekt abgeschossen werden.

Erweiterung des Aufbaus

Der im Projekt 33 vorgestellte Aufbau wurde noch um ein Webcam erweitert. Das Webcam dient zur Erkennung des Ziels und wurde oben auf dem Aufbau angebracht, sodass das Schussfeld im Blickfeld der Kamera liegt. Dadurch wird die Bildverarbeitung vereinfacht, da so keine Koordinatentransformation zwischen Kamerabild und Ausrichtung des Rakettenwerfers benötigt wird.

Als Ziel wurde ein rotes Luftballon verwendet. Um die Lösung einfach zu halten ist in der weiteren Bearbeitung der Aufgabe von der roten Farbe des Ballons ausgegangen.

Erkennung des Ballons

Zur Erkennung des Ballons wurde ein Webcam eingesetzt. MATLAB stellt im Image Prcessing Toolbox viele Funktionen bereit, um schnell bildverarbeitende Algorithmen zu entwickeln.

Das Erkennen des Ballons geschieht nach folgenden Schritten:

Kamerbild erfassen
Die rote Farbe aus dem RGB-Bild extrahieren.
Das entstandene Bild filtern (Median-Filter) um Verunreinigungen (Noise) im Bild zu entfernen.
Bild binarisieren.

Damit das entstandene Bild besser gehandhabt werden kann sind außerdem noch folgende morphologische Operationen benötigt:

Löcher im Bild befüllen.
Mit Opening-Operation den inneren Bereich des Ballons freimachen.

Zum Schluss kann eine Region-Property-Operation benutzt werden, um den Schwerpunkt des Ballons zu finden. Dazu kann in MATLAB den Parameter centroid genutzt werden. Mit dieser Operation werden die Koordinaten des Schwerpunkts in Pixeln angegeben.

Der Quelltext diese Vorgänge ist im folgenden abgebildet:

    % neues Bild vom Kamera lesen
    I = snapshot(cam);
    imshow(I);
    
    % Roter Bereich aus dem Bild extrahieren, filtern und binarisieren
    Im_Red = imsubtract(I(:,:,1), rgb2gray(I));
    Im_Red_filtered = medfilt2(Im_Red, [3 3]);
    Im_Red_bw = im2bw(Im_Red_filtered, 0.18);


    %% Löcher im Bild füllen
    Im_filled = imfill(Im_Red_bin, 'holes');


    %% Mit Opening Ballon räumen
    SE = strel('disk', 20);
    Im_opened = imopen(Im_filled, SE);

    %% Schwerpunkt vom Ballon finden
    Regions_in_Image = regionprops(Im_opened, 'centroid');

Verfolgung und Abschuss des Ballons

Die Ansteuerung des Raketenwerfers erfolgt über den EV3. Um diesen in MATLAB anzusteuern wird auf das LEGO MINDSTORMS EV3 Support zurückgegriffen.

Zuerst muss eine Verbindung zur EV3 über USB hergestellt werden. Dafür wird folgender Befehl ausgeführt

    lego = legoev3('usb');

Mit folgendem Befehl wird ein Motor eingerichtet:

    motor_x = motor(lego, 'C');

Um den Motor in Bewegung zu setzen:

    motor_x.Speed = Speed_x; %Geschwindigkeit zwischen -100 und 100
    start(motor_x);

Analog stoppt man ein Motor mit:

    stop(motor_x);

Für die Verfolgung des Ballons wird der im vorherigen Abschnitt berechneten Schwerpunkt des Ballons herangezogen.

    %falls Ballon im Abschussbereich liegt soll geschossen werden
    if dx <= shoot_threshold_x && dy <= shoot_threshold_y 
        motor_shoot.Speed = 100;
        start(motor_shoot)     
    else
        stop(motor_shoot)
    end

Bewertung der Lösung

Ausblick

Folgende Aspekte können zur weiteren Verbesserung der Lösung umgesetzt werden:

Die Bewegung des Rakettenwerfer regeln. D.h. Regler zu verwenden um die Bewegung schneller und sanfter zu gestalten.
3 getrennte Programmpfade (Tasks) nutzen: Für die Objekterkennung, das Fokussieren des Objekts und eins für den Abschussvorgang. Damit kann bessere Synchronisation bei der Verfolgung und Abschussgeschwindigkeit erreicht werden.

Weblinks

→ zurück zum Hauptartikel: Signalverarbeitende Systeme SoSe2015