DSB18: Start- und Stopplinienerkennung

Autor:
Betreuer: Prof. Schneider

Motivation

Eine Aufgabe beim Carolo Cup ist der "Rundkurs mit Hindernissen". Hierbei ist eine Startlinie zu überfahren und an einer Stopplinie zu halten.

Ziel

Die Start- und Stoppline soll robust erkannt und unterschieden werden.

Anforderungen

Nutzen Sie die bestehende Aufzeichnung der Kameransicht eines Rundkurses.
Lesen Sie diesen als Endlosschleife in Matlab ein.
Identifizieren Sie während der virtuellen Fahrt Start- und Stopplinien mit Matlab.
Vermeiden Sie Fehler ("false-positives").
Optimieren Sie die Rechenzeit Ihres Algorithmus.
Wissenschaftliche Dokumentation als HSHL-Wiki Artikel
Softwareentwicklung nach SDE Standard in SVN
Funktionsnachweis als YouTube-Video (vgl. Veranstaltungsregeln)

Lösungen

Einleitung

Im Sommersemester 2018 wird das Praktikum „Systementwurf“ durchgeführt. Gegenstand dieses Projekts ist ein autonomes Fahrzeug. Unter anderem soll dieses Fahrzeug selbstständig auf einem Rundkurs fahren. Neben der Erkennung der Fahrspur wird die Detektion von Stopplinien benötigt. Stopplinien sind beispielsweise in Kreuzungsbereichen vorhanden. An diesen soll das Auto gemäß der Straßenverkehrsordnung halten. Außerdem enthält der Rundkurs eine Startlinie, an welcher das Fahrzeug nicht halten soll.

Implementierung

Die Stopplinienerkennung wird anhand eines vorhandenen Videos einer Fahrt auf dem Rundkurs in Form eines MATLAB-Skripts implementiert.

Vorinitialisierungen

Zu Beginn der Bildverarbeitung werden einige Vorinitialisierungen durchgeführt. Zunächst wird das Command Window der MATLAB-Benutzeroberfläche geleert, alle geöffneten Figuren geschlossen und vorhandene Variablen gelöscht. Anschließend wird ein Region of Interest (ROI) definiert, der den für die Stopplinienerkennung relevanten Bildausschnitt beschreibt. Zuletzt wird eine Figur zur Darstellung verschiedener Ausgabebilder in einem Vollbildformat initialisiert.

clc,close all,clear varibales; % Command Window leeren, Figuren schließen, Variablen löschen

%% Vorinitialisierungen

% ROI (Region of interest)
%     [xmin ymin width height]
roi = [216  225  320   100]; 

% Speicher für das Kantenbild in der Größe des ROI
edgeFrame = zeros(roi(1,4),roi(1,3));

% Figur in Vollbild
figure('units','normalized','outerposition',[0 0 1 1]);
hold on;

Einlesen des Videos

Zunächst wird die Videoaufnahme der Fahrt eingelesen. Dazu wird ein VideoReader-Objekt erzeugt. Das Video soll endlos abgespielt werden. Dazu wird innerhalb einer Endlosschleife zu Beginn überprüft, ob die Aufnahme noch unverarbeitete Einzelbilder (Frames) besitzt. Ist dies nicht der Fall, ist das Ende des Videos erreicht und die Abspielzeit wird auf den Beginn zurückgesetzt.

%% Video einlesen und einzelne Bilder verarbeiten
video = VideoReader('Rundkurs.mp4'); % Das Video muss sich im gleichen Ordner wie dieses Programm befinden.

% Einlesen des Videos in einer Endlosschleife
while true
   if ~video.hasFrame
       video.CurrentTime = 0.0;
       disp('Restart Video');
   end

Erkennung der Stopplienen

Um die Stopplinienerkennung durchzuführen wird aus der eingelesenen Videodatei ein Einzelbild entnommen. Dieses Bild wird innerhalb der vorinitialisierten Figur in Form eines Subplots dargestellt.

   % Frame aus Video entnehmen und als Subplot anzeigen
   frame_original = readFrame(video);
   
   subplot(1,3,1)
   imshow(frame_original);
   title('Original')

Das Einzelbild wird zur weiteren Verarbeitung auf den ROI begrenzt und in ein Graustufenbild umgewandelt.

   % Bild auf ROI begrenzen und in Grauwertbild umwandeln 
   frame_roi = rgb2gray(imcrop(frame_original,roi));

Darauf aufbauend wir durch die Verwendung des Sobel-Operators die Kanten innerhalb des Bildausschnitts extrahiert. Dieses resultierende Kantenbild wird ebenfalls in der Figur gezeigt.

   % Grauwertbild in Kantenbild überführen und in Figur darstellen
   frame_roi_edge = edge(frame_roi,'sobel','horizontal');
    
   subplot(1,3,2)
   imshow(frame_roi_edge);
   title('Sobel')

Hough-Transformation

Die Fahrspuren innerhalb des vorbereiteten Kantenbildes sollen durch die Hough-Transformation detektiert werden. Die Hough-Transformation nutzt die Darstellung einer Geraden in der Parameterform

${\displaystyle \rho = x\,cos(\theta) + y\,sin(\theta) }$ .

In dieser Darstellung beschreibt $\rho$ den Betrag des Ortsvektors zu der Geraden, was der Distanz vom Koordinatenursprung zu der Geraden entspricht. Der Winkel $\theta$ stellt den Winkel des Ortsvektors im Bezug zur x-Achse des Koordinatensystems dar. Die MATLAB-Funktion hough zur Hough-Transformation gibt zusätzlich zu $\rho$ und $\theta$ die Parameterraumdarstellung in Matrixform zurück.

Die zu detektierenden Stopplinien zeichnen sich dadurch aus, dass diese annähernd horizontal verlaufen. Dadurch kommen ausschließlich Geraden mit einem Winkel theta in einem Intervall von

${\displaystyle \theta = [81^\circ; 89,9^\circ] }$

als Kandidaten für eine Stopplinie infrage. Die Intervallweite wurde experimentell ermittelt. Die MATLAB-Funktion hough bietet die Möglichkeit das Winkelintervall direkt vorzugeben, sodass nur relevante Linien zurückgegeben werden.^[1]

   % Transformation mit beschränkem 'Theta', sodass nur Linien in einem
   % horizontalen Bereich betrachtet werden.   
   [H,theta,rho] = hough(frame_roi_edge,'Theta', 81:0.1:89.9);

Um die Maxima der Hough-Transformation zu identifizieren, wird die Funktion houghpeaks verwendet. Dazu wird der Funktion das Ergebnis der Hough-Transformation in Matrixform sowie eine maximale Anzahl an zu ermittelnden Maxima übergeben. Zudem wird ein Schwellwert zur Definition eines Maximums vorgegeben. Hier wird der Schwellwert als 30 $\,$ % des globalen Maximums der Hough-Transformation gewählt. Die Funktion gibt anschließend die Reihen und Spalten Indices der gefundenen Maxima innerhalb der Hough-Transformationsmatrix zurück.^[2]

   % Maxima in der Transformation ermitteln
   P = houghpeaks(H,5,'threshold',ceil(0.3*max(H(:))));

Aus den gewonnen Daten werden durch die Verwendung einer weiteren Funktion letztendlich die Linien bestimmt. Dazu werden der Funktion houghlines das Graustufenbild, die Parameter $\rho$ und $\theta$ sowie die zuvor ermittelten Indices der bestimmten Maxima der Hough-Transformation übergeben. Darüber hinaus besitzt die Funktion die Möglichkeit Liniensegmente über eine Lückenfüllung miteinander zu einer Gesamtlinie zu verbinden und eine Mindestlänge der gefundenen Linie festzulegen. Ein Suchbereich für die Lückenfüllung von 20 Pixeln sowie eine Mindestlänge von 150 Pixeln liefern gewünschte Ergebnisse. Die Funktion gibt die berechneten Linien mit den Attributen eines Start- und Endpunkts sowie den Parametern $\rho$ und $\theta$ zurück.^[3]

   % Linien mit einer Mindestlänge ermitteln und dabei Linenstücke
   % in bestimmten Berich verbinden
   lines = houghlines(frame_roi_edge,theta,rho,P,'FillGap',20,'MinLength',150);

Einzelnachweise

↑ MathWorks Documentation: hough Website der MathWorks Dokumentation zur Hough-Transformation. Abgerufen am 30. Juni 2018.
↑ MathWorks Documentation: houghpeaks Website der MathWorks Dokumentation zur Identifikation von Spitzen einer Hough-Transformation. Abgerufen am 30. Juni 2018.
↑ MathWorks Documentation: houghlines Website der MathWorks Dokumentation zum Ermitteln con Liniensegmenten auf Basis einer Hough-Transformation. Abgerufen am 30. Juni 2018.

Weblinks

BSD-Lizenzbedingung BSD-Lizenz

→ zurück zum Hauptartikel: Digitale Signal- und Bildverarbeitung SoSe2018

[1] MathWorks Documentation: hough Website der MathWorks Dokumentation zur Hough-Transformation. Abgerufen am 30. Juni 2018.

[2] MathWorks Documentation: houghpeaks Website der MathWorks Dokumentation zur Identifikation von Spitzen einer Hough-Transformation. Abgerufen am 30. Juni 2018.

[3] MathWorks Documentation: houghlines Website der MathWorks Dokumentation zum Ermitteln con Liniensegmenten auf Basis einer Hough-Transformation. Abgerufen am 30. Juni 2018.

[1]

[2]

[3]