Objekterkennung mit Kamera

Einleitung und Ziel

In diesem Kapitel geht es um die Erkennung von Objekten mit Hilfe der am Fahrzeug verbauten Kamera. Bei der Kamera handelt es sich um das von der Firma VRmagic GmbH vertriebene Modul VRmDC-12 COB. Diese beruht auf einem CMOS-Sensor liefert eine Auflösung von 754 x 480 Pixeln, eine maximale Bildrate von 70 fps und sowohl Farb- als auch Monochrombilder. Der integrierte 600 MHz C64x+ DSP wurde aufgrund der benötigten Einarbeitungszeit in die Linux-Programmierung nicht genutzt. Die Bilder der Kamera wurden via Ethernet-Schnittstelle an den im Fahrzeug verbauten Computer versendet. Die mitgelieferten Bibliotheken erlaubten einen Zugriff auf die Bilder in Visual Studio.

Für die Erarbeitung eines optimalen Algorithmus wurde im ersten Schritt eine Offline-Umgebung in Matlab erstellt. Hier galt es die mit der Kamera aufgenommen Bilder so zu verarbeiten, dass die darauf zu sehenden Objekte erkannt werden. Erst im zweiten Schritt folgte die online Anwendung auf dem Computer des Fahrzeuges.

Objekterkennung in Matlab

In diesem Abschnitt wird die Objekterkennung mit Hilfe von Matlab beschrieben. Es handelt sich um eine Offline-Umgebung die mit aufgenommenen Bildern arbeitet.

Bild einlesen

Im ersten Schritt wird in Matlab das benötigte Bild in den Workspace geladen, wo es dann als Matrix vorliegt:

%Bild einlesen
Bild = imread('Name.png');

Um die Datenmenge zu reduzieren, wird das in Farbe aufgenommene Bild in ein Graustufenbild umgewandelt:

%Umwandlung in Graustufen
Bild_grau = rgb2gray(Bild);

Zur späteren Nutzung der Algorithmen müssen die Informationen der Bild-Matrix als Daten vom Typ double vorliegen. Hierzu wird die folgende Umwandlung durchgeführt:

%Umwandeln in double
Bild_grau = double(Bild_grau)

Region of Interest

Aufgrund des weitwinkeligen Sichtbereiches der Kamera wird der für die Objekterkennung relevante Bereich mit einer Region of Interest (ROI) eingeschränkt. Insbesondere der obere Teil des Bildes, sowie der untere Teil auf dem das Fahrzeug zu sehen ist, sind für die Objekterkennung nicht relevant. Somit wurde die ROI auf folgenden Bereich des Bild festgelegt:

y-Achse: 100-360
x-Achse: 1-500

In Matlab wird dazu die Matrix des Bildes auf den entsprechenden Bereich zugeschnitten:

%ROI
Bild_grau = Bild_grau(100:360,1:500);

Vorverarbeitung

Da das auffinden der weißen Objekte mit Hilfe eines Schwellwertes geschehen soll, wurden Überlegungen angestellt, wie die weißen Linien der Fahrspur im Bild auszulöschen sind. Hierzu wurde in Matlab eine Funktion gefunden, die mit einem festgelegten Filterkern das Bild glättet und die Fahrspuren somit nicht mehr vorhanden sind, da diese zu schmal sind. Als Kern wurde ein Quadrat mit 20 Pixeln Kantenlänge gewählt.

%Bild glätten
se = strel('square',20);
Bild_glatt = imopen(Bild_grau,se);

Schwellwertbetrachtung

In dem nun vorhandenen Bild ist lediglich der weißte Karton, also das Objekt, zu erkennen. Mit Hilfe eines Schwellwertes sollen nun nur die zum Karton zugehörigen Pixel übernommen und alle anderen Pixel ignoriert werden. Als Schwellwert wurde nach ein wenig Experimentieren der Grauwert 220 festgelegt. Alle Pixel die unterhalb dieses Wertes liegen werden zu 0, alle anderen zu 1.

%Schwellwertbetrachtung
Schwellwert = (Bild_glatt <220);
Schwellwert = ~Schwellwert;

Da es aufgrund der Lichtverhältnisse vorkommen kann, dass innerhalb des Kartons Pixel unterhalb des Schwellwertes liegen und somit "Löcher" im Bild auftauchen, wurde die von Matlab gelieferte Funktion imfill genutzt um diese zu füllen.

%Löcher füllen
Bild_schwell = imfill(Schwellwert,'holes');

Die Funktion schaut dabei, ob ein oder mehrere Pixel mit dem Wert 0 komplett von Pixeln des Wertes 1 umgeben sind. Falls dies der Fall ist werden diese ebenfalls auf 1 gesezt.

Labeling

Im nächsten Schritt geht es darum, zusammenhängende Bereiche als einen zu definieren. Hierzu wird das entsprechende Schwellwertbild verwendet. Alle Pixel die über eine 8-Nachbarschaft miteinander verbunden sind werden einem Objekt zugeordnet. Gibt es weitere Pixel im Bild so werden diese einem neuem Objekt zugeordnet. Desweiteren erfolgt ein Größenvergleich der gefundenen Labels. Erst ab einer Größe von mehr als 1000 zugehörigen Pixeln wird ein Label als Objekt gewertet und dargestellt. So können kleine helle Flecken im Bild ausgeschlossen werden.

%Schwellwertbild labeln
L = bwlabel(Bild_schwell, 8);
Anzahl = max(max(L));
counter = 1;
%Label auf Größe abgleichen
for n = 1:1:Anzahl
   Menge = size(find(L==n),1);
   if Menge > 1000
      index(counter)=n
      [x_index,y_index] = find(L==index(counter));
      Koord_x(counter) = x_index(1,1);
      Koord_y(counter) = y_index(1,1);
      counter = counter+1;
   end
end
%Passende Bereiche im Bild beibehalten
Bild_select = bwselect(Bild_schwell,Koord_y,Koord_x,8);

Die Abbildung unterscheidet sich in diesem Falle nicht von der der Schwellwertbetrachtung, da nur ein Objekt auf dem Bild zu sehen ist und somit nur ein Label gesetzt wird. Am Ende dieses Abschnittes folgt ein weiteres Beispiel, in dem mehrer Obejkte zu sehen sind und somit auch mehrer Labels erstellt werden.

Darstellung der Objekte

Zur Darstellung der Objekte werden aus den gefundenen Labels die minimalen und maximalen Werte in x- und y-Richtung bestimmt.

%for i=1:counter-1
[y_Kiste,x_Kiste] = find(L==index(i));
x_Kiste_min(i) = min(x_Kiste);
x_Kiste_max(i) = max(x_Kiste);
y_Kiste_min(i) = min(y_Kiste);
y_Kiste_max(i) = max(y_Kiste);
end

Anhand dieser vier Variablen lassen sich alle Ecken des gefundenen Objektes beschreiben und das Objekt kann als Recheck eingezeichnet werden.

Soll das Objekt in das ursprüngliche Bild eingezeichnet werden, so ist darauf zu achten, dass die Beschränkung der ROI wieder herausgerechnet werden muss. Was anfangs weggeschnitten wurde muss nun wieder auf die Koordinaten addiert werden.

Beispiel mit zwei Objekten

Koordinatentransformation

Für die Koordinatentransformation wurden mit Hilfe der Camera Calibration Toolbox for Matlab die intrinsischen und extrinsischen Parameter der Kamera bestimmt. Bei der Kalibrierung ergab sich für die intrinsische Kameramatrix A folgendes Ergebnis:

${\displaystyle A=\begin{pmatrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y}\\ 0 & 0 & 1\\ \end{pmatrix}=\begin{pmatrix} 481.25 & 0 & 375.5 \\ 0 & 481.25 & 238.5\\ 0 & 0 & 1\\ \end{pmatrix}}$

mit

$f_{x}$ fokale Länge in x-Richtung in Pixel
$f_{y}$ fokale Länge in y-Richtung in Pixel
$c_{x}$ Position der optischen Achse in x-Richtung in Pixel
$c_{y}$ Position der optischen Ache in y-Richtung in Pixel

Die Kamera ist in diesem Falle mit einem Nickwinkel $\Theta$ von 11° zum Boden geneigt, einen Gierwinkel $\Psi$ von 1.4° zur rechten Fahrzeugseite und einem Rollwinkel $\Phi$ von 2° verbaut. Für die extrinsischen Transformationsparameter ergaben sich die Rotationsvektor $R$ in rad und der Translationsvektor $T$ zu folgendem:

${\displaystyle R=\begin{pmatrix} \Theta\\ \Phi\\ \Psi\\ \end{pmatrix}=\begin{pmatrix} 1.7632\\ 0.0340\\ -0.0244\\ \end{pmatrix}}$

${\displaystyle T=\begin{pmatrix} t_{x}\\ t_{y}\\ t_{z}\\ \end{pmatrix}=\begin{pmatrix} -452.4129\\ 129.9002\\ 726.9537\\ \end{pmatrix}}$

Autor: Christian Hauke (Diskussion) 16:40, 5. Feb. 2014 (CET)