Objekterkennung mit Kamera - Versionsgeschichte

Christian Hauke am 7. Februar 2014 um 17:56 Uhr

2014-02-07T17:56:09Z

← Nächstältere Version		Version vom 7. Februar 2014, 19:56 Uhr
Zeile 207:		Zeile 207:
	Ebenfalls ist über eine detaillierte Beschreibung der Objekte nachzudenken, in denen die notwendigen Informationen in einer Struktur vorhanden sind.		Ebenfalls ist über eine detaillierte Beschreibung der Objekte nachzudenken, in denen die notwendigen Informationen in einer Struktur vorhanden sind.

	Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 16:40, 5. Feb. 2014 (CET)		Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 19:00, 7. Feb. 2014 (CET)

Christian Hauke am 7. Februar 2014 um 17:55 Uhr

2014-02-07T17:55:49Z

← Nächstältere Version		Version vom 7. Februar 2014, 19:55 Uhr
Zeile 1:		Zeile 1:
	=='''Einleitung und Ziel'''==		=='''Einleitung und Ziel'''==
	In diesem Kapitel geht es um die Erkennung von Objekten mit Hilfe der am Fahrzeug verbauten Kamera. Bei der Kamera handelt es sich um das von der Firma [http://www.vrmagic.com/de/ VRmagic GmbH] vertriebene Modul [http://www.vrmagic.com/fileadmin/downloads/imaging/Camera_Datasheets/intelligent_cameras/VRmDC-12_OEM_COB.pdf VRmDC-12 COB]. ~~Diese~~ beruht auf einem CMOS-Sensor liefert eine Auflösung von 754 x 480 Pixeln, eine maximale Bildrate von 70 fps und sowohl Farb- als auch Monochrombilder. Der integrierte 600 MHz C64x+ DSP wurde aufgrund der benötigten Einarbeitungszeit in die Linux-Programmierung nicht genutzt. Die Bilder der Kamera wurden via Ethernet-Schnittstelle an den im Fahrzeug verbauten Computer versendet. Die mitgelieferten Bibliotheken erlaubten einen Zugriff auf die Bilder in Visual Studio.		In diesem Kapitel geht es um die Erkennung von Objekten mit Hilfe der am Fahrzeug verbauten Kamera. Bei der Kamera handelt es sich um das von der Firma [http://www.vrmagic.com/de/ VRmagic GmbH] vertriebene Modul [http://www.vrmagic.com/fileadmin/downloads/imaging/Camera_Datasheets/intelligent_cameras/VRmDC-12_OEM_COB.pdf VRmDC-12 COB]. Dieses beruht auf einem CMOS-Sensor, liefert eine Auflösung von 754 x 480 Pixeln, eine maximale Bildrate von 70 fps und sowohl Farb- als auch Monochrombilder. Der integrierte 600 MHz C64x+ DSP wurde, aufgrund der benötigten Einarbeitungszeit in die Linux-Programmierung, nicht genutzt. Die Bilder der Kamera wurden via Ethernet-Schnittstelle an den im Fahrzeug verbauten Computer versendet. Die mitgelieferten Bibliotheken erlaubten einen Zugriff auf die Bilder in Visual Studio.

	Für die Erarbeitung eines optimalen Algorithmus wurde im ersten Schritt eine Offline-Umgebung in Matlab erstellt. Hier galt es die mit der Kamera aufgenommen Bilder so zu verarbeiten, dass die darauf zu sehenden Objekte erkannt werden.		Für die Erarbeitung eines optimalen Algorithmus wurde im ersten Schritt eine Offline-Umgebung in Matlab erstellt. Hier galt es die mit der Kamera aufgenommen Bilder so zu verarbeiten, dass die darauf zu sehenden Objekte erkannt werden.
Zeile 6:		Zeile 6:

	=='''Objekterkennung in Matlab'''==		=='''Objekterkennung in Matlab'''==
	In diesem Abschnitt wird die Objekterkennung mit Hilfe von Matlab beschrieben. Es handelt sich um eine Offline-Umgebung die mit aufgenommenen Bildern arbeitet.		In diesem Abschnitt wird die Objekterkennung mit Hilfe von Matlab beschrieben. Es handelt sich um eine Offline-Umgebung, die mit aufgenommenen Bildern arbeitet.
	=== Bild einlesen ===		=== Bild einlesen ===
	Im ersten Schritt wird in Matlab das benötigte Bild in den Workspace geladen, wo es dann als Matrix vorliegt:		Im ersten Schritt wird in Matlab das benötigte Bild in den Workspace geladen, wo es dann als Matrix vorliegt:
Zeile 26:		Zeile 26:
	=== Region of Interest ===		=== Region of Interest ===

	Aufgrund des weitwinkeligen Sichtbereiches der Kamera wird der für die Objekterkennung relevante Bereich mit einer Region of Interest (ROI) eingeschränkt. Insbesondere der obere Teil des Bildes, sowie der untere Teil auf dem das Fahrzeug zu sehen ist, sind für die Objekterkennung nicht relevant. Somit wurde die ROI auf folgenden Bereich des ~~Bild~~ festgelegt:		Aufgrund des weitwinkeligen Sichtbereiches der Kamera wird der für die Objekterkennung relevante Bereich mit einer Region of Interest (ROI) eingeschränkt. Insbesondere der obere Teil des Bildes, sowie der untere Teil auf dem das Fahrzeug zu sehen ist, sind für die Objekterkennung nicht relevant. Somit wurde die ROI auf folgenden Bereich des Bildes festgelegt:
	* y-Achse: 100-360		* y-Achse: 100-360
	* x-Achse: 1-500		* x-Achse: 1-500
Zeile 38:		Zeile 38:
	=== Vorverarbeitung ===		=== Vorverarbeitung ===

	Da das ~~auffinden~~ der weißen Objekte mit Hilfe eines Schwellwertes geschehen soll, wurden Überlegungen angestellt, wie die weißen Linien der Fahrspur im Bild auszulöschen sind. Hierzu wurde in Matlab eine Funktion gefunden, die mit einem festgelegten Filterkern das Bild glättet und die Fahrspuren somit nicht mehr vorhanden sind, da diese zu schmal sind. Als Kern wurde ein Quadrat mit 20 Pixeln Kantenlänge gewählt.		Da das Auffinden der weißen Objekte mit Hilfe eines Schwellwertes geschehen soll, wurden Überlegungen angestellt, wie die weißen Linien der Fahrspur im Bild auszulöschen sind. Hierzu wurde in Matlab eine Funktion gefunden, die mit einem festgelegten Filterkern das Bild glättet und die Fahrspuren somit nicht mehr vorhanden sind, da diese zu schmal sind. Als Kern wurde ein Quadrat mit 20 Pixeln Kantenlänge gewählt.

	%Bild glätten		%Bild glätten
Zeile 49:		Zeile 49:
	=== Schwellwertbetrachtung ===		=== Schwellwertbetrachtung ===

	In dem ~~nun~~ vorhandenen Bild ist lediglich der weißte Karton, also das Objekt, zu erkennen. Mit Hilfe eines Schwellwertes sollen nun nur die zum Karton zugehörigen Pixel übernommen und alle anderen Pixel ignoriert werden. Als Schwellwert wurde ~~nach ein wenig Experimentieren~~ der Grauwert 220 festgelegt. Alle Pixel die unterhalb dieses Wertes liegen werden zu 0, alle anderen zu 1.		In dem vorhandenen Bild ist lediglich der weißte Karton, also das Objekt, zu erkennen. Mit Hilfe eines Schwellwertes sollen nun nur die zum Karton zugehörigen Pixel übernommen und alle anderen Pixel ignoriert werden. Als Schwellwert wurde der Grauwert 220 festgelegt. Alle Pixel die unterhalb dieses Wertes liegen werden zu 0, alle anderen zu 1.
	%Schwellwertbetrachtung		%Schwellwertbetrachtung
	Schwellwert = (Bild_glatt <220);		Schwellwert = (Bild_glatt <220);
Zeile 65:		Zeile 65:
	=== Labeling ===		=== Labeling ===

	Im nächsten Schritt geht es darum, zusammenhängende Bereiche als einen zu definieren. Hierzu wird das entsprechende Schwellwertbild verwendet. Alle Pixel die über eine 8-Nachbarschaft miteinander verbunden sind werden einem Objekt zugeordnet. Gibt es weitere Pixel im Bild so werden diese einem neuem Objekt zugeordnet.		Im nächsten Schritt geht es darum, zusammenhängende Bereiche als einen zu definieren. Hierzu wird das entsprechende Schwellwertbild verwendet. Alle Pixel die über eine 8-Nachbarschaft miteinander verbunden sind, werden einem Objekt zugeordnet. Gibt es weitere Pixel im Bild, so werden diese einem neuem Objekt zugeordnet.
	~~Desweiteren~~ erfolgt ein Größenvergleich der gefundenen Labels. Erst ab einer Größe von mehr als 1000 zugehörigen Pixeln wird ein Label als Objekt gewertet und dargestellt. So können kleine helle Flecken im Bild ausgeschlossen werden.		Des Weiteren erfolgt ein Größenvergleich der gefundenen Labels. Erst ab einer Größe von mehr als 1000 zugehörigen Pixeln wird ein Label als Objekt gewertet und dargestellt. So können kleine helle Flecken im Bild ausgeschlossen werden.
	%Schwellwertbild labeln		%Schwellwertbild labeln
	L = bwlabel(Bild_schwell, 8);		L = bwlabel(Bild_schwell, 8);
Zeile 87:		Zeile 87:
	[[Datei:Label.png\|1000px\|Aufgenommenes Bild]]		[[Datei:Label.png\|1000px\|Aufgenommenes Bild]]

	Die Abbildung unterscheidet sich in diesem Falle nicht von der der Schwellwertbetrachtung, da nur ein Objekt auf dem Bild zu sehen ist und somit nur ein Label gesetzt wird. Am Ende dieses Abschnittes folgt ein weiteres Beispiel, in dem ~~mehrer~~ Obejkte zu sehen sind und somit auch mehrer Labels erstellt werden.		Die Abbildung unterscheidet sich in diesem Falle nicht von der der Schwellwertbetrachtung, da nur ein Objekt auf dem Bild zu sehen ist und somit nur ein Label gesetzt wird. Am Ende dieses Abschnittes folgt ein weiteres Beispiel, in dem mehrere Obejkte zu sehen sind und somit auch mehrer Labels erstellt werden.

	=== Darstellung der Objekte ===		=== Darstellung der Objekte ===

	Zur Darstellung der Objekte werden aus den gefundenen Labels die minimalen und maximalen Werte in x- und y-Richtung bestimmt.		Zur Darstellung der Objekte, werden aus den gefundenen Labels die minimalen und maximalen Werte in x- und y-Richtung bestimmt.
	%for i=1:counter-1		%for i=1:counter-1
	[y_Kiste,x_Kiste] = find(L==index(i));		[y_Kiste,x_Kiste] = find(L==index(i));
Zeile 100:		Zeile 100:
	end		end

	Anhand dieser vier Variablen lassen sich alle Ecken des gefundenen Objektes beschreiben und das Objekt kann als ~~Recheck~~ eingezeichnet werden.		Anhand dieser vier Variablen lassen sich alle Ecken des gefundenen Objektes beschreiben und das Objekt kann als Rechteck eingezeichnet werden.
	[[Datei:Objekt.png\|1000px\|Aufgenommenes Bild]]		[[Datei:Objekt.png\|1000px\|Aufgenommenes Bild]]

	Soll das Objekt in das ursprüngliche Bild eingezeichnet werden, so ist darauf zu achten, dass die Beschränkung der ROI wieder herausgerechnet werden muss. Was anfangs weggeschnitten wurde muss nun wieder auf die Koordinaten addiert werden.		Soll das Objekt in das ursprüngliche Bild eingezeichnet werden, so ist darauf zu achten, dass die Beschränkung der ROI wieder herausgerechnet werden muss. Was anfangs weggeschnitten wurde, muss nun wieder auf die Koordinaten addiert werden.

	[[Datei:ObjektBild.png\|1000px\|Aufgenommenes Bild]]		[[Datei:ObjektBild.png\|1000px\|Aufgenommenes Bild]]
Zeile 181:		Zeile 181:
	Die Objekterkennung via Kamera wurde zusammen mit der Objekterkennung via Lidar und der Spurerkennung in ein Visual Studio Projekt zusammengeführt. Für die kamerabasierte Objekterkennung sind die Headerdatei CamObjekt.h und die Quelldatei CamObject.cpp, die im Hauptprogramm SpurerkennungV01.cpp aufgerufen wird, von Bedeutung.		Die Objekterkennung via Kamera wurde zusammen mit der Objekterkennung via Lidar und der Spurerkennung in ein Visual Studio Projekt zusammengeführt. Für die kamerabasierte Objekterkennung sind die Headerdatei CamObjekt.h und die Quelldatei CamObject.cpp, die im Hauptprogramm SpurerkennungV01.cpp aufgerufen wird, von Bedeutung.

	Am Anfang der Datei CamObject.cpp können einige Einstellungen vorgenommen werden. Zuerst besteht die Möglichkeit zu wählen, ~~welchen~~ Verarbeitungsschritt ~~man~~ angezeigt ~~bekommen möchte~~. Ebenfalls werden Konstanten festgelegt.		Am Anfang der Datei CamObject.cpp können einige Einstellungen vorgenommen werden. Zuerst besteht die Möglichkeit zu wählen, welcher Verarbeitungsschritt angezeigt wird. Ebenfalls werden Konstanten festgelegt.
	#define SHOW_CAM_GAUSSIAN 0		#define SHOW_CAM_GAUSSIAN 0
	#define SHOW_CAM_THRESHHOLD 0		#define SHOW_CAM_THRESHHOLD 0
Zeile 204:		Zeile 204:
	=='''Ausblick'''==		=='''Ausblick'''==

	Das weitere Vorgehen besteht ~~daran~~, die Koordinatentransformation zu implementieren, um eine Entfernung zu den Objekten zu bestimmen und die Objekte mit denen der Lidar-Messung zu vergleichen bzw. mit Hilfe eines Kalman-Filters zu fusionieren.		Das weitere Vorgehen besteht darin, die Koordinatentransformation zu implementieren, um eine Entfernung zu den Objekten zu bestimmen und die Objekte mit denen der Lidar-Messung zu vergleichen bzw. mit Hilfe eines Kalman-Filters zu fusionieren.
	Ebenfalls ist über eine detaillierte Beschreibung der Objekte nachzudenken, in denen die notwendigen Informationen in einer Struktur vorhanden sind.		Ebenfalls ist über eine detaillierte Beschreibung der Objekte nachzudenken, in denen die notwendigen Informationen in einer Struktur vorhanden sind.

	Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 16:40, 5. Feb. 2014 (CET)		Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 16:40, 5. Feb. 2014 (CET)

Christian Hauke: /* Ausblick */

2014-02-06T14:47:26Z

Ausblick

← Nächstältere Version		Version vom 6. Februar 2014, 16:47 Uhr
Zeile 203:		Zeile 203:

	=='''Ausblick'''==		=='''Ausblick'''==

			Das weitere Vorgehen besteht daran, die Koordinatentransformation zu implementieren, um eine Entfernung zu den Objekten zu bestimmen und die Objekte mit denen der Lidar-Messung zu vergleichen bzw. mit Hilfe eines Kalman-Filters zu fusionieren.
			Ebenfalls ist über eine detaillierte Beschreibung der Objekte nachzudenken, in denen die notwendigen Informationen in einer Struktur vorhanden sind.

	Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 16:40, 5. Feb. 2014 (CET)		Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 16:40, 5. Feb. 2014 (CET)

Christian Hauke: /* Implementierung in C++ */

2014-02-06T14:45:24Z

Implementierung in C++

← Nächstältere Version		Version vom 6. Februar 2014, 16:45 Uhr
Zeile 200:		Zeile 200:
	* Objekte bilden		* Objekte bilden
	Der Quellcode ist im SVN unter folgendem [http://193.175.248.52/usvn/svn/MTR_SDE_Praktikum/trunk/Software/ObjektSpurFusion/SpurerkennungV01/CamObject.cpp Link] zu finden.		Der Quellcode ist im SVN unter folgendem [http://193.175.248.52/usvn/svn/MTR_SDE_Praktikum/trunk/Software/ObjektSpurFusion/SpurerkennungV01/CamObject.cpp Link] zu finden.


			=='''Ausblick'''==
			Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 16:40, 5. Feb. 2014 (CET)

Christian Hauke: /* Koordinatentransformation */

2014-02-06T14:45:02Z

Koordinatentransformation

← Nächstältere Version		Version vom 6. Februar 2014, 16:45 Uhr
Zeile 176:		Zeile 176:
	z_{c}\\		z_{c}\\
	\end{pmatrix}</math>		\end{pmatrix}</math>




	~~Autor: [[Benutzer:Christian Hauke\|Christian Hauke]] ([[Benutzer Diskussion:Christian Hauke\|Diskussion]]) 16:40, 5. Feb. 2014 (CET)~~

	=='''Implementierung in C++'''==		=='''Implementierung in C++'''==

Christian Hauke: /* Implementierung in C++ */

2014-02-06T14:44:11Z

Implementierung in C++

← Nächstältere Version		Version vom 6. Februar 2014, 16:44 Uhr
Zeile 204:		Zeile 204:
	* Labeling		* Labeling
	* Objekte bilden		* Objekte bilden
	Der Quellcode ist im SVN unter folgendem [http://193.175.248.52/usvn/svn/MTR_SDE_Praktikum/trunk/Software/ObjektSpurFusion Link] zu finden.		Der Quellcode ist im SVN unter folgendem [http://193.175.248.52/usvn/svn/MTR_SDE_Praktikum/trunk/Software/ObjektSpurFusion/SpurerkennungV01/CamObject.cpp Link] zu finden.

Christian Hauke: /* Implementierung in C++ */

2014-02-06T14:43:12Z

Implementierung in C++

← Nächstältere Version		Version vom 6. Februar 2014, 16:43 Uhr
Zeile 204:		Zeile 204:
	* Labeling		* Labeling
	* Objekte bilden		* Objekte bilden
	Der Quellcode ist im SVN unter folgendem [http://193.175.248.52/usvn/svn/MTR_SDE_Praktikum/~~trunkt~~/Software/ObjektSpurFusion Link] zu finden.		Der Quellcode ist im SVN unter folgendem [http://193.175.248.52/usvn/svn/MTR_SDE_Praktikum/trunk/Software/ObjektSpurFusion Link] zu finden.

Christian Hauke: /* Implementierung in C++ */

2014-02-06T14:42:15Z

Implementierung in C++

← Nächstältere Version		Version vom 6. Februar 2014, 16:42 Uhr
Zeile 204:		Zeile 204:
	* Labeling		* Labeling
	* Objekte bilden		* Objekte bilden
			Der Quellcode ist im SVN unter folgendem [http://193.175.248.52/usvn/svn/MTR_SDE_Praktikum/trunkt/Software/ObjektSpurFusion Link] zu finden.

Christian Hauke: /* Implementierung in C++ */

2014-02-06T14:39:49Z

Implementierung in C++

← Nächstältere Version		Version vom 6. Februar 2014, 16:39 Uhr
Zeile 197:		Zeile 197:
	#define CAM_MIN_PIXELLENGTH 20 // minimale Breite einer weißen Pixelzeile um als potentielles Objekt erkannt zu werden		#define CAM_MIN_PIXELLENGTH 20 // minimale Breite einer weißen Pixelzeile um als potentielles Objekt erkannt zu werden
	#define CAM_OBJ_THRESHOLD 230 // Schwellwert		#define CAM_OBJ_THRESHOLD 230 // Schwellwert

			Im Anschluss ähnelt der Algorithmus der oben gezeigten Matlab-Lösung. Es werden folgende Schritte nacheinander ausgeführt:
			* ROI festlegen
			* Schwellwert
			* Spurlinien entfernen
			* Labeling
			* Objekte bilden

Christian Hauke: /* Implementierung in C++ */

2014-02-06T14:37:22Z

Implementierung in C++

← Nächstältere Version		Version vom 6. Februar 2014, 16:37 Uhr
Zeile 183:		Zeile 183:

	=='''Implementierung in C++'''==		=='''Implementierung in C++'''==

			Die Objekterkennung via Kamera wurde zusammen mit der Objekterkennung via Lidar und der Spurerkennung in ein Visual Studio Projekt zusammengeführt. Für die kamerabasierte Objekterkennung sind die Headerdatei CamObjekt.h und die Quelldatei CamObject.cpp, die im Hauptprogramm SpurerkennungV01.cpp aufgerufen wird, von Bedeutung.

			Am Anfang der Datei CamObject.cpp können einige Einstellungen vorgenommen werden. Zuerst besteht die Möglichkeit zu wählen, welchen Verarbeitungsschritt man angezeigt bekommen möchte. Ebenfalls werden Konstanten festgelegt.
			#define SHOW_CAM_GAUSSIAN 0
			#define SHOW_CAM_THRESHHOLD 0
			#define SHOW_CAM_CLEARLANE 0
			#define SHOW_CAM_LABEL 0
			#define SHOW_CAM_OBJECTS 0

			#define CAM_MIN_PIXELSIZE 1000 // Anzahl Pixel die ein Objekt mindestens benötigt
			#define CAM_RECT_FIT 0.6 // Prozentsatz der Pixelzahl eines Rechtecks
			#define CAM_MIN_PIXELLENGTH 20 // minimale Breite einer weißen Pixelzeile um als potentielles Objekt erkannt zu werden
			#define CAM_OBJ_THRESHOLD 230 // Schwellwert