Legoteil Zählmaschine 2016: Unterschied zwischen den Versionen
Keine Bearbeitungszusammenfassung |
|||
(374 dazwischenliegende Versionen von 6 Benutzern werden nicht angezeigt) | |||
Zeile 1: | Zeile 1: | ||
[[Datei:LegoZählmaschine_Wiki_800px.jpg| | [[Datei:LegoZählmaschine_Wiki_800px.jpg|400px|thumb|top|Abbildung 1: Legoteilzählmaschine im Überblick]] | ||
Bei der HSHL Lego® Zählmaschine handelt es sich um eine Maschine, die automatisch Legoteile zählen und sortieren kann, um gegebenen Falls fehlende Lego®-Steine nachbestellen zu können. Es ist ein studentisches Projekt, welches in Rahmen des System-Entwurf-Praktikums des Studiengangs Mechatronik mit Schwerpunkt System Design Engineering im 6. Semester durchgeführt wurde. <ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
'''Autoren:''' [[Benutzer:Adam_Fankhauser|Adam Fankhauser]], [[Benutzer:Christo_Tsibadze|Christo Tsibadze]], [[Benutzer:Kevin_Penner|Kevin Penner]], [[Benutzer:Niklas_Lingenauber|Niklas Lingenauber]], [[Benutzer:Sergej_Krause|Sergej Krause]], [[Benutzer:Simon_Hanemann| Simon Hanemann]] | |||
'''Betreuer:''' [[Benutzer:Ulrich Schneider|Prof. Schneider]] | |||
= Aufgabenstellung = | = Aufgabenstellung = | ||
Die vorhandene Legoteilzählmaschine (siehe [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2015 Legoteilzählmaschine_2015] ) soll Soft- und Hardwaremäßig modifiziert werden, um weitere Anforderungen zu erfüllen. | Die vorhandene Legoteilzählmaschine (siehe [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2015 Legoteilzählmaschine_2015] ) soll Soft- und Hardwaremäßig modifiziert werden, um weitere Anforderungen zu erfüllen.<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | ||
<br /><br /> | <br /><br /> | ||
<br /> | <br /> | ||
== Liste der offenen Punkten vom letzten Semester == | == Liste der offenen Punkten vom letzten Semester == | ||
* '''Neues 24 V Netzteil''', 24V/10A Netzteil gegen 24V/20A austauschen, um Überlast beim Lauf aller Motoren zu verhindern. Neues Netzteil ist vorhanden. | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Elektronik_und_Sicherheit '''Neues 24 V Netzteil'''], 24V/10A Netzteil gegen 24V/20A austauschen, um Überlast beim Lauf aller Motoren zu verhindern. Neues Netzteil ist vorhanden. | ||
* '''Software zur Bildverarbeitung (BV)''', Die Einbindung einer geeigneten Software zur Teileerkennung steht noch aus. Kommunikation mit Systems sowie Ansteuerung ist fertig. Bildverarbeitung mit 'String' als Output. | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Bildverarbeitung.2FLegoteil-Erkennung '''Software zur Bildverarbeitung (BV)'''], Die Einbindung einer geeigneten Software zur Teileerkennung steht noch aus. Kommunikation mit Systems sowie Ansteuerung ist fertig. Bildverarbeitung mit 'String' als Output. | ||
* '''Bauteileliste in Excel''', Die Excel Liste, welche alle Teile eines Baukasten erhält, muss mit dem Ergebnis der BV abgeglichen werden. Erkannte Teile in mindestens zwei möglichen Ausrichtungen müssen erkannt und in der Liste vermerkt werden. | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Datenbankanbindung.2C_Listen_IN.2FOUT '''Bauteileliste in Excel'''], Die Excel Liste, welche alle Teile eines Baukasten erhält, muss mit dem Ergebnis der BV abgeglichen werden. Erkannte Teile in mindestens zwei möglichen Ausrichtungen müssen erkannt und in der Liste vermerkt werden. | ||
* '''Servo für Teilesortierung''', Identisches Servo wie bisher gegenüberliegend montieren, um drei Sortierfächer (Erkannt/Nicht Erkannt/Fremdteil) zu sortieren, Konstruktion, Bestellung wurde an Fr. König geleitet | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Auswerfer '''Servo für Teilesortierung'''], Identisches Servo wie bisher gegenüberliegend montieren, um drei Sortierfächer (Erkannt/Nicht Erkannt/Fremdteil) zu sortieren, Konstruktion, Bestellung wurde an Fr. König geleitet. | ||
* '''Zeit bis zur Servoöffnung''', Das Delay zwsichen Befehl und öffnen der Servos muss ermittelt und je nach Geschwindigkeit angepasst werden. Es ist problemlos möglich, einen weiteren 'String' - Befehl als Buchstaben für die Verzögerungszeit einzubinden, String auslesen und verarbeiten muss in Arduino Software geschehen. | * '''Zeit bis zur Servoöffnung''', Das Delay zwsichen Befehl und öffnen der Servos muss ermittelt und je nach Geschwindigkeit angepasst werden. Es ist problemlos möglich, einen weiteren 'String' - Befehl als Buchstaben für die Verzögerungszeit einzubinden, String auslesen und verarbeiten muss in Arduino Software geschehen. | ||
* '''Kabelkanal montieren''', Kabelkanal zur ordentlichen Verlegung der Leitungen an den Förderbändern montieren | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Elektronik_und_Sicherheit '''Kabelkanal montieren'''], Kabelkanal zur ordentlichen Verlegung der Leitungen an den Förderbändern montieren | ||
* '''Kamerahalterung''', Konstruktion einer Kamerahalterung für die Logitech C920 WebCam Vorschlag: Brücke über Förderband. | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Kamera.2FBildbox-_und_Auswerferhalterung '''Kamerahalterung'''], Konstruktion einer Kamerahalterung für die Logitech C920 WebCam Vorschlag: Brücke über Förderband. | ||
* '''Bildverarbeitungskasten''', Für die Bildverarbeitung muss eine der gebauten Bildverarbeitungsbox-Prototypen ausgewählt und montiert werden. Hierfür wurden Lichttests durchgeführt. Ergebnisse sind protokolliert [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation/02_Versuchsprotokolle/Lichttests/ SVN Link zu den Lichttests], Prototypen der Lichtboxen vorhanden. | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Kamera.2FBildbox-_und_Auswerferhalterung '''Bildverarbeitungskasten'''], Für die Bildverarbeitung muss eine der gebauten Bildverarbeitungsbox-Prototypen ausgewählt und montiert werden. Hierfür wurden Lichttests durchgeführt. Ergebnisse sind protokolliert [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation/02_Versuchsprotokolle/Lichttests/ SVN Link zu den Lichttests], Prototypen der Lichtboxen vorhanden. | ||
* '''Teilezentrierung''', Die provisorisch aus Holz gefertigte Teilezentrierung soll in fixierbarer Variante aus Aluminium gefertigt werden. Ergebnisse zu den Tests der Zentrierungsmethoden sind in [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation/02_Versuchsprotokolle/Bauteilzentrierung/ diesem SVN Ordner] protokolliert, Prototypen der gewählten Teilezentrierung ist vor der Bildverarbeitungsbox verbaut. | * [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Teilezentrierung '''Teilezentrierung'''], Die provisorisch aus Holz gefertigte Teilezentrierung soll in fixierbarer Variante aus Aluminium gefertigt werden. Ergebnisse zu den Tests der Zentrierungsmethoden sind in [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation/02_Versuchsprotokolle/Bauteilzentrierung/ diesem SVN Ordner] protokolliert, Prototypen der gewählten Teilezentrierung ist vor der Bildverarbeitungsbox verbaut. | ||
* '''Idee Software: Flexible Bildverarbeitungssoftware''', Durch definieren der Schnittstellen könnte in der GUI eine Einbindung frei wählbarer BV Software realisiert werden. Optimal geeignet um kleine Projekte dann an der Legoteilzaehlmaschine zu testen. | * '''Idee Software: Flexible Bildverarbeitungssoftware''', Durch definieren der Schnittstellen könnte in der GUI eine Einbindung frei wählbarer BV Software realisiert werden. Optimal geeignet um kleine Projekte dann an der Legoteilzaehlmaschine zu testen. | ||
** Wird in diesem Projekt nicht bearbeitet. | ** Wird in diesem Projekt nicht bearbeitet. | ||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
== Aufgabenteilung inkl. weiteren Aufgaben aus dem Pflichtenheft == | == Aufgabenteilung inkl. weiteren Aufgaben aus dem Pflichtenheft == | ||
Zeile 35: | Zeile 43: | ||
Es wurden für jede Aufgabe ein oder mehrere Verantwortliche(n) aus der Gruppe festgelegt. Jede Person ist dann dafür zuständig, dass diese Aufgaben erfüllt werden. Bei Bedarf steht dieser Person die ganze Gruppe zur Hilfe zur Verfügung. | Es wurden für jede Aufgabe ein oder mehrere Verantwortliche(n) aus der Gruppe festgelegt. Jede Person ist dann dafür zuständig, dass diese Aufgaben erfüllt werden. Bei Bedarf steht dieser Person die ganze Gruppe zur Hilfe zur Verfügung. | ||
* '''Kevin Penner:''' | * [[Benutzer:Kevin_Penner|'''Kevin Penner:''']] | ||
** Separierung und Zentrierung der Lego-Teile | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Separierung_und_Zentrierung_der_Legoteile Separierung und Zentrierung der Lego-Teile] | ||
** Pflichtenheft Dokumentation mit Software "DOORS" | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Pflichtenheft_Dokumentation_in_DOORS Pflichtenheft Dokumentation mit Software "DOORS"] | ||
** Bildverarbeitung/Legoteil-Erkennung | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Bildverarbeitung.2FLegoteil-Erkennung Bildverarbeitung/Legoteil-Erkennung] | ||
* '''Simon Hanemann:''' | * [[Benutzer:Simon_Hanemann|'''Simon Hanemann:''']] | ||
** GUI Programmierung | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#GUI GUI Programmierung] | ||
** Dokumentation in HSHL-Wiki | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016 Dokumentation in HSHL-Wiki] | ||
** Video-Anleitung | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016# Video-Anleitung] | ||
* '''Adam | * [[Benutzer:Adam_Fankhauser|'''Adam Fankhauser:''']] | ||
** Elektr. Sicherheit | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Elektronik_und_Sicherheit Elektr. Sicherheit] | ||
** Bildverarbeitungs-Box Fixierung/Stabilisierung | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Kamera.2FBildbox-_und_Auswerferhalterung Bildverarbeitungs-Box Fixierung/Stabilisierung] | ||
** Video-Anleitung | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016# Video-Anleitung] | ||
* '''Niklas Lingenauber:''' | * [[Benutzer:Niklas_Lingenauber|'''Niklas Lingenauber:''']] | ||
** Datenbankanbindung IN/OUT und Listen | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Datenbankanbindung.2C_Listen_IN.2FOUT Datenbankanbindung IN/OUT und Listen] | ||
** | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Projektplan Projektplan] | ||
** QM-Tests (nach Rücksprache mit Prof. Schneider auf das nächste Semester verlegt) | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016# QM-Tests (nach Rücksprache mit Prof. Schneider auf das nächste Semester verlegt)] | ||
** Bildverarbeitung/Legoteil-Erkennung | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Bildverarbeitung.2FLegoteil-Erkennung Bildverarbeitung/Legoteil-Erkennung] | ||
* '''Sergej Krause:''' | * [[Benutzer:Sergej_Krause|'''Sergej Krause:''']] | ||
** Teach-IN Funktion | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Teach-IN Teach-IN Funktion] | ||
** Datenbankanbindung IN/OUT und Listen | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Datenbankanbindung.2C_Listen_IN.2FOUT Datenbankanbindung IN/OUT und Listen] | ||
** Separierung und Zentrierung der Lego-Teile | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Separierung_und_Zentrierung_der_Legoteile Separierung und Zentrierung der Lego-Teile] | ||
* '''Christo Tsibadze:''' | * [[Benutzer:Christo_Tsibadze|'''Christo Tsibadze:''']] | ||
** | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Projektplan Projektplan] | ||
** Bildverarbeitung/Legoteil-Erkennung | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Bildverarbeitung.2FLegoteil-Erkennung Bildverarbeitung/Legoteil-Erkennung] | ||
** Visualisierung von Prozessen mit "Visio" | ** [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Prozessvisualisierung_mit_Visio Visualisierung von Prozessen mit "Visio"] | ||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
= Projektplan = | = Projektplan = | ||
[[Datei:Aufgabenteilung_Projektplan.jpg| | [[Datei:Aufgabenteilung_Projektplan.jpg|600px|thumb|left|Abbildung 2: Aufgabenstellung und Projektplan]] | ||
[[Datei:Projektplan Legozählmaschine1.png|300px|thumb|right|Abbildung 3: Projektplan]] | |||
Meilensteine für das 6. Semester mit Deadlines: | <br /> | ||
'''Meilensteine für das 6. Semester mit Deadlines:''' | |||
* 06.06.2016: Hardware und Software Inbetriebnahme | * 06.06.2016: Hardware und Software Inbetriebnahme | ||
Zeile 81: | Zeile 93: | ||
* 14.11.2016: wird noch festgelegt, entweder Auswerfer- oder Separierung vor der BV Optimierung | * 14.11.2016: wird noch festgelegt, entweder Auswerfer- oder Separierung vor der BV Optimierung | ||
* 16.01.2016: Algorithmen Optimierung, Teach-In XT/EV3 und Report | * 16.01.2016: Algorithmen Optimierung, Teach-In XT/EV3 und Report | ||
< | <ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | ||
<ref name="Autor: Lingenauber"> Autor Niklas Lingenauber</ref> | |||
<br /><br /><br /><br /><br /><br /><br /><br /><br /> | |||
= Realisierung = | = Realisierung = | ||
== Main-Funktion == | |||
[[Datei:MAIN.jpg|300px|thumb|right|Abbildung 4: Aufbau der Main-Funktion]] | |||
Die Mainfunktion ist das Hauptprogramm der Legozählmaschine. Sie ruft nach Start des Programmes alle weiteren Module und Funktionen auf. | |||
Zu Beginn des Programmes startet die Main-Funktion eine Initialisierung. Hier werden allgemeingültige Aspekte, wie globale Variablen, Verbindungen zu Datenbank oder Kamera und Einstellungen vorgenommen. Anschließend wird ein Grafisches User-Interface aufgerufen, welches dem User ermöglicht die Legozählmaschine zu steuern. Sind notwendige Schritte wie die Auswahl von Baukästen oder dem manuellen Zählen von Bauteilen, die die Maschine nicht erkennen kann abgeschlossen, startet die automaische Erkennung der Legoteile. Der Anwender muss hier den Inhalt einer Kiste in den Förderbunker geben, die Maschine befördert die Teile automatisch in den Kamera-Raum und ermittelt durch Bildverarbeitung die enntsprechenden Bauteile. Nach Beendigung des automatischen Zählprozesses werden die Ergebnisse des manuellen und des automatischen Zählens in einer Liste zusammengefasst und die gewonnen Informationen können in einer Inventurliste ausgegeben werden. Fehlende Legoteile werden in einer seperaten Fehlteilliste ausgegeben. | |||
'''Quellcode Matlab:''' [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC/main.m main.m] | |||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
<ref name="Autor: Lingenauber"> Autor Niklas Lingenauber</ref> | |||
<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
<ref name="Autor: Krause"> Autor Sergej Krause</ref> | |||
<ref name="Autor: Fankhauser"> Autor Adam Fankhauser</ref> | |||
<ref name="Autor: Penner"> Autor Kevin Penner</ref> | |||
== GUI == | |||
Unter '''GUI''' (Graphical User Interface oder auch Grafische Benutzeroberfläche versteht man die Die Schnittstelle eines Programms für einen Menschlichen Nutzer. GUI dienen meist zu Eingabe und Ausgabe von Werten die durch ein Hauptprogramm berechnet werden, dabei haben GUI in der Regel nur wenig Rechenaufwand und dienen dem Benutzer Komfort. | |||
Die GUI der HSHL Legoteil-Zählmaschine lässt sich in folgende Bereiche aufteilen: | |||
* Auswahl des Baukastens | |||
* Manuelles Zählen der Bauteile | |||
* Autonomes Zählen der Bauteile | |||
* Korrektur des autonomen Zählens | |||
In jedem Schritt gibt es die Möglichkeit auf Hilfe zuzugreifen. Man findet einen „Hilfe“-Knopf in der Taskleiste oben links.<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
===Auswahl der Baukästen=== | |||
Im ersten Schritt müssen die Baukästen ausgewählt werden, die gezählt werden sollen. Es ist derzeit jedoch nur möglich einen Kasten aus zu wählen. In Zukunft soll es die Möglichkeit geben, zwei Kästen gleichzeitig auswählen zu können (Beispielsweise ein Hauptkasten und Zusatzkasten). | |||
Die Auswahl des Baukastens ist für die folgenden Schritte von Bedeutung. | |||
Sollte mindestens ein Kasten ausgewählt werden, so kann man mit dem nächsten Schritt dem manuellen Zählen fortfahren.<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
[[Datei:Schritt1 Auswahl der Baukaesten.JPG|250px|center|thumb|Abbildung 5: GUI Auswahl der Baukästen]] | |||
===Manuelles Zählen=== | |||
Wenn der im ersten Schritten gewählte Kasten Legoteile besitzt, die für den Zählprozess ungeeignet sind, müsse diese Teile vom Benutzer der Zählmaschine manuell gezählt werden. In diesem Schritt wird eine Tabelle mit den wichtigsten Eigenschaften der manuellen Teile gezeigt. Zudem wird dem Benutzer ein Bild des jeweiligen Bauteils angezeigt was er gerade in der Tabelle markiert. | |||
Ein Fortfahren ist nur möglich, wenn der Benutzer für jedes Teil eine positive ganze Zahl eingibt.<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
[[Datei:Schritt2 Manuelles Zaehlen.JPG|250px|center|thumb|Abbildung 6: GUI Manuelles Zählen]] | |||
===Autonomes Zählen=== | |||
Es taucht nur ein Hinweisfenster Auf welches den Benutzer informiert, dass der Autonome Zählprozess bereits begonnen hat. | |||
Man kann den Prozess durch das Drücken von ESC beenden.<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
===Korrektur des Autonomen Zählens=== | |||
Am Ende des Autonomen Zählprozess werden alle gezählten Teile angezeigt. | |||
Sollten bei autonomen Zählprozess Teile falsch erkannt werden, so hat der Benutzer die Möglichkeit die die Anzahl der Teile noch einmal manuell zu korrigieren. Nicht gezählte Teile können aber auch zurück in den Zählprozess geführt werden.<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
== Bildverarbeitung/Legoteil-Erkennung == | |||
=== Bildverarbeitung_Automatisches_Zaehlen === | |||
[[Datei:Bildverarbeitung_Main.jpg|300px|thumb|right|Abbildung 7: Bildverarbeitung_AutomatischesZaehlen]] | |||
Die automatische Legoteilerkennung erfolgt mit der Unterfunktion: [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\AutomatischesZaehlen.m AutomatischesZaehlen.m] und weiteren kleineren Unterfunktionen. Als Übergabeparameter bekommt die Funktion die Schnittstellen zu Webcam, Datenbank und die serielle Schnittstelle übergegeben und liefert als Rückgabe eine chronologische Liste mit Legoteil-IDs, welche beim automatischen Zählen erkannt wurden. Zu Beginn dieser Funktion werden einmalig diverse Parameter und Variablen angelegt und initialisiert. Anschließend wird in der äußeren Schleife Folgendes wiederholt (bis Betätigung der "Escape"-Taste) durchgeführt: | |||
<br /><br />'''Bildverbesserung & Vorsegmentierung:'''<br /> | |||
* Bild bzw. Frame wird von der Kamera eingelesen | |||
* Ränder werden weggeschnitten (ROI) | |||
* normalverteiltes Rauschen entfernen (Gauß-Filter) | |||
* Bild wird in Rot-, Grün- und Blauanteil zerlegt | |||
* Mehrfache Binarisierung für die Segmentierung der einzelnen Legofarben + kleine Artefakte aus den Binärbilder filtern | |||
<br /> | |||
'''Nachbearbeitung:'''<br /> | |||
Bei einigen vorsegmentierten Farb-Binärbildern (z.B. bei einem roten Legoteil mit Bohrungen) wird der Schatten in den Bohrungen als schwarze Pixel bzw. "schwarzes Teil" interpretiert. Diese werden wie folgt aus dem schwarzen Binärbild entfernt: | |||
# Die Binärbilder (außer das Binärbild, welches die schwarzen Legoteile beinhaltet) werden zusammenaddiert | |||
# Beim entstandenen Binärbild wird die Closing Operation durchgeführt (Füllen von Löchern und Bohrungen) --> BW_CLOSING | |||
# Die Löcher & Bohrungen aus dem schwarzen Binärbild (BW_SCHWARZ) werden entfernt mit: | |||
BW_SCHWARZ = BW_SCHWARZ - BW_CLOSING | |||
<br /><br /> | |||
Um zu verhindern, dass die nicht optimal ausgeleuchtete Bereiche (z.B. dunkelgrauer Bereich in einem hellgrauen Legoteil) als zwei unterschiedliche Legoteile erkannt werden, wird Folgendes durchgeführt: | |||
# Alle Binärbilder werden addiert, wodurch ein Binärbild mit Objekten verschiedener Farben entsteht | |||
# Leichte Dilatation führt zu Verbindung zweier sehr nah benachbarter Objekte (Schattierungen mit Legoteilen "verschmelzen") | |||
<br /> | |||
'''Segmentierung mit folgenden Matlab-Funktionen:''' | |||
* imclearborder: Entfernt alle weißen Pixel, welche eine Verbindung zum Bildrand besitzen (Objekte am Rand des Bildes) --> Objekte, deren Fläche nicht komplett von der Kamera erfasst werden, sind uninteressant | |||
* bwareaopen: Entfernt kleine zusammenhängende Segmente (Artefakte), deren Pixelanzahl unter einem vorgegebenen Schwellwert liegen. | |||
* Bwlabel: Die noch vorhandenen Objekte (Legoteile) im zusammenhängenden Binärbild werden mit einem Label versehen, damit jedes Objekt für sich betrachtet und ausgewertet werden kann | |||
Die nachfolgenden Schritte werden in einer Schleife auf jedes gelabelte Objekt angewendet. | |||
<br /><br /> | |||
% | '''Klassifikation:'''<br /> | ||
Merkmalsextraktion von jedem Objekt bzw. Legoteil (Mehr unter: [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Merkmalsextraktion Merkmalsextraktion]): | |||
* SVN-Link: [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\Merkmalsberechnung_3.m Merkmalsberechnung_3.m]: | |||
* Berechnung von Umfang, Fläche, Schwerpunkt, maximaler und minimaler Abstand vom Schwerpunkt zum Objektrand | |||
<br /> | |||
Nachdem der Schwerpunkt vom erkannten Teil berechnet wurde, wird Folgendes überprüft: | |||
* Der Flächenschwerpunkt (X-Koordinate) des Objektes befindet sich im mittleren Bildbereich | |||
** Vorteile: Objekt wird nur in mittiger Position analysiert --> Genauigkeit steigt, da die Verzerrungseigenschaften aufgrund des Blinkwinkels auf allen Objekten gleich sind | |||
* Der Flächenschwerpunkt (Y-Koordinate) befindet sich (inklusiver einer kleinen Toleranz) nicht an derselben Stelle, wie bei dem Legoteil, welches zuvor analysiert/gezählt wurde | |||
** Vorteile: Ein Legoteil wird nicht doppelt gezählt, da bei einer genau waagerecht ausgerichteten Kamera, sich die Höhe des Flächenschwerpunktes nicht ändert | |||
<br /> | |||
Falls ein Teil erkannt wird (nicht doppelt): | |||
* Binärbild des Objektes wird an die Funktion [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\FARBERKENNUNG_V2.m FARBERKENNUNG_V2.m] übergegeben, wo es einer Legofarbe zugeordnet wird (Mehr unter: [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Farberkennung Farberkennung]). | |||
* Mit Hough-Transformation Kreise im Bild suchen (Matlab-Funktion: '''imfindcircles'''), da die Anzahl der gefunden Kreise als weiteres Merkmal dient | |||
** Minimaler und maximaler Radius muss mit der Höhe der Kamera angepasst werden | |||
* Abgleich der Merkmale des Objektes mit den eingetragenen Werten aus der Datenbank (inklusive modifizierbarer Toleranzen) mit der Funktion: [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\Datenbankabgleich.m Datenbankabgleich.m] (Mehr unter: [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Datenbank Datenbank]). Diese erhält die Merkmale des Objektes und die Schnittstelle zur Datenbank als Übergabeparameter und liefert die ID des Legoteils zurück | |||
** falls keine Überschneidung zwischen Merkmalen und Datenbank --> ID = 0 | |||
* ID wird in einer Liste gespeichert | |||
* Sollte die ID nicht "0" sein, wird der serieller Schnittstelle (Arduino) signalisiert, dass zu diesem Zeitpunkt ein Teil erkannt wurde. Mithilfe der konstanten und bekannten Bandgeschwindigkeit wird dann der Auswerfer vom Arduino angesteuert (erkannte Legoteile werden gesammelt). | |||
<br /> | |||
'''Beendigung des automatischen Zählprozesses:''' | |||
<br /> | |||
Falls die "Escape"-Taste betätigt wird: | |||
* Die Schleife (automatischer Zählprozess) wird unterbrochen | |||
* Arduino wird signalisiert, die Laufbänder zu stoppen | |||
* Eine Liste mit erkannten und fehlenden Teilen wird als Excel-Tabelle automatisch geöffnet. | |||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
<ref name="Autor: Penner"> Autor Kevin Penner</ref> | |||
<br /> | |||
</ | |||
<br /> | <br /> | ||
=== Farberkennung === | === Farberkennung === | ||
[[Datei:Farberkennung.jpg|300px|thumb|right|Abbildung 8: Farberkennung]] | |||
<br /> | |||
Die Funktion "[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\FARBERKENNUNG_V2.m FARBERKENNUNG_V2.m]" bekommt als Übergabewerte zwei Matrizen: | |||
* Original-Frame (RGB-Bild) und Binärbild vom erkannten Objekt | |||
* mit Hilfe der Übergabeparameter wird eine 3D-Farbmaske erstellt (3D --> RGB). | |||
** Farbmaske: Aus dem Originalbild werden nur die Pixel in die Masken übernommen, die im Binärbild dem Objekt zugeordnet werden können (weiße Pixel) | |||
* Anschließend werden Mittelwerte für Rot-, Grün- und Blau-Anteil berechnet. | |||
<br /> | |||
Zuordnung zur nächstgelegenen Farbe: | |||
* Es werden die RGB-Mittelwerte mit einer Farbtabelle verglichen: | |||
** die Differenzen von jedem Farbanteil zur Farbtabelle werden ermittelt. Davon werden die Differenzen des Farbanteils mit dem größten Wert (Abweichung) gespeichert. | |||
** Anschließend wird der minimalste Wert von den maximalen Abweichungen ermittelt --> '''Es wird genau die Farbe ermittelt, welches die kleinste Abweichung zu der Legoteil-Farbe hat.''' | |||
<br /> | |||
Die ermittelte Farbe wird als String zurückgegeben.<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
<br /><br /><br /><br /><br /> | |||
[[Datei: | === Merkmalsextraktion === | ||
[[Datei:Merkmalsextraktion.png|300px|thumb|right|Abbildung 9: Merkmalsextraktion]] | |||
<br /> | <br /> | ||
Die Funktion " | Die Funktion "[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\Merkmalsberechnung_3.m Merkmalsberechnung_3.m]" erhält als Übergabeparameter ein Binärbild eines einzelnen Objektes (Legoteil). Aus diesem Objekt werden dann folgende Merkmale extrahiert, welche dann zurückgegeben werden: | ||
* | * Umfang --> Anzahl der Pixel, die sich am Rand des Objektes befinden | ||
* | * Fläche --> Anzahl der Pixel, die sich innerhalb des Objektes befinden (Löcher ausgeschlossen) | ||
* | * Flächenschwerpunkt --> Pixelkoordinaten {x/y} | ||
* | * Minimaler Abstand von Flächenschwerpunkt zu äußerem Rand des Objektes | ||
* Maximaler Abstand von Flächenschwerpunkt zu äußerem Rand des Objektes | |||
<br /> | <br /> | ||
Die Berechnung der Fläche erfolgt über die Summenbildung der Zeilen und Spalten des Binärbildes. Da so nur die weißen Pixel addiert werden, handelt es sich hierbei nur um die Pixel, die zum Objekt gehören.<br /> | |||
Die Schwerpunktskoordinaten lassen sich mit der Matlab-Funktion '''Regionprops''' berechnen, welche als Übergabeparameter das Binärbild des Objektes und die Option 'centroid' erhält.<br /> | |||
Mithilfe des Kantenbildes des Objektes (erzeugt mit der Matlab-Funktion '''bwperim'''), kann eine Liste mit allen Kantenkoordinaten erstellt werden (Matlab-Funktion: '''Regionprops(Kantenbild, 'Pixellist')'''). Aus der Differenz zwischen jedem einzelnen dieser Kantenpixel und dem Schwerpunkt bestimmt man nun die Abstände vom Schwerpunkt zum Rand, welche nach minimalen und maximalen Wert durchsucht werden. | |||
Anhand der Größe der Kantenpixelliste kann außerdem der Umfang des Objektes bestimmt werden. | |||
<br /> | <br /> | ||
Diese Merkmale dienen, zusätzlich zu der Farbe des Objektes und die Anzahl der Löcher im Objekt, als Indikatoren für den Abgleich zwischen aktuellen Legoteil in der Box und den hinterlegten Daten in der Datenbank. <br /> | |||
<br / | Sollten sich herausstellen, dass diese Merkmale nicht genügen, um alle Legoteile voneinander unterscheiden zu können, sind weitere Merkmalsberechnungen möglich (z.B. Die Seitenlängen einer um das Objekt aufgespannten Boundingbox). <ref name="Autor: Penner"> Autor Kevin Penner</ref> | ||
<br /><br /><br /><br /> | |||
== Teach-IN == | |||
Zur Ermittlung von Merkmals-Daten (Datenbank) für die einzelnen Legoteile, wurde die Main-Funktion (Bildverarbeitung) kurzzeitig modifiziert, so dass die Daten der Merkmale 10 Mal ermittelt und anschließend gemittelt wurden. Diese Werte wurden in eine Datenbank geschrieben, in welcher die Legoteile mit ihren zugehörigen IDs hinterlegt sind. Während der Datensammlung wurde jedes Legoteil einzeln 10 Mal nacheinander in die Bilderkennungsbox gefahren. Bei Legoteilen, welche aus mehreren Perspektiven andere Merkmale aufweisen, wurden mehrere Merkmals-Daten der ID zugeordnet. | |||
Ein automatisches Teach-IN von neuen Legoteilen mit GUI-Anbindung wurde für das kommende Semester vorgesehen. Dort könnte ein Legoteil in kleinen Positionsschritten automatisch vom Band in die Kamerabox eingefahren werden. So wäre eine Aufnahme des Objektes aus verschiedenen Blickwinkeln möglich. | |||
< | <ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> <ref name="Autor: Penner"> Autor Kevin Penner</ref> | ||
== Datenbankanbindung, Listen IN/OUT == | == Datenbankanbindung, Listen IN/OUT == | ||
=== Datenbank === | === Datenbank === | ||
[[Datei:UML-Design.PNG|thumb|right|Abbildung 10: Datenbank UML Diagram]] | |||
Die Datenbank ist in MySQL implementiert und eine Verbindung mit Matlab wurde realisiert. Hinzukommt das alle Daten im Excel-Format vorhanden sind. Die Daten sind aufgeteilt in drei Excel Dateien, [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC/Inventurliste\Datenbank%20Teile-Kopie_fuer%20sql.xlsx Datenbank Teile-Kopie_fuer sql.xlsx], [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC/Inventurliste\Datenbank%20Kastendetails.xlsx Datenbank Kastendetails.xlsx], [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC/Inventurliste\Datenbank%20Kasten.xlsx Datenbank Kasten.xlsx], die die gesamte Datenbank representieren und alle einträge beinhaltet. Dies dient der Datensicherheit, da die Daten in getrennten Formaten und Speichermedien vorhanden sind. Die Struktur innerhalb der Tabellen sollte erhalten bleiben, aber die Daten innerhalb der Tupel können nach belieben manipuliert werden. In der Datei "InventurlisteErstellen_SQL.m" befindet sich ein Code, der die Daten in die gestartete SQL-Datenbank importieren kann. Dies ist aber nur möglich solange die Strucktur, Spaltennamen und Anzahl, bestehen bleibt. | |||
Die Datenbank ist aufgeteilt in drei Tabellen, Legoteileliste, beinhaltet alle einzelnen Legoteile, Kastendetails, enthält die Nummer der Legokästen, und der Kasten Tabelle, die die Legoteile mit den Kästen verbindet. In der Tabelle Legoteileliste sollen alle Legoteile aufgenommen werden. Die Attribute für die Legoteile sind: | |||
* '''DataID''', der Primarykey, ist als Autoincrement implementiert und versieht jedes neu hinzugefügte Legoteil automatisch mit einer eindeutigen ID | |||
* '''LegoteileID''', entspricht der ID vom Hersteller Lego, kann in unserer Datenbank zweimal vorkommen, wenn das Legoteil mehrere Perspektiven hat | |||
* '''Bezeichnung''', eine kurze Beschreibung des Legoteils, eine eindeutige Beschreibung wurde mit zurhilfenahme von Onlineshops realisiert (max. 30 charakter lang) | |||
* '''Farbe''', die Farbe des Bauteils nach Hersteller Norm | |||
* '''Form''', noch in Bearbeitung | |||
* '''Umfang''', der Pixelumfang vom Teach-In Prozess | |||
* '''Flaeche''', der Flaecheninhalt des Legoteils in Pixel vom Teach-In Prozess | |||
* '''MaxSchwerpunkt''', der maximale Schwerpunkt vom Teach-In Prozess | |||
* '''MinSchwerpunkt''', der minimale Schwerpuntk vom Teach-In Prozess | |||
* '''Rundloch''', entspricht der Anzahl der vom Teach-In Prozess erkannten Löcher im Legoteil | |||
* '''AnzPerspektiven''', gibt die gesamt Anzahl aller vorhandenen Perspektiven, unterschiedliche Lagen eines einzelnen Legoteils, die neue Werte für die oben genannten Attribute liefert, an | |||
* '''Scanbar''', '1' oder '0', '1' bedeutet es kann von der Legoteil Zählmaschine erkannt werden, '0' bedeutet es muss manuell, per Hand, gezählt werden, zB. weil es zu groß ist | |||
Die Tabelle Kastendetails besteht aus: | |||
* '''KastenID''', der Primarykey, die vom Hersteller Lego vorgesehene Kastennummer, muss eindeutig sein | |||
* '''Bezeichnung''', eine kurze Beschreibeung des Kasten bzw. den Namen des Kastens (max. 50 charakter lang) | |||
Zu letzt die Tabelle Kasten, diese setzt sich zusammen aus einer LegoteileID, KastenID und Anzahl. Die Tabelle Kasten spiegelt die reale Welt wieder indem sie genau beschreibt welches Legoteil in welchem Kasten ist und wie oft dieses Legoteil in einem Kasten vorhanden ist: | |||
* '''LegoteileID''', Primarykey mit KastenID, Forenkey auf Legoteileliste.LegoteileID, dementsprechend eine ID aus Legoteileliste, | |||
(LegoteileIDs können nur zugewiesen werden wenn ein eintrag in Legoteileliste vorhanden ist) | |||
* '''KastenID''', Primarykey mit LegoteileID, Forenkey auf Kastendetails.KastenID, dementsprechend eine ID aus Kastendetails, | |||
(KastenIDs können nur zugewiesen werden wenn ein eintrag in Legoteileliste vorhanden ist) | |||
* '''Anzhal''', die genaue Anzahl eines Legoteil in einem bestimmten Kasten entnommen von der Originalverpackung von Lego (max. vierstelliger Integer wert) | |||
Um in Matlab auf die Zugriff auf die Datenbank zu haben muss XAMPP und der MySQL ODBC - Connector installiert und konfiguriert sein. Sobald dies geschehen ist, kann mit: | |||
<source lang=matlab> | |||
DatenbankVerbindung = database.ODBCConnection('Datenbank','root',''); | |||
</source> | </source> | ||
eine Verbindung hergestellt werden. Danach kann man mit mit SQL Befehlen Daten aus der Datenbank extrahieren und einpflegen. Ein Beispiel: | |||
[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC/GUI/2016%20-%20GUI%20-%20Zaehlprozess/GUI_Database/getAllKasten.m getAllKasten.m] | |||
In '''sqlquery''' wird der SQL-Befehl hinterlegt und mit '''exec(conn, sqlquery)''' wird der Befehl auf der Datenbank, die in '''conn''' spezifiziert ist, ausgeführt. Mit '''fetch(curs)''' wird das Ergebnis der SQL-Anfrage zurück gegeben, alles weitere ist eine manipulation der Struktur in der die Daten weitergeben werden sollen. | |||
====Installation der Datenbank==== | |||
Für die Benutzung der Datenbank auf einem neun PC, müssen einige Dateien Installiert und Matlab Konfiguriert. Eine Schritt für Schritt Anleitung findet sich in der [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation\06_MATLAB\Einrichten%20der%20Datenbank.docx Einrichten der Datenbank.docx]. Hier folgt eine Kurzanleitung anhand der Schritt für Schritt Anleitung: | |||
1. Download von [https://www.apachefriends.org/de/ XAMPP] und [https://dev.mysql.com/downloads/connector/odbc/ MySQL ODBC - Connector] | |||
2. Installation von XAMPP und MySQL ODBC - Connector | |||
3. Starte XAMPP -> starte Apache -> starte MySQL | |||
4. Erstelle eine neue Datenbank (Benenne die Datenbank, so das sie eindeutig und ihren nutzen klar werden lässt) | |||
5. Konfiguration von Matlab | |||
5.1 Im oberen Reiter auf APPS gehen | |||
5.2 Wähle unter den APPS den '''Database Explorer''' | |||
5.3 Gehe im Menu auf New->ODBC - Configure ODBC data source | |||
5.4 Füge als neue Datenquelle den '''MySQl ODBC Unicode Driver''' hinzu | |||
5.5 Server Daten eingeben -> Name: Lego ; TCP/IP Server: 127.0.0.1 Port: 3306; User: root; Password: - (leer lassen); Database: eure erstellte Datenbank wählen | |||
5.6 Alles bestätigen -> Verbidung hergestellt | |||
<ref name="Autor: Krause"> Autor Sergej Krause</ref> | |||
=== Erstellung einer Inventurliste === | |||
Eine Anforderung an die Legoteil Zählmaschine ist, dass dem Anwender nach Abschluss des Zählprozesses eine Liste in Excel ausgegeben wird, in der die gezählten Teile und dessen Anzahl aufgelistet sind. | |||
Dazu wurde zunächst eine Funktion InventurlistenTamplateMultiKaesten.m geschrieben, die aus der Datenbank die Bauteile ausliest, die in dem ausgewählten Baukästen enthalten sind und diese in eine Excel-Liste schreibt. Als Übergabeparameter benötigt die Funktion die entsprechenden BaukastenIDs, einen Dateinamen für die Inventurliste und die entsprechende Verbindung zur Datenbank. Als Rückgabewert gilt ein Cell-Array, welches den Inhalt der Inventurliste in Excel enthält. | |||
Die Funktion InventurlistenTamplateMultiKaesten.m ist wie folgt implementiert: | |||
[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC/Inventurliste/InventurlistenTamplateMultiKaesten.m InventurlistenTamplateMultiKaesten.m] | |||
Nach der Erstellung des Templates werden die Gezählten IDs in die Liste eingetragen. Dazu wird der Inhalt des Templates nach den entsprechenden IDs durchsucht und die dazugehörige Anzahl notiert. Durch den Angleich voll Soll- und Ist-Anzahl der einzelnen Legoteile, wird außerdem eine Fehlteilliste erstellt, die dem Anwender anzeigt, welche Teile in welcher Häufigkeit fehlen. Die Funktion InventurlisteFuellen.m benötigt ebenfalls die entsprechenden BaukastenIDs, einen Dateinamen für die Inventurliste und die entsprechende Verbindung zur Datenbank als Übergabeparameter.Außerdem werden die gezählten Legoteil-IDs und dessen Anzahl benötigt. Als Rückgabewert gilt erneut der Inhalt der Excel-Liste. | |||
Die Funktion InventurlisteFuellen.m ist wie folgt implementiert: | |||
[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC/Inventurliste/InventurlisteFuellen.m InventurlisteFuellen.m] | |||
<ref name="Autor: Lingenauber"> Autor Niklas Lingenauber</ref> | |||
== Separierung und Zentrierung der Legoteile == | |||
[[Datei:Zentrierung.jpg|300px|thumb|right|Abbildung 11: Zentrierung]] | |||
=== Teilezentrierung === | |||
Die provisorisch aus Holz gefertigte Teilezentrierung wurde mit fixierbarer Variante aus Aluminium ersetzt. An den Zentrierungskomponenten wurden elastische Kunststoffstreifen geklebt und anschließend an den Alu-Profilen vor der Bildverarbeitungsbox festgeschraubt. | Die provisorisch aus Holz gefertigte Teilezentrierung wurde mit fixierbarer Variante aus Aluminium ersetzt. An den Zentrierungskomponenten wurden elastische Kunststoffstreifen geklebt und anschließend an den Alu-Profilen vor der Bildverarbeitungsbox festgeschraubt. | ||
< | <ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | ||
<ref name="Autor: Lingenauber"> Autor Niklas Lingenauber</ref> | |||
<ref name="Autor: Fankhauser"> Autor Adam Fankhauser</ref> | |||
=== Separierung === | === Separierung === | ||
Die Separierung wurde mit Hilfe von Geschwindigkeitsdifferenzen an den Laufbandübergängen realisiert. | Die Separierung wurde mit Hilfe von Geschwindigkeitsdifferenzen an den Laufbandübergängen realisiert. | ||
Je größer die Geschwindigkeitsdifferenzen, desto bessere Separierung | Je größer die Geschwindigkeitsdifferenzen, desto bessere ist die Separierung möglich. | ||
Aber die Bilderkennung fungiert in diesem Punkt als "Flaschenhals", wenn das letzte Laufband zu schnell dreht, dann werden weniger Teile erkannt. | Aber die Bilderkennung fungiert in diesem Punkt als "Flaschenhals", wenn das letzte Laufband zu schnell dreht, dann werden weniger Teile erkannt. Es wurden experimentell die optimalen Geschwindigkeiten für jedes Laufband ermittelt, so dass Separierung und Bilderkennung optimal laufen. | ||
< | <ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | ||
<ref name="Autor: Lingenauber"> Autor Niklas Lingenauber</ref> | |||
<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
<ref name="Autor: Krause"> Autor Sergej Krause</ref> | |||
<ref name="Autor: Fankhauser"> Autor Adam Fankhauser</ref> | |||
<ref name="Autor: Penner"> Autor Kevin Penner</ref> | |||
== Elektronik und Sicherheit == | == Elektronik und Sicherheit == | ||
[[Datei:Neues_Netzteil_24VDC.jpg|350px|thumb|left|Abbildung 12: 24VDC Installation]] | |||
[[Datei:Kabelkanal.jpg|450px|thumb|right|Abbildung 13: Kabelkanal]] | |||
[[Datei:Kamera_BildBox_Fixierung.jpg|450px|thumb|right|Abbildung 14: Kamera/Bildbox Fixierung]] | |||
===Neues 24V Netzteil=== | ===Neues 24V Netzteil=== | ||
< | Wie in den offenen Punkten aus dem Artikel [[Legoteil Zählmaschine 2015]] beschrieben, benötigte die Lego Zählmaschine ein stärkeres Netzteil. Bei der Auslegung der Maschine wurde das Netzteil für die Versorgung der Bandmotoren zu klein dimensioniert und bei gleichzeitigem Anlaufen der Motoren ist es vorgekommen, dass das alte Netzteil mit einem maximalen Ausgangsstrom von 10 A sich aus Selbstschutz abgeschaltet hat. Hier wurde ein stärkeres Netzteil vom selben Hersteller mit 20 A maximalem Ausgangsstrom eingebaut. Dies besitzt eine etwas breite Bauweise, konnte aber durch leichte Änderungen im Schaltschrank installiert werden.<ref name="Autor: Fankhauser"> Autor: Adam Fankhauser</ref> | ||
===Kabelkanal=== | ===Kabelkanal=== | ||
[[ | Ebenfalls in den offenen Punkten des Artikels [[Legoteil Zählmaschine 2015]] beschrieben, sollten die bisher provisorisch verlegten Leitungen fest verlegt werden. Hierzu wurde ein Kabelkanal zur ordentlichen Verlegung der Leitungen an den Förderbändern montiert. Er dient dem Schutz und der mechanischen Entlastung der Leitung. Es wurde ein geschlitzer Kabelkanal wewählt, da an vielen unterschiedlichen Stellen Leitungen z.B. zu den Motoren abgehen. So war es nicht nötig, einen geschlossenen Kabelkanal zu modifizieren, um die Leitungsabgänge möglich zu machen.<ref name="Autor: Fankhauser"> Autor: Adam Fankhauser</ref> | ||
===Kamera- und | ===Kamera/Bildbox- und Auswerferhalterung=== | ||
Die Bildbox und die Kamera waren bis zum jetzigen Zeitpunkt noch nicht befestigt und lagen lose auf dem Förderband auf. Dies barg die Gefahr, dass aus beide Teile aus ihrer beträchtlichen Höhe immer drohten herunterzufallen und irreperabel beschädigt zu werden. Zur Befestigung wurde "Boschprofil" mit den Zubehörwinkeln genutzt. Die Bildbox wurde so befestigt, dass sie über vier Schrauben Höhenverstellbar ist, um auch die Einfuhr von größeren Teilen möglich zu machen. Ebenso ist die Befestigung am Förderband mit vier Schrauben lösbar und damit die gesamte Konstruktion verschiebbar. Die Kamera wurde an der Bildboxbefestigung so fixiert, dass sie bei dieser Höhen- und Seitenverstellung immer an der selben Stelle verharrt. Dies ermöglicht eine ein mal eingestellte Kameraposition beizubehalten. | |||
< | Ebenso wurde der Auswerfer am Ende des letzten Förderbandes mit Boschprofil und Winkeln befestigt. Somit ist die bisherige Befestigung über eine Holzkiste ersetzt worden. <ref name="Autor: Fankhauser"> Autor: Adam Fankhauser</ref> | ||
===Höhenanpassung der Laufbänder=== | ===Höhenanpassung der Laufbänder=== | ||
und | |||
An den Laufbandübergängen wurden verbesserungswürdige Fallhöhen festgestellt. Die Legoteile fallen von einem Laufband auf das andere, wenn die Fallhöhe zu groß ist, dann federn die Teile ab und fallen manchmal vom Band runter. Deshalb wurden die Höhen der Laufbänder so eingestellt, dass es kleinstmögliche Fallhöhen gibt. Ebenso wurde damit der das Förderband steiler gestellt und somit die Vereinzelung der Legoteile leicht verbessert, da die größeren Teile im Bunker weniger Halt auf den Lamellen finden können und eher abrutschen. <ref name="Autor: Fankhauser"> Autor: Adam Fankhauser</ref> | |||
===Elektrische Sicherheit=== | |||
Die elektrische Sicherheit des Schaltschrankes wurde im Zuge der Umbauarbeiten sichergestellt, indem alle Leitungen gegen spannungsfestere Leitungen vom Typ H07 bzw. H05 ausgetauscht wurden. So werden nun auch die Anforderungen nach VDE 0100-600 erfüllt. | |||
Eine Anlagenprüfung soll im nächsten Semester vorgenommen werden, wenn alle noch anstehenden Anlagenveränderungen vorgenommen wurden. <ref name="Autor: Fankhauser"> Autor: Adam Fankhauser</ref> | |||
== HSHL-Wiki-Dokumentation == | == HSHL-Wiki-Dokumentation == | ||
Die HSHL-Wiki-Dokumentation wurde von der gesamten Gruppe bearbeitet. | |||
Jedes Themenabschnitt unterliegt der bereits oben genannten [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016#Aufgabenteilung_inkl._weiteren_Aufgaben_aus_dem_Pflichtenheft '''Verantwortlichkeiten''']. | |||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
== | == Evaluation der Druckluftdüsen == | ||
Der vollständige Bericht befindet sich im SVN unter <br> | |||
...\Dokumentation\16_Pneumatik\Evaluation_der_Druckluftdüsen.docx | |||
Im ersten Test wurden verschiedene Legoteile und den unten in der Tabelle genannten Düsen getestet. Ziel des Versuches war es heraus zu finden, welche Legoteile sich am besten für den Test der Düsen eigen. In dem Test stellte sich heraus, dass sie Komplexität der Form der Legoteile kaum Einfluss auf das Ergebnis hat. Dies ist auf das geringe Gewicht und die großen Oberflächen der Legoteile zurückzuführen. | |||
Im zweiten Test wurden getestet wie weit die Düsen die Legoteile bei einmaligen betätigen bewegen können. Ein Teil muss dabei mindestens eine Strecke von 20 cm überwinden können. In dem Test zeigte sich, dass die Testergebnisse von der punktuellen Düse nur dann sinnvolle Ergebnisse erzielen, wenn das Objekt mit einem optimalen Angriffswinkel getroffen wird. Deshalb schwanken die Messwerte auch sehr stark im Test. Dies ist sehr ungünstig da die Lage der Teile im laufenden Prozess der Legoteilzählmaschine sehr variabel ist. Das optimalste Ergebnis haben die spitzen Luftdruck-Düsen erzielt, da selbst mit geringen Drücken viel Kraft auf die Legoteile übertragen werden konnte. | |||
[[ | {| class="wikitable" | ||
|- | |||
!Platz | |||
!Düsen-Nr | |||
!Bild | |||
!Düsenart | |||
!Material | |||
!min. Druck | |||
!Preis | |||
|- | |||
| 1 | |||
| 1761 | |||
| [[File:Rundduese 1761.jpg|75x75px]] | |||
| Spitz | |||
| Aluminium | |||
| >2,5 Bar | |||
| 11,40€ | |||
|- | |||
| 2 | |||
| 1873 | |||
| [[File:Rundduese 1873.jpg|75x75px]] | |||
| Spitz | |||
| Edelstahl | |||
| >2,5 Bar | |||
| 21,70€ | |||
|- | |||
| 3 | |||
| 2075 | |||
| [[File:Flachduese 2075.jpg|75x75px]] | |||
| Spitz | |||
| Kunststoff (ABS) | |||
| >2,5 Bar | |||
| 18,80€ | |||
|- | |||
| 4 | |||
| R02-100 | |||
| [[File:SMC KN R02 100.jpg|75x75px]] | |||
| Spitz | |||
| Edelstahl | |||
| 3,5 Bar | |||
| 10,60€ | |||
|- | |||
| 5 | |||
| 1761 | |||
| [[File:Flachduese 842.jpg|75x75px]] | |||
| Spitz | |||
| Edelstahl | |||
| 3,5 Bar | |||
| 40,90€ | |||
|} | |||
== Video-Anleitung == | |||
'''UNTER BEARBEITUNG''': wird im nächsten Semester mit Vollendung des Programm erstellt | |||
* Aktueller Stand hier: [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation/04_Skizzen%20u.%20Bilder/Pr%c3%a4sentation%20-%20Legoz%c3%a4hlmaschine_Final.mp4 Präsentation - Legozählmaschine] | |||
<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
<ref name="Autor: Fankhauser"> Autor Adam Fankhauser</ref> | |||
<ref name="Autor: Penner"> Autor Kevin Penner</ref> | |||
== | == Pflichtenheft Dokumentation in DOORS == | ||
Das Pflichtenheft wurde mit Hilfe der Software '''DOORS''' dokumentiert. | |||
* SVN-Link: [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Anforderungsmanagement/Pflichtenheft/Pflichtenheft.pdf Pflichtenheft.pdf] | |||
= | <ref name="Autor: Penner"> Autor Kevin Penner</ref> | ||
== | == Prozessvisualisierung mit Visio == | ||
[[Datei: | Die Prozesse wurden mit Microsoft´s Visio dokumentiert. | ||
{| class="wikitable" | |||
|- | |||
|[[Datei:MAIN.jpg|250px]] || [[Datei:Bildverarbeitung_Main.jpg|250px]] || [[Datei:Farberkennung.jpg|250px]] || [[Datei:Merkmalsextraktion.png|250px]] | |||
|- | |||
|Abbildung 15: Übersicht des Gesamtprogramms||Abbildung 16: Detailierte Sicht der Bildveraberbeitung ||Abbildung 17: Teilgebiet der Bildverarbeitung: <br>Farberkennung im Detail ||Abbildung 18: Teilgebiet der Bildverarbeitung:<br>Merkmalsextraktion im Detail | |||
|} | |||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
<ref name="Autor: Penner"> Autor Kevin Penner</ref> | |||
< | == QM-Tests == | ||
Wurde mit Genehmigung von Prof. Schneider auf das nächste Semester verlegt. | |||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
== Auswerfer== | |||
Die bestehende Lösung hat zwei Auswerfer vorgesehen, welche die Legoteile in 3 Kategorien sortieren sollte. In unserem Pflichtenheft ist aber festgeschrieben worden, dass die Legoteile nur noch in 2 Kategorien eingeteilt werden sollen. Daher ist für den Auswefer auch nur ein Servomotor installiert worden. Die bestehende Implementierung auf dem Arduino wurde übernommen und angepasst. Die Matlab Software schickt immer, wenn ein Teil "erkannt" wurde einen String über die serielle Schnittstelle zum Arduino, dieser ließt den String ein und speichrt sich den Zeitstempel bei Eintreffen der Nachricht. Darauf wird ein Zeitdelay gerechnet, bei dem dann die Schranke für einen festgesetzten Zeitraum öffnet. | |||
Diese Umsetzung ist noch nicht sehr robust, da das Senden und Empfangen der Nachricht über eine Erkennung eines Legoteils nicht den geforderten Echtzeitanforderungen entspricht. Ebenfalls wäre es besser, wenn sich das Zeitdelay automatisch an die Bandgeschwindikeit anpassen würde und die Dauer der Schrankenöffnung sich an die Größe des erkannten Legoteils. | |||
== Planung der Aufgaben für das nächste Semester == | |||
Für das kommende Semester wurde anfangs geplant, eine Sortierungsanlage zu entwerfen und realisieren. | |||
Leider wurde festgestellt, dass ein größeres Problem bei der Vereinzelung von den Legoteilen besteht. | |||
Durch den "Flaschenhals"-Bilderkennung ist es unmöglich allein durch die Laufbandgeschwindigkeits-Differenzen alle Legoteile zu vereinzeln. | |||
Das erste Laufband, welches die Legoteile aus dem Bunker auf die nächste Laufband fördert, muss modifiziert werden damit nicht zu viele Teile auf einmal gefördert werden. | |||
Als eine der Hauptaufgaben für das nächste Semester wurde die Vereinzelung von Legoteilen vor der Bildverarbeitung festgelegt. Zusätzlich dazu noch andere Aufgaben aus dem Pflichtenheft.<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
<br /><br /> | === Konzept für Sortieranlage === | ||
[[Datei:Konzept_Sortierung.JPG|300px|thumb|left|Abbildung 19: Konzept_Sortierung]] | |||
[[Datei:Konzept_CAD.JPG|300px|thumb|right|Abbildung 20: Konzept CAD]] | |||
Da es ein Konzept bereits entworfen wurde, wird dieses hier auch dokumentiert (eventuell für zukünftige Aufgaben). | |||
Gedacht ist ein durch einem Motor am Rand angetriebene (konstanter Geschwindigkeit) Scheibe mit Gummi- oder Filsbeschichtung (damit die Legoteile nicht abprallen). Welches auf mindestens drei freilaufende Räder mit einem Nut rotierbar gelagert wird. In der Mitte (feststehende runde Platte) soll dann die Verkabelung (entweder elektrische Leitungen für elektro Motoren, oder pneumatische Leitungen für pneumatischen Auswerfern) platziert werden, die entweder elektrischen oder pneumatischen Auswerfern versorgen. Radial zur drehender Scheibe werden Kisten angebracht mit passend gebogenen Führungsblechen (damit die Legoteile immer in die Kisten fallen). | |||
<br /><br /> | |||
Zum Öffnen des 3D-Modells vom Konzept, laden Sie bitte folgende frei erhältliche Software [http://www.3ds.com/de/produkte-und-services/3d-xml/download/ 3DXML-Player] herunter und öffnen Sie die Datei [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\CAD_SORTIERUNG\CAD_3DXML\Sortieranlage.3dxml Sortieranlage.3dxml]. | |||
Um das 3D-Modell zu rotieren, drücken und halten Sie die mittlere und rechte Maustasten fest. Wenn Sie dann die Maus bewegen, dann wird das 3D-Modell in die entsprechende Richtung rotiert. | |||
Zoomen: Halten Sie die mittlere Maustaste gedrückt, anschließend die rechte Maustaste antippen und loslassen (mittlere gedrückt halten), Maus nach oben bewegen --> Hineinzoomen, Maus nach unten bewegen --> Herauszoomen. | |||
= | <ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | ||
<br /><br /><br /><br /> | |||
= Ergebnisse = | = Ergebnisse = | ||
Zeile 829: | Zeile 537: | ||
* Inventurliste wird ausgegeben | * Inventurliste wird ausgegeben | ||
<ref name="Autor: Krause"> Autor Sergej Krause</ref> | |||
<ref name="Autor: Lingenauber"> Autor Niklas Lingenauber</ref> | |||
== | = Fazit= | ||
===Abgeschlossene Punkte=== | |||
* '''Einbau eines 24V Netzteils''', um Überlast beim Lauf aller Motoren zu verhindern. | |||
* '''Bildverarbeitung''' Differenzierung der Legoteile durch Farbe, Umfang, Fläche, Schwerpunkt, max. "Radius", min. "Radius" | |||
* '''Einbindung einer Datenbank mit SQ'''L, zum Verwalten von größeren Datensätzen | |||
* '''Aufteilung Legoteile in Baukästen''', zu besseren Auswertung der Datensätze | |||
* '''Montage von Kabelkanälen''' zum Schutz und der mechanischen Entlastung der Leitung | |||
* '''Montage von Kamerahaltung''' zum Einstellen und Fixieren der Kamera | |||
* '''Montage von Bildverarbeitungskasten''' für festen halt und optimale Beleutungsverhältnisse | |||
* '''Zentrierung der Teile''' auf dem Fließband zur besseren Bildverarbeitung und zum Auswerfen der (nicht) erkannten Teile | |||
* '''Anpassung der Laufbänder:''' Höhenverstellung und Reduktion von Schleifkontakten | |||
* '''GUI2.0:''' interaktive Benutzeroberfläche über mehrere Seiten | |||
* '''Erkennung von mehr als 30 verschiedenen Teile'''n | |||
== | ===Offene Punkte=== | ||
* '''Optimierung der Bildverarbeitung:''' Mehr Merkmale, weniger Rechenleistung und schnellere Erkennung | |||
* '''Bildverarbeitung:''' Problemfarbe: Schwarz | |||
* '''Bildverarbeitung:''' Einbindung einer "Reinigungsfunktion", welche dem User ein Signal gibt, wenn fälschlicherweise Objekte auf dem Band erkannt werden | |||
* '''Datenbank:''' Füllen der Datenbank mit weiteren Legoteilen bzw. Merkmalswerten | |||
* '''Optimierung der Vereinzelung:''' eine absolute Vereinzelung wäre ideal | |||
* '''Teach-In Einbindung in der GUI:''' Benutzerschnittstelle zu Eingabe und Bearbeitung der Teile | |||
* '''GUI Fertigstellung:''' Optimierung von vorhandenen Programmteilen | |||
* '''Schnellerer Durchlauf:''' Ziel: 60 Teile in 60 Sekunden | |||
* '''Videoanleitung''' zum Erklären der Projektergebnisse | |||
* '''Anleitung zum Start der Maschine''' eine „Broschüre“ mit vielen Bildern | |||
* '''Erweiterung der Datenbank''' um neue Bauteile und Baukästen (z.B. NXT) | |||
* '''Merge-Funktion''': Auswahl von mehrern Kästen ermöglicht | |||
* '''Projektabschluss:''' Abschlusspräsentation und Dokumentation der Arbeit um künftigen Studiengängen einen besseren Einstig zu ermöglichen. | |||
===Mögliche Themen für neue Projektziele=== | |||
* '''Realisierung eines Auswerfers''' um Teile in bestimmte Kästen zu sortieren | |||
* '''Serienproduktion''' Optimierung der Maschine auf kostengünstige Hardware | |||
* '''Rückführung''' um nicht erkannte Teile wieder zurück in den Prozess zu führen | |||
* '''Sortiersystem''' welche Bauteile kommen zusammen in ein Fach eines Kastens? | |||
== | <ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | ||
<ref name="Autor: Lingenauber"> Autor Niklas Lingenauber</ref> | |||
<ref name="Autor: Hanemann"> Autor Simon Hanemann</ref> | |||
<ref name="Autor: Krause"> Autor Sergej Krause</ref> | |||
<ref name="Autor: Fankhauser"> Autor Adam Fankhauser</ref> | |||
<ref name="Autor: Penner"> Autor Kevin Penner</ref> | |||
= Dokumentation = | = Dokumentation = | ||
== SVN == | == SVN == | ||
[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\ | [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\main.m Main Funktion] : Main-Funktion die alle andere Unterfunktionen aufruft | ||
== Gefährdungsbeurteilung | [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\AutomatischesZaehlen.m AutomatischesZaehlen.m] | ||
[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\FARBERKENNUNG_V2.m FARBERKENNUNG_V2.m] | |||
[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/SRC\Bildverarbeitung\Tracking\Algorithmus_und_Module\Merkmalsberechnung_3.m Merkmalsberechnung_3.m] | |||
<ref name="Autor: Tsibadze"> Autor Christo Tsibadze</ref> | |||
== Gefährdungsbeurteilung == | |||
[https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation/13_Gefaehrdungsbeurteilung SVN Link zur Gefährdungsbeurteilung] <br /> | [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk/Dokumentation/13_Gefaehrdungsbeurteilung SVN Link zur Gefährdungsbeurteilung] <br /> | ||
Eine Anlagenprüfung/Gefährdungsbeurteilung soll im nächsten Semester vorgenommen werden, wenn alle noch anstehenden Anlagenveränderungen vorgenommen wurden | |||
<ref name="Autor: Fankhauser"> Autor Adam Fankhauser</ref> | |||
== Autoren == | |||
<references /> | |||
== Siehe auch / Weiterführende Links == | |||
# '''SVN:''' Checkout URL [https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk | https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk] | |||
# '''Rückblick (WS15):''' [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2015 | http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2015] | |||
# '''Fortsetzung Nr.2 (WS16/17):''' [http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016_2017 | http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016_2017] |
Aktuelle Version vom 3. Februar 2017, 09:12 Uhr
Bei der HSHL Lego® Zählmaschine handelt es sich um eine Maschine, die automatisch Legoteile zählen und sortieren kann, um gegebenen Falls fehlende Lego®-Steine nachbestellen zu können. Es ist ein studentisches Projekt, welches in Rahmen des System-Entwurf-Praktikums des Studiengangs Mechatronik mit Schwerpunkt System Design Engineering im 6. Semester durchgeführt wurde. [1] [2]
Autoren: Adam Fankhauser, Christo Tsibadze, Kevin Penner, Niklas Lingenauber, Sergej Krause, Simon Hanemann
Betreuer: Prof. Schneider
Aufgabenstellung
Die vorhandene Legoteilzählmaschine (siehe Legoteilzählmaschine_2015 ) soll Soft- und Hardwaremäßig modifiziert werden, um weitere Anforderungen zu erfüllen.[1]
Liste der offenen Punkten vom letzten Semester
- Neues 24 V Netzteil, 24V/10A Netzteil gegen 24V/20A austauschen, um Überlast beim Lauf aller Motoren zu verhindern. Neues Netzteil ist vorhanden.
- Software zur Bildverarbeitung (BV), Die Einbindung einer geeigneten Software zur Teileerkennung steht noch aus. Kommunikation mit Systems sowie Ansteuerung ist fertig. Bildverarbeitung mit 'String' als Output.
- Bauteileliste in Excel, Die Excel Liste, welche alle Teile eines Baukasten erhält, muss mit dem Ergebnis der BV abgeglichen werden. Erkannte Teile in mindestens zwei möglichen Ausrichtungen müssen erkannt und in der Liste vermerkt werden.
- Servo für Teilesortierung, Identisches Servo wie bisher gegenüberliegend montieren, um drei Sortierfächer (Erkannt/Nicht Erkannt/Fremdteil) zu sortieren, Konstruktion, Bestellung wurde an Fr. König geleitet.
- Zeit bis zur Servoöffnung, Das Delay zwsichen Befehl und öffnen der Servos muss ermittelt und je nach Geschwindigkeit angepasst werden. Es ist problemlos möglich, einen weiteren 'String' - Befehl als Buchstaben für die Verzögerungszeit einzubinden, String auslesen und verarbeiten muss in Arduino Software geschehen.
- Kabelkanal montieren, Kabelkanal zur ordentlichen Verlegung der Leitungen an den Förderbändern montieren
- Kamerahalterung, Konstruktion einer Kamerahalterung für die Logitech C920 WebCam Vorschlag: Brücke über Förderband.
- Bildverarbeitungskasten, Für die Bildverarbeitung muss eine der gebauten Bildverarbeitungsbox-Prototypen ausgewählt und montiert werden. Hierfür wurden Lichttests durchgeführt. Ergebnisse sind protokolliert SVN Link zu den Lichttests, Prototypen der Lichtboxen vorhanden.
- Teilezentrierung, Die provisorisch aus Holz gefertigte Teilezentrierung soll in fixierbarer Variante aus Aluminium gefertigt werden. Ergebnisse zu den Tests der Zentrierungsmethoden sind in diesem SVN Ordner protokolliert, Prototypen der gewählten Teilezentrierung ist vor der Bildverarbeitungsbox verbaut.
- Idee Software: Flexible Bildverarbeitungssoftware, Durch definieren der Schnittstellen könnte in der GUI eine Einbindung frei wählbarer BV Software realisiert werden. Optimal geeignet um kleine Projekte dann an der Legoteilzaehlmaschine zu testen.
- Wird in diesem Projekt nicht bearbeitet.
Aufgabenteilung inkl. weiteren Aufgaben aus dem Pflichtenheft
Es wurden für jede Aufgabe ein oder mehrere Verantwortliche(n) aus der Gruppe festgelegt. Jede Person ist dann dafür zuständig, dass diese Aufgaben erfüllt werden. Bei Bedarf steht dieser Person die ganze Gruppe zur Hilfe zur Verfügung.
Projektplan
Meilensteine für das 6. Semester mit Deadlines:
- 06.06.2016: Hardware und Software Inbetriebnahme
- Inbetriebnahme "Erprobung von Sensoren und Aktoren"
- Automatische Sortierung von mind. 30 Teilen
- Sortierung: Erkannt und Nicht-Erkannt
- Bildverarbeitung in "Echtzeit" am PC
- Ausgabe der Inventurliste
- 24.06.2016: Algorithmen:
- Optimierung der Bildverarbeitung
- Automatische vollständige Sortierung: NXT-Basis + Erweiterung
- Planung und Beschaffung der Hardware-Änderung (Auswerfer) für die nächste Projektphase
- 14.11.2016: wird noch festgelegt, entweder Auswerfer- oder Separierung vor der BV Optimierung
- 16.01.2016: Algorithmen Optimierung, Teach-In XT/EV3 und Report
Realisierung
Main-Funktion
Die Mainfunktion ist das Hauptprogramm der Legozählmaschine. Sie ruft nach Start des Programmes alle weiteren Module und Funktionen auf. Zu Beginn des Programmes startet die Main-Funktion eine Initialisierung. Hier werden allgemeingültige Aspekte, wie globale Variablen, Verbindungen zu Datenbank oder Kamera und Einstellungen vorgenommen. Anschließend wird ein Grafisches User-Interface aufgerufen, welches dem User ermöglicht die Legozählmaschine zu steuern. Sind notwendige Schritte wie die Auswahl von Baukästen oder dem manuellen Zählen von Bauteilen, die die Maschine nicht erkennen kann abgeschlossen, startet die automaische Erkennung der Legoteile. Der Anwender muss hier den Inhalt einer Kiste in den Förderbunker geben, die Maschine befördert die Teile automatisch in den Kamera-Raum und ermittelt durch Bildverarbeitung die enntsprechenden Bauteile. Nach Beendigung des automatischen Zählprozesses werden die Ergebnisse des manuellen und des automatischen Zählens in einer Liste zusammengefasst und die gewonnen Informationen können in einer Inventurliste ausgegeben werden. Fehlende Legoteile werden in einer seperaten Fehlteilliste ausgegeben.
Quellcode Matlab: main.m [1] [3] [2] [4] [5] [6]
GUI
Unter GUI (Graphical User Interface oder auch Grafische Benutzeroberfläche versteht man die Die Schnittstelle eines Programms für einen Menschlichen Nutzer. GUI dienen meist zu Eingabe und Ausgabe von Werten die durch ein Hauptprogramm berechnet werden, dabei haben GUI in der Regel nur wenig Rechenaufwand und dienen dem Benutzer Komfort. Die GUI der HSHL Legoteil-Zählmaschine lässt sich in folgende Bereiche aufteilen:
- Auswahl des Baukastens
- Manuelles Zählen der Bauteile
- Autonomes Zählen der Bauteile
- Korrektur des autonomen Zählens
In jedem Schritt gibt es die Möglichkeit auf Hilfe zuzugreifen. Man findet einen „Hilfe“-Knopf in der Taskleiste oben links.[2]
Auswahl der Baukästen
Im ersten Schritt müssen die Baukästen ausgewählt werden, die gezählt werden sollen. Es ist derzeit jedoch nur möglich einen Kasten aus zu wählen. In Zukunft soll es die Möglichkeit geben, zwei Kästen gleichzeitig auswählen zu können (Beispielsweise ein Hauptkasten und Zusatzkasten). Die Auswahl des Baukastens ist für die folgenden Schritte von Bedeutung. Sollte mindestens ein Kasten ausgewählt werden, so kann man mit dem nächsten Schritt dem manuellen Zählen fortfahren.[2]
Manuelles Zählen
Wenn der im ersten Schritten gewählte Kasten Legoteile besitzt, die für den Zählprozess ungeeignet sind, müsse diese Teile vom Benutzer der Zählmaschine manuell gezählt werden. In diesem Schritt wird eine Tabelle mit den wichtigsten Eigenschaften der manuellen Teile gezeigt. Zudem wird dem Benutzer ein Bild des jeweiligen Bauteils angezeigt was er gerade in der Tabelle markiert. Ein Fortfahren ist nur möglich, wenn der Benutzer für jedes Teil eine positive ganze Zahl eingibt.[2]
Autonomes Zählen
Es taucht nur ein Hinweisfenster Auf welches den Benutzer informiert, dass der Autonome Zählprozess bereits begonnen hat. Man kann den Prozess durch das Drücken von ESC beenden.[2]
Korrektur des Autonomen Zählens
Am Ende des Autonomen Zählprozess werden alle gezählten Teile angezeigt. Sollten bei autonomen Zählprozess Teile falsch erkannt werden, so hat der Benutzer die Möglichkeit die die Anzahl der Teile noch einmal manuell zu korrigieren. Nicht gezählte Teile können aber auch zurück in den Zählprozess geführt werden.[2]
Bildverarbeitung/Legoteil-Erkennung
Bildverarbeitung_Automatisches_Zaehlen
Die automatische Legoteilerkennung erfolgt mit der Unterfunktion: AutomatischesZaehlen.m und weiteren kleineren Unterfunktionen. Als Übergabeparameter bekommt die Funktion die Schnittstellen zu Webcam, Datenbank und die serielle Schnittstelle übergegeben und liefert als Rückgabe eine chronologische Liste mit Legoteil-IDs, welche beim automatischen Zählen erkannt wurden. Zu Beginn dieser Funktion werden einmalig diverse Parameter und Variablen angelegt und initialisiert. Anschließend wird in der äußeren Schleife Folgendes wiederholt (bis Betätigung der "Escape"-Taste) durchgeführt:
Bildverbesserung & Vorsegmentierung:
- Bild bzw. Frame wird von der Kamera eingelesen
- Ränder werden weggeschnitten (ROI)
- normalverteiltes Rauschen entfernen (Gauß-Filter)
- Bild wird in Rot-, Grün- und Blauanteil zerlegt
- Mehrfache Binarisierung für die Segmentierung der einzelnen Legofarben + kleine Artefakte aus den Binärbilder filtern
Nachbearbeitung:
Bei einigen vorsegmentierten Farb-Binärbildern (z.B. bei einem roten Legoteil mit Bohrungen) wird der Schatten in den Bohrungen als schwarze Pixel bzw. "schwarzes Teil" interpretiert. Diese werden wie folgt aus dem schwarzen Binärbild entfernt:
- Die Binärbilder (außer das Binärbild, welches die schwarzen Legoteile beinhaltet) werden zusammenaddiert
- Beim entstandenen Binärbild wird die Closing Operation durchgeführt (Füllen von Löchern und Bohrungen) --> BW_CLOSING
- Die Löcher & Bohrungen aus dem schwarzen Binärbild (BW_SCHWARZ) werden entfernt mit:
BW_SCHWARZ = BW_SCHWARZ - BW_CLOSING
Um zu verhindern, dass die nicht optimal ausgeleuchtete Bereiche (z.B. dunkelgrauer Bereich in einem hellgrauen Legoteil) als zwei unterschiedliche Legoteile erkannt werden, wird Folgendes durchgeführt:
- Alle Binärbilder werden addiert, wodurch ein Binärbild mit Objekten verschiedener Farben entsteht
- Leichte Dilatation führt zu Verbindung zweier sehr nah benachbarter Objekte (Schattierungen mit Legoteilen "verschmelzen")
Segmentierung mit folgenden Matlab-Funktionen:
- imclearborder: Entfernt alle weißen Pixel, welche eine Verbindung zum Bildrand besitzen (Objekte am Rand des Bildes) --> Objekte, deren Fläche nicht komplett von der Kamera erfasst werden, sind uninteressant
- bwareaopen: Entfernt kleine zusammenhängende Segmente (Artefakte), deren Pixelanzahl unter einem vorgegebenen Schwellwert liegen.
- Bwlabel: Die noch vorhandenen Objekte (Legoteile) im zusammenhängenden Binärbild werden mit einem Label versehen, damit jedes Objekt für sich betrachtet und ausgewertet werden kann
Die nachfolgenden Schritte werden in einer Schleife auf jedes gelabelte Objekt angewendet.
Klassifikation:
Merkmalsextraktion von jedem Objekt bzw. Legoteil (Mehr unter: Merkmalsextraktion):
- SVN-Link: Merkmalsberechnung_3.m:
- Berechnung von Umfang, Fläche, Schwerpunkt, maximaler und minimaler Abstand vom Schwerpunkt zum Objektrand
Nachdem der Schwerpunkt vom erkannten Teil berechnet wurde, wird Folgendes überprüft:
- Der Flächenschwerpunkt (X-Koordinate) des Objektes befindet sich im mittleren Bildbereich
- Vorteile: Objekt wird nur in mittiger Position analysiert --> Genauigkeit steigt, da die Verzerrungseigenschaften aufgrund des Blinkwinkels auf allen Objekten gleich sind
- Der Flächenschwerpunkt (Y-Koordinate) befindet sich (inklusiver einer kleinen Toleranz) nicht an derselben Stelle, wie bei dem Legoteil, welches zuvor analysiert/gezählt wurde
- Vorteile: Ein Legoteil wird nicht doppelt gezählt, da bei einer genau waagerecht ausgerichteten Kamera, sich die Höhe des Flächenschwerpunktes nicht ändert
Falls ein Teil erkannt wird (nicht doppelt):
- Binärbild des Objektes wird an die Funktion FARBERKENNUNG_V2.m übergegeben, wo es einer Legofarbe zugeordnet wird (Mehr unter: Farberkennung).
- Mit Hough-Transformation Kreise im Bild suchen (Matlab-Funktion: imfindcircles), da die Anzahl der gefunden Kreise als weiteres Merkmal dient
- Minimaler und maximaler Radius muss mit der Höhe der Kamera angepasst werden
- Abgleich der Merkmale des Objektes mit den eingetragenen Werten aus der Datenbank (inklusive modifizierbarer Toleranzen) mit der Funktion: Datenbankabgleich.m (Mehr unter: Datenbank). Diese erhält die Merkmale des Objektes und die Schnittstelle zur Datenbank als Übergabeparameter und liefert die ID des Legoteils zurück
- falls keine Überschneidung zwischen Merkmalen und Datenbank --> ID = 0
- ID wird in einer Liste gespeichert
- Sollte die ID nicht "0" sein, wird der serieller Schnittstelle (Arduino) signalisiert, dass zu diesem Zeitpunkt ein Teil erkannt wurde. Mithilfe der konstanten und bekannten Bandgeschwindigkeit wird dann der Auswerfer vom Arduino angesteuert (erkannte Legoteile werden gesammelt).
Beendigung des automatischen Zählprozesses:
Falls die "Escape"-Taste betätigt wird:
- Die Schleife (automatischer Zählprozess) wird unterbrochen
- Arduino wird signalisiert, die Laufbänder zu stoppen
- Eine Liste mit erkannten und fehlenden Teilen wird als Excel-Tabelle automatisch geöffnet.
Farberkennung
Die Funktion "FARBERKENNUNG_V2.m" bekommt als Übergabewerte zwei Matrizen:
- Original-Frame (RGB-Bild) und Binärbild vom erkannten Objekt
- mit Hilfe der Übergabeparameter wird eine 3D-Farbmaske erstellt (3D --> RGB).
- Farbmaske: Aus dem Originalbild werden nur die Pixel in die Masken übernommen, die im Binärbild dem Objekt zugeordnet werden können (weiße Pixel)
- Anschließend werden Mittelwerte für Rot-, Grün- und Blau-Anteil berechnet.
Zuordnung zur nächstgelegenen Farbe:
- Es werden die RGB-Mittelwerte mit einer Farbtabelle verglichen:
- die Differenzen von jedem Farbanteil zur Farbtabelle werden ermittelt. Davon werden die Differenzen des Farbanteils mit dem größten Wert (Abweichung) gespeichert.
- Anschließend wird der minimalste Wert von den maximalen Abweichungen ermittelt --> Es wird genau die Farbe ermittelt, welches die kleinste Abweichung zu der Legoteil-Farbe hat.
Die ermittelte Farbe wird als String zurückgegeben.[1]
Merkmalsextraktion
Die Funktion "Merkmalsberechnung_3.m" erhält als Übergabeparameter ein Binärbild eines einzelnen Objektes (Legoteil). Aus diesem Objekt werden dann folgende Merkmale extrahiert, welche dann zurückgegeben werden:
- Umfang --> Anzahl der Pixel, die sich am Rand des Objektes befinden
- Fläche --> Anzahl der Pixel, die sich innerhalb des Objektes befinden (Löcher ausgeschlossen)
- Flächenschwerpunkt --> Pixelkoordinaten {x/y}
- Minimaler Abstand von Flächenschwerpunkt zu äußerem Rand des Objektes
- Maximaler Abstand von Flächenschwerpunkt zu äußerem Rand des Objektes
Die Berechnung der Fläche erfolgt über die Summenbildung der Zeilen und Spalten des Binärbildes. Da so nur die weißen Pixel addiert werden, handelt es sich hierbei nur um die Pixel, die zum Objekt gehören.
Die Schwerpunktskoordinaten lassen sich mit der Matlab-Funktion Regionprops berechnen, welche als Übergabeparameter das Binärbild des Objektes und die Option 'centroid' erhält.
Mithilfe des Kantenbildes des Objektes (erzeugt mit der Matlab-Funktion bwperim), kann eine Liste mit allen Kantenkoordinaten erstellt werden (Matlab-Funktion: Regionprops(Kantenbild, 'Pixellist')). Aus der Differenz zwischen jedem einzelnen dieser Kantenpixel und dem Schwerpunkt bestimmt man nun die Abstände vom Schwerpunkt zum Rand, welche nach minimalen und maximalen Wert durchsucht werden.
Anhand der Größe der Kantenpixelliste kann außerdem der Umfang des Objektes bestimmt werden.
Diese Merkmale dienen, zusätzlich zu der Farbe des Objektes und die Anzahl der Löcher im Objekt, als Indikatoren für den Abgleich zwischen aktuellen Legoteil in der Box und den hinterlegten Daten in der Datenbank.
Sollten sich herausstellen, dass diese Merkmale nicht genügen, um alle Legoteile voneinander unterscheiden zu können, sind weitere Merkmalsberechnungen möglich (z.B. Die Seitenlängen einer um das Objekt aufgespannten Boundingbox). [6]
Teach-IN
Zur Ermittlung von Merkmals-Daten (Datenbank) für die einzelnen Legoteile, wurde die Main-Funktion (Bildverarbeitung) kurzzeitig modifiziert, so dass die Daten der Merkmale 10 Mal ermittelt und anschließend gemittelt wurden. Diese Werte wurden in eine Datenbank geschrieben, in welcher die Legoteile mit ihren zugehörigen IDs hinterlegt sind. Während der Datensammlung wurde jedes Legoteil einzeln 10 Mal nacheinander in die Bilderkennungsbox gefahren. Bei Legoteilen, welche aus mehreren Perspektiven andere Merkmale aufweisen, wurden mehrere Merkmals-Daten der ID zugeordnet.
Ein automatisches Teach-IN von neuen Legoteilen mit GUI-Anbindung wurde für das kommende Semester vorgesehen. Dort könnte ein Legoteil in kleinen Positionsschritten automatisch vom Band in die Kamerabox eingefahren werden. So wäre eine Aufnahme des Objektes aus verschiedenen Blickwinkeln möglich.
Datenbankanbindung, Listen IN/OUT
Datenbank
Die Datenbank ist in MySQL implementiert und eine Verbindung mit Matlab wurde realisiert. Hinzukommt das alle Daten im Excel-Format vorhanden sind. Die Daten sind aufgeteilt in drei Excel Dateien, Datenbank Teile-Kopie_fuer sql.xlsx, Datenbank Kastendetails.xlsx, Datenbank Kasten.xlsx, die die gesamte Datenbank representieren und alle einträge beinhaltet. Dies dient der Datensicherheit, da die Daten in getrennten Formaten und Speichermedien vorhanden sind. Die Struktur innerhalb der Tabellen sollte erhalten bleiben, aber die Daten innerhalb der Tupel können nach belieben manipuliert werden. In der Datei "InventurlisteErstellen_SQL.m" befindet sich ein Code, der die Daten in die gestartete SQL-Datenbank importieren kann. Dies ist aber nur möglich solange die Strucktur, Spaltennamen und Anzahl, bestehen bleibt.
Die Datenbank ist aufgeteilt in drei Tabellen, Legoteileliste, beinhaltet alle einzelnen Legoteile, Kastendetails, enthält die Nummer der Legokästen, und der Kasten Tabelle, die die Legoteile mit den Kästen verbindet. In der Tabelle Legoteileliste sollen alle Legoteile aufgenommen werden. Die Attribute für die Legoteile sind:
* DataID, der Primarykey, ist als Autoincrement implementiert und versieht jedes neu hinzugefügte Legoteil automatisch mit einer eindeutigen ID * LegoteileID, entspricht der ID vom Hersteller Lego, kann in unserer Datenbank zweimal vorkommen, wenn das Legoteil mehrere Perspektiven hat * Bezeichnung, eine kurze Beschreibung des Legoteils, eine eindeutige Beschreibung wurde mit zurhilfenahme von Onlineshops realisiert (max. 30 charakter lang) * Farbe, die Farbe des Bauteils nach Hersteller Norm * Form, noch in Bearbeitung * Umfang, der Pixelumfang vom Teach-In Prozess * Flaeche, der Flaecheninhalt des Legoteils in Pixel vom Teach-In Prozess * MaxSchwerpunkt, der maximale Schwerpunkt vom Teach-In Prozess * MinSchwerpunkt, der minimale Schwerpuntk vom Teach-In Prozess * Rundloch, entspricht der Anzahl der vom Teach-In Prozess erkannten Löcher im Legoteil * AnzPerspektiven, gibt die gesamt Anzahl aller vorhandenen Perspektiven, unterschiedliche Lagen eines einzelnen Legoteils, die neue Werte für die oben genannten Attribute liefert, an * Scanbar, '1' oder '0', '1' bedeutet es kann von der Legoteil Zählmaschine erkannt werden, '0' bedeutet es muss manuell, per Hand, gezählt werden, zB. weil es zu groß ist
Die Tabelle Kastendetails besteht aus:
* KastenID, der Primarykey, die vom Hersteller Lego vorgesehene Kastennummer, muss eindeutig sein * Bezeichnung, eine kurze Beschreibeung des Kasten bzw. den Namen des Kastens (max. 50 charakter lang)
Zu letzt die Tabelle Kasten, diese setzt sich zusammen aus einer LegoteileID, KastenID und Anzahl. Die Tabelle Kasten spiegelt die reale Welt wieder indem sie genau beschreibt welches Legoteil in welchem Kasten ist und wie oft dieses Legoteil in einem Kasten vorhanden ist:
* LegoteileID, Primarykey mit KastenID, Forenkey auf Legoteileliste.LegoteileID, dementsprechend eine ID aus Legoteileliste, (LegoteileIDs können nur zugewiesen werden wenn ein eintrag in Legoteileliste vorhanden ist) * KastenID, Primarykey mit LegoteileID, Forenkey auf Kastendetails.KastenID, dementsprechend eine ID aus Kastendetails, (KastenIDs können nur zugewiesen werden wenn ein eintrag in Legoteileliste vorhanden ist) * Anzhal, die genaue Anzahl eines Legoteil in einem bestimmten Kasten entnommen von der Originalverpackung von Lego (max. vierstelliger Integer wert)
Um in Matlab auf die Zugriff auf die Datenbank zu haben muss XAMPP und der MySQL ODBC - Connector installiert und konfiguriert sein. Sobald dies geschehen ist, kann mit:
DatenbankVerbindung = database.ODBCConnection('Datenbank','root','');
eine Verbindung hergestellt werden. Danach kann man mit mit SQL Befehlen Daten aus der Datenbank extrahieren und einpflegen. Ein Beispiel: getAllKasten.m
In sqlquery wird der SQL-Befehl hinterlegt und mit exec(conn, sqlquery) wird der Befehl auf der Datenbank, die in conn spezifiziert ist, ausgeführt. Mit fetch(curs) wird das Ergebnis der SQL-Anfrage zurück gegeben, alles weitere ist eine manipulation der Struktur in der die Daten weitergeben werden sollen.
Installation der Datenbank
Für die Benutzung der Datenbank auf einem neun PC, müssen einige Dateien Installiert und Matlab Konfiguriert. Eine Schritt für Schritt Anleitung findet sich in der Einrichten der Datenbank.docx. Hier folgt eine Kurzanleitung anhand der Schritt für Schritt Anleitung:
1. Download von XAMPP und MySQL ODBC - Connector 2. Installation von XAMPP und MySQL ODBC - Connector 3. Starte XAMPP -> starte Apache -> starte MySQL 4. Erstelle eine neue Datenbank (Benenne die Datenbank, so das sie eindeutig und ihren nutzen klar werden lässt) 5. Konfiguration von Matlab 5.1 Im oberen Reiter auf APPS gehen 5.2 Wähle unter den APPS den Database Explorer 5.3 Gehe im Menu auf New->ODBC - Configure ODBC data source 5.4 Füge als neue Datenquelle den MySQl ODBC Unicode Driver hinzu 5.5 Server Daten eingeben -> Name: Lego ; TCP/IP Server: 127.0.0.1 Port: 3306; User: root; Password: - (leer lassen); Database: eure erstellte Datenbank wählen 5.6 Alles bestätigen -> Verbidung hergestellt
Erstellung einer Inventurliste
Eine Anforderung an die Legoteil Zählmaschine ist, dass dem Anwender nach Abschluss des Zählprozesses eine Liste in Excel ausgegeben wird, in der die gezählten Teile und dessen Anzahl aufgelistet sind. Dazu wurde zunächst eine Funktion InventurlistenTamplateMultiKaesten.m geschrieben, die aus der Datenbank die Bauteile ausliest, die in dem ausgewählten Baukästen enthalten sind und diese in eine Excel-Liste schreibt. Als Übergabeparameter benötigt die Funktion die entsprechenden BaukastenIDs, einen Dateinamen für die Inventurliste und die entsprechende Verbindung zur Datenbank. Als Rückgabewert gilt ein Cell-Array, welches den Inhalt der Inventurliste in Excel enthält.
Die Funktion InventurlistenTamplateMultiKaesten.m ist wie folgt implementiert:
InventurlistenTamplateMultiKaesten.m
Nach der Erstellung des Templates werden die Gezählten IDs in die Liste eingetragen. Dazu wird der Inhalt des Templates nach den entsprechenden IDs durchsucht und die dazugehörige Anzahl notiert. Durch den Angleich voll Soll- und Ist-Anzahl der einzelnen Legoteile, wird außerdem eine Fehlteilliste erstellt, die dem Anwender anzeigt, welche Teile in welcher Häufigkeit fehlen. Die Funktion InventurlisteFuellen.m benötigt ebenfalls die entsprechenden BaukastenIDs, einen Dateinamen für die Inventurliste und die entsprechende Verbindung zur Datenbank als Übergabeparameter.Außerdem werden die gezählten Legoteil-IDs und dessen Anzahl benötigt. Als Rückgabewert gilt erneut der Inhalt der Excel-Liste.
Die Funktion InventurlisteFuellen.m ist wie folgt implementiert:
InventurlisteFuellen.m
Separierung und Zentrierung der Legoteile
Teilezentrierung
Die provisorisch aus Holz gefertigte Teilezentrierung wurde mit fixierbarer Variante aus Aluminium ersetzt. An den Zentrierungskomponenten wurden elastische Kunststoffstreifen geklebt und anschließend an den Alu-Profilen vor der Bildverarbeitungsbox festgeschraubt. [1] [3] [5]
Separierung
Die Separierung wurde mit Hilfe von Geschwindigkeitsdifferenzen an den Laufbandübergängen realisiert. Je größer die Geschwindigkeitsdifferenzen, desto bessere ist die Separierung möglich. Aber die Bilderkennung fungiert in diesem Punkt als "Flaschenhals", wenn das letzte Laufband zu schnell dreht, dann werden weniger Teile erkannt. Es wurden experimentell die optimalen Geschwindigkeiten für jedes Laufband ermittelt, so dass Separierung und Bilderkennung optimal laufen. [1] [3] [2] [4] [5] [6]
Elektronik und Sicherheit
Neues 24V Netzteil
Wie in den offenen Punkten aus dem Artikel Legoteil Zählmaschine 2015 beschrieben, benötigte die Lego Zählmaschine ein stärkeres Netzteil. Bei der Auslegung der Maschine wurde das Netzteil für die Versorgung der Bandmotoren zu klein dimensioniert und bei gleichzeitigem Anlaufen der Motoren ist es vorgekommen, dass das alte Netzteil mit einem maximalen Ausgangsstrom von 10 A sich aus Selbstschutz abgeschaltet hat. Hier wurde ein stärkeres Netzteil vom selben Hersteller mit 20 A maximalem Ausgangsstrom eingebaut. Dies besitzt eine etwas breite Bauweise, konnte aber durch leichte Änderungen im Schaltschrank installiert werden.[5]
Kabelkanal
Ebenfalls in den offenen Punkten des Artikels Legoteil Zählmaschine 2015 beschrieben, sollten die bisher provisorisch verlegten Leitungen fest verlegt werden. Hierzu wurde ein Kabelkanal zur ordentlichen Verlegung der Leitungen an den Förderbändern montiert. Er dient dem Schutz und der mechanischen Entlastung der Leitung. Es wurde ein geschlitzer Kabelkanal wewählt, da an vielen unterschiedlichen Stellen Leitungen z.B. zu den Motoren abgehen. So war es nicht nötig, einen geschlossenen Kabelkanal zu modifizieren, um die Leitungsabgänge möglich zu machen.[5]
Kamera/Bildbox- und Auswerferhalterung
Die Bildbox und die Kamera waren bis zum jetzigen Zeitpunkt noch nicht befestigt und lagen lose auf dem Förderband auf. Dies barg die Gefahr, dass aus beide Teile aus ihrer beträchtlichen Höhe immer drohten herunterzufallen und irreperabel beschädigt zu werden. Zur Befestigung wurde "Boschprofil" mit den Zubehörwinkeln genutzt. Die Bildbox wurde so befestigt, dass sie über vier Schrauben Höhenverstellbar ist, um auch die Einfuhr von größeren Teilen möglich zu machen. Ebenso ist die Befestigung am Förderband mit vier Schrauben lösbar und damit die gesamte Konstruktion verschiebbar. Die Kamera wurde an der Bildboxbefestigung so fixiert, dass sie bei dieser Höhen- und Seitenverstellung immer an der selben Stelle verharrt. Dies ermöglicht eine ein mal eingestellte Kameraposition beizubehalten.
Ebenso wurde der Auswerfer am Ende des letzten Förderbandes mit Boschprofil und Winkeln befestigt. Somit ist die bisherige Befestigung über eine Holzkiste ersetzt worden. [5]
Höhenanpassung der Laufbänder
An den Laufbandübergängen wurden verbesserungswürdige Fallhöhen festgestellt. Die Legoteile fallen von einem Laufband auf das andere, wenn die Fallhöhe zu groß ist, dann federn die Teile ab und fallen manchmal vom Band runter. Deshalb wurden die Höhen der Laufbänder so eingestellt, dass es kleinstmögliche Fallhöhen gibt. Ebenso wurde damit der das Förderband steiler gestellt und somit die Vereinzelung der Legoteile leicht verbessert, da die größeren Teile im Bunker weniger Halt auf den Lamellen finden können und eher abrutschen. [5]
Elektrische Sicherheit
Die elektrische Sicherheit des Schaltschrankes wurde im Zuge der Umbauarbeiten sichergestellt, indem alle Leitungen gegen spannungsfestere Leitungen vom Typ H07 bzw. H05 ausgetauscht wurden. So werden nun auch die Anforderungen nach VDE 0100-600 erfüllt. Eine Anlagenprüfung soll im nächsten Semester vorgenommen werden, wenn alle noch anstehenden Anlagenveränderungen vorgenommen wurden. [5]
HSHL-Wiki-Dokumentation
Die HSHL-Wiki-Dokumentation wurde von der gesamten Gruppe bearbeitet. Jedes Themenabschnitt unterliegt der bereits oben genannten Verantwortlichkeiten. [1]
Evaluation der Druckluftdüsen
Der vollständige Bericht befindet sich im SVN unter
...\Dokumentation\16_Pneumatik\Evaluation_der_Druckluftdüsen.docx
Im ersten Test wurden verschiedene Legoteile und den unten in der Tabelle genannten Düsen getestet. Ziel des Versuches war es heraus zu finden, welche Legoteile sich am besten für den Test der Düsen eigen. In dem Test stellte sich heraus, dass sie Komplexität der Form der Legoteile kaum Einfluss auf das Ergebnis hat. Dies ist auf das geringe Gewicht und die großen Oberflächen der Legoteile zurückzuführen.
Im zweiten Test wurden getestet wie weit die Düsen die Legoteile bei einmaligen betätigen bewegen können. Ein Teil muss dabei mindestens eine Strecke von 20 cm überwinden können. In dem Test zeigte sich, dass die Testergebnisse von der punktuellen Düse nur dann sinnvolle Ergebnisse erzielen, wenn das Objekt mit einem optimalen Angriffswinkel getroffen wird. Deshalb schwanken die Messwerte auch sehr stark im Test. Dies ist sehr ungünstig da die Lage der Teile im laufenden Prozess der Legoteilzählmaschine sehr variabel ist. Das optimalste Ergebnis haben die spitzen Luftdruck-Düsen erzielt, da selbst mit geringen Drücken viel Kraft auf die Legoteile übertragen werden konnte.
Video-Anleitung
UNTER BEARBEITUNG: wird im nächsten Semester mit Vollendung des Programm erstellt
- Aktueller Stand hier: Präsentation - Legozählmaschine
Pflichtenheft Dokumentation in DOORS
Das Pflichtenheft wurde mit Hilfe der Software DOORS dokumentiert.
- SVN-Link: Pflichtenheft.pdf
Prozessvisualisierung mit Visio
Die Prozesse wurden mit Microsoft´s Visio dokumentiert.
QM-Tests
Wurde mit Genehmigung von Prof. Schneider auf das nächste Semester verlegt. [1]
Auswerfer
Die bestehende Lösung hat zwei Auswerfer vorgesehen, welche die Legoteile in 3 Kategorien sortieren sollte. In unserem Pflichtenheft ist aber festgeschrieben worden, dass die Legoteile nur noch in 2 Kategorien eingeteilt werden sollen. Daher ist für den Auswefer auch nur ein Servomotor installiert worden. Die bestehende Implementierung auf dem Arduino wurde übernommen und angepasst. Die Matlab Software schickt immer, wenn ein Teil "erkannt" wurde einen String über die serielle Schnittstelle zum Arduino, dieser ließt den String ein und speichrt sich den Zeitstempel bei Eintreffen der Nachricht. Darauf wird ein Zeitdelay gerechnet, bei dem dann die Schranke für einen festgesetzten Zeitraum öffnet. Diese Umsetzung ist noch nicht sehr robust, da das Senden und Empfangen der Nachricht über eine Erkennung eines Legoteils nicht den geforderten Echtzeitanforderungen entspricht. Ebenfalls wäre es besser, wenn sich das Zeitdelay automatisch an die Bandgeschwindikeit anpassen würde und die Dauer der Schrankenöffnung sich an die Größe des erkannten Legoteils.
Planung der Aufgaben für das nächste Semester
Für das kommende Semester wurde anfangs geplant, eine Sortierungsanlage zu entwerfen und realisieren. Leider wurde festgestellt, dass ein größeres Problem bei der Vereinzelung von den Legoteilen besteht. Durch den "Flaschenhals"-Bilderkennung ist es unmöglich allein durch die Laufbandgeschwindigkeits-Differenzen alle Legoteile zu vereinzeln. Das erste Laufband, welches die Legoteile aus dem Bunker auf die nächste Laufband fördert, muss modifiziert werden damit nicht zu viele Teile auf einmal gefördert werden. Als eine der Hauptaufgaben für das nächste Semester wurde die Vereinzelung von Legoteilen vor der Bildverarbeitung festgelegt. Zusätzlich dazu noch andere Aufgaben aus dem Pflichtenheft.[1]
Konzept für Sortieranlage
Da es ein Konzept bereits entworfen wurde, wird dieses hier auch dokumentiert (eventuell für zukünftige Aufgaben).
Gedacht ist ein durch einem Motor am Rand angetriebene (konstanter Geschwindigkeit) Scheibe mit Gummi- oder Filsbeschichtung (damit die Legoteile nicht abprallen). Welches auf mindestens drei freilaufende Räder mit einem Nut rotierbar gelagert wird. In der Mitte (feststehende runde Platte) soll dann die Verkabelung (entweder elektrische Leitungen für elektro Motoren, oder pneumatische Leitungen für pneumatischen Auswerfern) platziert werden, die entweder elektrischen oder pneumatischen Auswerfern versorgen. Radial zur drehender Scheibe werden Kisten angebracht mit passend gebogenen Führungsblechen (damit die Legoteile immer in die Kisten fallen).
Zum Öffnen des 3D-Modells vom Konzept, laden Sie bitte folgende frei erhältliche Software 3DXML-Player herunter und öffnen Sie die Datei Sortieranlage.3dxml.
Um das 3D-Modell zu rotieren, drücken und halten Sie die mittlere und rechte Maustasten fest. Wenn Sie dann die Maus bewegen, dann wird das 3D-Modell in die entsprechende Richtung rotiert.
Zoomen: Halten Sie die mittlere Maustaste gedrückt, anschließend die rechte Maustaste antippen und loslassen (mittlere gedrückt halten), Maus nach oben bewegen --> Hineinzoomen, Maus nach unten bewegen --> Herauszoomen.
Ergebnisse
Anleitung Programmstart
- Vorbereitung
- LED-Stecker anschließen
- Hauptstecker anschließen
- Hauptschalter betätigen
- Datenbank starten
- XAMPP control panel starten
- Apache Modul starten
- MySQL Modul starten
- Matlab Programm öffnen
- unter SVN\MTR_SDE_Praktikum_2015\SRC die main-datei öffnen
- Programm starten
- Baukasten in der GUI auswählen
- handgezählte Teile eintragen
- automatischer Zählprozess
- Motoren werden automatisch gestartet
- Kästen hinter das Förderband stellen
- Legoteile in den Bunker füllen
- Esc-Taste betätigen zur Beendigung des automatischen Zählprozess
- Motoren werden automatisch ausgeschaltet
- Inventurliste wird ausgegeben
Fazit
Abgeschlossene Punkte
- Einbau eines 24V Netzteils, um Überlast beim Lauf aller Motoren zu verhindern.
- Bildverarbeitung Differenzierung der Legoteile durch Farbe, Umfang, Fläche, Schwerpunkt, max. "Radius", min. "Radius"
- Einbindung einer Datenbank mit SQL, zum Verwalten von größeren Datensätzen
- Aufteilung Legoteile in Baukästen, zu besseren Auswertung der Datensätze
- Montage von Kabelkanälen zum Schutz und der mechanischen Entlastung der Leitung
- Montage von Kamerahaltung zum Einstellen und Fixieren der Kamera
- Montage von Bildverarbeitungskasten für festen halt und optimale Beleutungsverhältnisse
- Zentrierung der Teile auf dem Fließband zur besseren Bildverarbeitung und zum Auswerfen der (nicht) erkannten Teile
- Anpassung der Laufbänder: Höhenverstellung und Reduktion von Schleifkontakten
- GUI2.0: interaktive Benutzeroberfläche über mehrere Seiten
- Erkennung von mehr als 30 verschiedenen Teilen
Offene Punkte
- Optimierung der Bildverarbeitung: Mehr Merkmale, weniger Rechenleistung und schnellere Erkennung
- Bildverarbeitung: Problemfarbe: Schwarz
- Bildverarbeitung: Einbindung einer "Reinigungsfunktion", welche dem User ein Signal gibt, wenn fälschlicherweise Objekte auf dem Band erkannt werden
- Datenbank: Füllen der Datenbank mit weiteren Legoteilen bzw. Merkmalswerten
- Optimierung der Vereinzelung: eine absolute Vereinzelung wäre ideal
- Teach-In Einbindung in der GUI: Benutzerschnittstelle zu Eingabe und Bearbeitung der Teile
- GUI Fertigstellung: Optimierung von vorhandenen Programmteilen
- Schnellerer Durchlauf: Ziel: 60 Teile in 60 Sekunden
- Videoanleitung zum Erklären der Projektergebnisse
- Anleitung zum Start der Maschine eine „Broschüre“ mit vielen Bildern
- Erweiterung der Datenbank um neue Bauteile und Baukästen (z.B. NXT)
- Merge-Funktion: Auswahl von mehrern Kästen ermöglicht
- Projektabschluss: Abschlusspräsentation und Dokumentation der Arbeit um künftigen Studiengängen einen besseren Einstig zu ermöglichen.
Mögliche Themen für neue Projektziele
- Realisierung eines Auswerfers um Teile in bestimmte Kästen zu sortieren
- Serienproduktion Optimierung der Maschine auf kostengünstige Hardware
- Rückführung um nicht erkannte Teile wieder zurück in den Prozess zu führen
- Sortiersystem welche Bauteile kommen zusammen in ein Fach eines Kastens?
Dokumentation
SVN
Main Funktion : Main-Funktion die alle andere Unterfunktionen aufruft
Gefährdungsbeurteilung
SVN Link zur Gefährdungsbeurteilung
Eine Anlagenprüfung/Gefährdungsbeurteilung soll im nächsten Semester vorgenommen werden, wenn alle noch anstehenden Anlagenveränderungen vorgenommen wurden
[5]
Autoren
- ↑ 1,00 1,01 1,02 1,03 1,04 1,05 1,06 1,07 1,08 1,09 1,10 1,11 1,12 1,13 1,14 1,15 1,16 1,17 Autor Christo Tsibadze
- ↑ 2,00 2,01 2,02 2,03 2,04 2,05 2,06 2,07 2,08 2,09 2,10 Autor Simon Hanemann
- ↑ 3,0 3,1 3,2 3,3 3,4 3,5 3,6 Autor Niklas Lingenauber
- ↑ 4,0 4,1 4,2 4,3 4,4 Autor Sergej Krause
- ↑ 5,00 5,01 5,02 5,03 5,04 5,05 5,06 5,07 5,08 5,09 5,10 Autor Adam Fankhauser Referenzfehler: Ungültiges
<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. Referenzfehler: Ungültiges<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. Referenzfehler: Ungültiges<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. Referenzfehler: Ungültiges<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. Referenzfehler: Ungültiges<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. Referenzfehler: Ungültiges<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. Referenzfehler: Ungültiges<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. Referenzfehler: Ungültiges<ref>
-Tag. Der Name „Autor: Fankhauser“ wurde mehrere Male mit einem unterschiedlichen Inhalt definiert. - ↑ 6,0 6,1 6,2 6,3 6,4 6,5 6,6 6,7 6,8 Autor Kevin Penner
Siehe auch / Weiterführende Links
- SVN: Checkout URL | https://svn.hshl.de/svn/MTR_SDE_Praktikum_2015/trunk
- Rückblick (WS15): | http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2015
- Fortsetzung Nr.2 (WS16/17): | http://193.175.248.52/wiki/index.php/Legoteil_Z%C3%A4hlmaschine_2016_2017