Legosortiermaschine Bildverarbeitung

Dies ist ein Unterarikel von der Legoteil Zählmaschine, welcher die aktuellen Änderungen an dem Teilgebiet der Bildverarbeitung der Lego Sortiermaschine beschreibt.

Autor: Torben Müller

Einleitung

Diese Unterseite des Artikels beschäftigt sich hauptsächlich mit der Bildverarbeitung zur Erkennung der Legoteile. Dies geschieht in der Bildverarbeitungsbox der Anlage (vgl. Abbildung der Startseite Punkt 4). Zusätzlich dazu werden auch alle anderen Arbeiten an der Software des Matlab Programmes hier behandelt und dokumentiert.

Generell lässt sich das Programmes in drei Funktionalitäten aufteilen:

• Sortierung
• Anlernen
• Baukasten bearbeiten

Die Funktion Sortierung stellt die Hauptfunktion dar. Sie beschreibt den laufenden Zustand der Anlage beim sortieren von Teilen. Hier spielt ein Großteil der Bildverarbeitung rein. Die Funktion Anlernen ist eine Nebenfunktion, die genutzt werden kann wenn die Anlage nicht sortiert. Hier können Legoteile angelernt werden, sodass die Anlage fähig ist diese Teile in einer späteren Sortierung zu erkennen. Die Funktion Baukasten bearbeiten dient als Wartungsfunktion um Informationen über Legobaukästen zu bearbeiten, denen jeweils die zu sortierenden Teile zugehören.

Anforderungen

Basiered auf einer Liste offener Punkte aus dem Vorsemester wurden für das Sommersemester 18 und das Wintersemester 18/19 folgende Anforderungen festgelegt:

Spezifikations-ID	Anforderungs-ID	Anforderungstitel	Beschreibung der Spezifikation	Link
0060	REQ10.2050	Bauteile	Unterstützung sämtlicher Legoteile. Fokus auf NXT und EV3.	Dokument
0060.1	REQ10.2050	Bauteile	Visuelle Anleitung erstellen	Wiki
0061	REQ10.2050	Bauteile	Basissatz wird unterstützt und alle entsprechenden Teile werden erkannt	Dokument
0062	REQ10.2050	Bauteile	Erweiterungssatz wird unterstützt und alle entsprechenden Teile werden erkannt	Dokument
0063	REQ10.2050	Bauteile	Vorsortierung via GUI	Wiki
0120	REQ10.2250	Bildverarbeitung	Echtzeit mit Matlab/Simulink	Dokument
0120.1	REQ10.2250	Bildverarbeitung	Echtzeit mit Matlab/Simulink. Teile werden erkannt und mit Seriennummer klassifiziert	Dokument
0122	REQ10.2220	Bildverarbeitung	Geschwindingkeit erhöhen: Software analysieren und den Code beschleunigen z.B. Schleifen sparen, Variablen global speichern	Dokument
0123	REQ10.2220	Bildverarbeitung	Prozentsatz der erkannten Teile errechnen	Dokument
0124	REQ10.2220	Bildverarbeitung	Nicht erkannte Teile in der Position des nicht erkannten Teils anlernen	Dokument
0125	REQ10.2220	Bildverarbeitung	HSV Farbraum testen, um Farberkennung zu verbessern	Dokument
0126	REQ10.2220	Bildverarbeitung	In Bilderkennungsbox zusätzliche LEDs hinzufügen für besseres Auflichtbild	Dokument
0127	REQ10.2220	Bildverarbeitung	Offline-Modus einfügen um basierend auf einem Video die Bildverarbeitung zu testen	Wiki
0140	REQ10.2300	Teileliste	Inventurliste im xls-Format zeigt, wie viele Teile erkannt wurden und wie viele im Neuzustand des Kastens sind dadurch Differenz erkennbar. Fehlteilliste muss in geeignetem Format für Neubeschaffung ausgegeben werden	Dokument
0141	REQ10.2300	Teileliste	Geeignetes Format für eine Fehlteilliste planen, also welche Informationen enthalten sein müssen um eine Neubeschaffung zu ermöglichen zb Seriennummer oder Onlinelink	Dokument
0142	REQ10.2300	Teileliste	Fehlteiliste implementieren und ausgeben lassen	Dokument
0143	REQ10.2300	Teileliste	GUI erweitern um Fehlteilliste auszugeben	Dokument
0180	REQ10.2330	Teach-In	Über GUI neue Teile anlernbar. Ein benutzerfreundliches Interface soll das Anlernen der Bauteile ermöglichen.	Dokument
0181	REQ10.2330	Teach-In	Sicherstellung der vorhanden GUI- und Datenbankfunktionen	Wiki
0182	REQ10.2330	Teach-In	Fehlende Funktionen hinzufügen	Dokument

Tabelle 1: Anforderungen

GUI

Die Benutzeroberfläche für dieses Projekt wurde bereits von Vorsemestern erstellt und kann verwendet werden, um das Projekt zu steuern. Zuerst galt es, die vorhandenen Funktionen der GUI zu prüfen, um weitere Arbeitsschritte zu ermitteln.

Sicherstellung vorhandener Funktionen

Für die Sicherstellung der vorhandenen GUI Funktionen wurde ein Test jedes Buttons innerhalb der Software durchgeführt und dokumentiert.

Abbildung 1: Hauptseite	Abbildung 2: Hilfetexte
Der Startbildschirm (1) führt zu den Bereichen Sortierung (2), Teach-In (3) und Baukasten bearbeiten (4).	Die Hilfeknöpfe blenden einen Hilfetext für den jeweiligen Programmteil ein und beenden öffnet ein Bestätigungsfenster, welches das Programm beendet oder das Fenster wieder schließt.
Abbildung 3: Sortierung starten	Abbildung 4: Kontrollbildschirm bei laufender Sortierung	Abbildung 5: Teach In
In dem Teilbereich der Sortierung lässt sich eine Kasten-ID auswählen, wodurch eine Tabelle mit allen in diesem Kasten enthaltenen Teilen angezeigt wird. Dort lässt sich eine manuelle Vorsortierung der Teile eintragen, wie in dem Abschnitt zur Vorsortierung beschrieben. Zurück führt zu dem Startbildschirm (1) und Beenden öffnet das Bestätigungsfenster zum Beenden oder abbrechen.	Mit betätigen des Speichern Knopfes kommt man nach einem Fortschrittsbalken der Kamerakalibrierung zu einem Kontrollbildschirm, wo Echtzeitinformationen der Maschine angezeigt werden und die Maschine wird gestartet. Oben links wird das Kamerabild der Bildverarbeitung angezeigt und oben rechts ein Binärbild, welches bei der Bildverarbeitung aufgenommen wird. Unten links sieht man das Kamerabild der Seperierung und unten rechts das Binärbild aus der Seperierung. Mit Drücken der Escape-Taste wird die Maschine beendet und eine Inventurliste generiert, wo die Anzahlen der erkannten Teile angezeigt werden.	In dem Bereich Teach-In kann in dem ersten Fenster eine Bauteile-ID eingegeben werden. Zurück kehrt zu dem Startbildschirm (1) zurück und Beenden führt zu dem Bestätigungsfenster. Mit Speichern & Weiter wird die Kamera der Bildverarbeitung angezeigt. Mit Enter wird ein Foto aufgenommen und mit Space wird dieses Foto in ein Binärbild umgewandelt und neu angezeigt. Erneutes Space speichert das Teil mit der eingegebenen Nummer in der Datenbank
Abbildung 6: Baukasten bearbeiten	Abbildung 7: Einzelnes Teil im Baukasten bearbeiten
Bei Baukasten bearbeiten lässt sich oben im Fenster mit dem Knopf Speichern & Weiter ein neuer Baukasten erzeugen. Danach kann mit Eingaben ändern die Kasten-ID und die Anzahl der Teile nachträglich angepasst werden. In der Tabelle darunter können Teile in diesen Kasten eintragen. Änderungen speichern speichert diese Änderungen an dem Kasten in der Datenbank. Unten links kann dann Wahlweise ein Bauteil aus dem Kasten, ein Teil komplett oder ein ganzer Kasten gelöscht werden. Auswahl anwenden führt dabei die jeweils gewählte Aktion aus.	Unten rechts lassen sich einzelne Bauteile in dem Kasten hinsichtlich ihrer Anzahl und Fachnummer in dem Kasten bearbeiten. Diese Änderungen werden jedoch mit dem Betätigen des Knopfes Änderungen speichern nicht in die Datenbank übernommen. Diese Funktion wird in dem Abschnitt Kastenänderungen abspeichern hinzugefügt.

Text der Oberfläche überarbeiten

Bei der Sicherstellung der Funktionalität ist aufgefallen, dass einige Knöpfe und Hinweise in der GUI nicht aussagekräftig. Zudem hatten einige Fenster noch keinen angemessenen Titel. Diese Anzeigetexte wurden angepasst, sodass die GUI einfacher zu verstehen und für ungeübte User einfacher zu benutzen ist. Die neuen Beschriftungen im Zusammenhang der Schritt für Schritt Anleitung hier zu sehen.

Sortierung

Die Sortierung ist die Hauptfunktion der Anlage. Zusammen mit dem Programm der Seperierung steuern beide die gesamte Anlage in ihrem sortierenden Zustand. Ein grober Ablauf der Sortierung kann der Abbildung 8 entnommen werden.

• Fehler beim Erstellen des Vorschaubildes: Datei mit Abmessungen größer als 12,5 MP

  Abb. 8: Ablauf der Funktion Sortierung

Dieser Algorithmus deckt die Teilbereiche Erkennung und Ansteuerung der Sortierung ab. Nach diesem Ablauf wird von der Hauptschleife des Programmes in der Datei StartSortiermaschine ein Durchlauf der Separierung gestartet. Dieser steuert alle zur Seperierung gehörenden Komponenten. Danach wird der Ablauf wiederholt. So werden alle nötigen Funktionen zum Sortieren von Legoteilen abgedeckt.

Funktionalität

Hier werden Themen behandelt, die direkt mit der Funktionalität und/oder der Effizienz der Sortierung zu tun haben. Diese Änderungen werden nicht direkt wahrgenommen und dienen dem steigern der Güte der Teileerkennung.

Bewegungserkennung

Es wurde eine Bewegungserkennung als erster Mechanismus in dem Algorithmus zum erkennen von Teilen eingefügt. Dieser Alorithmus funktioniert, indem zwei Bilder in einem kurzen Abstand voneinander aufgenommen werden. Diese Bilder werden in den Graubereich konvertiert von einander subtrahiert. In dem entstehenden Differenzbild wird das Maximum ermittelt und dieses dann mit einem Threshold verglichen.

Dieser Vorgang wird solange wiederholt, bis das Maximum des Differenzbildes kleiner ist als eine definierte Grenze, was bedeutet, dass das Teil ruht oder nur noch sehr langsam rutscht. Durch diesen Mechanismus können viele Aufnahmen verhindert werden, in denen das Bauteil noch nicht in Ruhe war und so ein verzerrtes Bild aufgenommen wurde, welches nicht korrekt analysiert werden kann.

Farberkennung

Ansatz 1:

Die Farberkennung in ihrem Ausgangszustand lieferte keine zuverlässigen Ergebnisse. Vor allem die die Farben rot, gelb, grün, blau und schwarz wurden oft in Grautönen erkannt. Um dieses Problem zu beheben, war der erste Ansatz eine Neukalibrierung der existierenden Farbwerte. Die Farbbeurteilung geschah in der Datei Farberkennung. Dort waren in dem Array Farbwerte für jede der möglichen 10 Farben Werte hinterlegt, mit denen ein aktuelles Bild verglichen wurde. Hier folgend die dort verwendeten Werte:

Farbwerte=[   0.5133 0.4578 0.4033; %'weiss'          
              0.4857 0.4154 0.3289; %'beige'         
              0.4522 0.1456 0.1868; %'rot'           
              0.1400 0.2129 0.3308; %'blau'          
              0.5817 0.4393 0.2213; %'gelb'          
              0.1637 0.1761 0.1961; %'schwarz'       
              0.1703 0.2396 0.2240; %'gruen'         
              0.3318 0.2959 0.2705; %'hellbraun'          
              0.3221 0.3228 0.3230; %'hell-grau'        
              0.2256 0.2302 0.2370; %'dunkel-grau'     
              ];

Um nun neue Farbkalibrierungswerte für jede Farbe zu erhalten und die vorhandenen damit zu überschreiben, wurden mehrere Teile jeder Farbe von der Bildverarbeitung analysiert und die berechneten Farbwerte wurden im Programm ausgelesen. Diese Farbwerte wurden dann in eine Tabelle eingetragen und über drei verschiedene Teile gemittelt. So konnte ein möglichst passender Wert für die jeweilige Legoteilfarbe ermittelt werden (vgl. Tabelle 2). Dieser Durchschnittswert wurde für alle Farben ermittelt und dann in die Farberkennung als neue Referenzwerte eingetragen.

weiß	R	G	B
	0,5153	0,4650	0,4136
	0,5092	0,4570	0,4020
	0,5155	0,4512	0,3944
	0,5133	0,4578	0,4033

Tabelle 2: Beispielwerte für weiß

Ansatz 2:

Nach der Neukalibrierung bestanden jedoch weiterhin Erkennnungsprobleme mit einigen Farben. Vor allem schwarz konnte selten als selbiges erkannt werden. Darum folgt ein zweiter Ansatz zum verbessern der Farberkennung: Die Verwendung von Farbmasken

• 

  Abb. 9: Matlab-App Color Thresholder zum Erstellen von Farbmasken für spezielle Farben

Mit der Matlab-App Color Thresholder (vgl. Abbildung 9) lassen sich Farbmasken für spezielle Farben erstellen. Angewendet auf ein Farbbild erzeugen diese Masken ein Binärbild, wo nur Bereiche in der jeweiligen eingestellten Farbe markiert werden. Die Idee besteht somit darin, für jede Farbe, die ein Legoteil haben kann, eine Farbmaske zu erstellen. Alle diese Masken werden dann auf ein Farbbild angewendet, welches ein Teil einer Farbe enthält. Um die Erkennung noch zu verbessern, wird das Farbbild vorher mit dem Binärbild multipliziert. Dadurch bleibt ein Bild über, wo nur an der Stelle des Teiles die originalen Bildinformationen bestehen blieben. So wird sichergestellt, dass die Masken nur die Farbe des Teiles auswerten.

Die Maske, welche auf die aktuelle Farbe eingestellt ist, wird die meiste Fläche markieren (im Idealfall die komplette Fläche des Teiles). So erzeugt also diese Maske ein Binärbild, wo die meisten Pixel aktiviert sind. Eine einfache Summierung aller Pixel in dem Bild zeigt, welche der Masken am meisten von dem eingegebenen Farbbild aktiviert wurde. Das bedeutet das die Maske mit der größten Pixelsumme auf die Farbe des aktuellen Teiles eingestellt ist und somit die Farbe bekannt ist.

% Beurteilen, welche Maske am stärksten anschlägt, also am meisten Pixel auf eins setzt
maskenPixelSummen(1) = sum(sum(binaerBeige));
maskenPixelSummen(2) = sum(sum(binaerSchwarz));
maskenPixelSummen(3) = sum(sum(binaerBlau));
maskenPixelSummen(4) = sum(sum(binaerGrau));
maskenPixelSummen(5) = sum(sum(binaerGruen));
maskenPixelSummen(6) = sum(sum(binaerHellbraun));
maskenPixelSummen(7) = sum(sum(binaerHellgrau));
maskenPixelSummen(8) = sum(sum(binaerRot));
maskenPixelSummen(9) = sum(sum(binaerWeis));
maskenPixelSummen(10) = sum(sum(binaerGelb));

[~, index] = max(maskenPixelSummen);

%Entsprechende Farbe speichern
switch index
    case 1 
        Farbe='beige';
    case 2
        Farbe='schwarz';
    case 3
        Farbe='blau';
    case 4
        Farbe='dunkel-grau';
    case 5
        Farbe='gruen';
    case 6
        Farbe='hell-braun';
    case 7
        Farbe='hell-grau';
    case 8
        Farbe='rot';
    case 9
        Farbe='weiss';
    case 10
        Farbe='gelb';
    otherwise
        disp('ERROR with color detektion')
end

Merkmal-Erkennung

Die Merkmale eines Legoteiles werden aus dem Durchlichtbild extrahiert. Dazu wird das Bild zuerst in ein Binärbild konvertiert, um dann die einzelnen Merkmale kalkulieren zu können. Die Erstellung dieses Binärbildes hat sich im Ausgangszustand als Fehleranfällig erwiesen. Zudem war deutlich zu erkennen, dass das Teil nicht besonders genau abgebildet wurde, sodass Parameter wie Umfang und Fläche nicht sonderlich aussagekräftig waren.

Zur Besserung wurde hier ein neues Verfahren zur Erstellung des Binärbildes eingeführt. Eine Matlab-Funktion imbinarize ermöglicht die Berechnung eines Binärbildes durch einen vorher ermittelten Grenzwert aus einem Farbbild. Die Idee besteht darin, das Durchlichtbild an die Funktion imbinarize zu übergeben und dadurch ein Binärbild des Teiles zu erhalten. Anschließend müssen von der resultierenden Matrix die überflüssigen Tiefenkanäle abgeschnitten werden und das Bild von Salz- und Pfefferrauschen bereinigt werden.

    hintergrundLevel = graythresh(durchlichtbild);
    binaerbild = imbinarize(differenzFarbbild,hintergrundLevel);
    binaerbild = binaerbild(:,:,1);
    binaerbild = ~binaerbild;
    %Bereinigung des Binärbildes
    %Salz (weiße Pixel) auf Hintergrund entfernen
    binaerbild = bwareaopen(binaerbild,SalzPfeffer);
    %Pfeffer (schwarze Pixel) in Legoteilen entfernen
    binaerbild = ~bwareaopen(~binaerbild,SalzPfeffer);

Das Resultat ist ein einwandfreies Binärbild des Teiles (vgl. Abbildung 10).

• 

  Abb. 10: Beispiel eines Auflicht und Binärbildes eines Legoteiles

Echtzeit

Zum Testen der Echtzeit der Bildverarbeitung wurde ein Versuch entworfen. Dabei werden Teile wie im folgenden Bild direkt vor der Bildverarbeitungsbox auf das Förderband gelegt (vgl. Abbildung 11) und zeitgleich eine Zeitmessung gestartet. Sobald ein Teil in die Bildverarbeitunngsbox gefallen ist, wird an die gleiche Stelle ein neues Teil gelegt, sodass fast permanent ein Teil in der Box liegt und die Pause zwischen den Teilen minimal ist.

• 

  Abb. 11: Einlegestelle der Teile

Um die Ausgangssituation zu bewerten, wurde dieser Test mit verschiedenen Teilearten und -mengen ausgeführt. (Test vom 31.05.18)

Test	Anzahl Teile	Anzahl erkannt	Gesamtzeit [s]	Zeit pro Teil [s]	Erkennungsrate [%]	Teileart
1	15	10	43	2,86	66,6	gemischt
2	30	16	86	2,86	53,3	gemischt
3	20	15	60	3	75	klein
4	15	9	42	2,8	60	groß

Tabelle 3: Tests und Ergebnisse zur Echtzeit

Hier kann man erkennen, dass die Zeit pro Teil nur leichte Änderungen aufweist zwischen den unterschiedlichen Teilegruppen und dadurch festgestellt werden kann, dass die Echtzeit nicht stark von der Teileart beeinflusst wird.

In einem zweiten Testdurchgang wurde dann eine zufällige Teilegruppe verwendet und keine externe Zeitmessung mehr durchgeführt, sondern nur das Ergebnis des Matlab Profilers analysiert um verschiedene Methoden zur Erhöhung der Geschwindigkeit zu testen. Dieses Tool verfolgt zur Laufzeit des Programmes die Anzahl von Funktionsaufrufen und deren Ausführungsdauer. So wird für jede ausgeführte Programmzeile die Gesamtzeit gemessen, die diese Zeile beansprucht. Außerdem wird eine Übersicht erstellt mit den zeitaufwändigsten Zeilen und wie viel Zeit diese prozentual von der Gesamtzeit beansprucht haben.

Funktionsaufrufe: 267	Funktionsaufrufe: 404
Ausgangszustand: 0,13s pro Call	Erste Iteration: imshow verschoben -> wird nur auseführt wenn Teil auch ausgewertet wird Pause bei seriellen Befehlen entfernt Lightdelay um die Hälfte reduziert 0,082s pro Call
Funktionsaufrufe: 287	Funktionsaufrufe: 297
Zweite Iteration: 0,2s Pause für Bewegungserkennung innerhalb der Bildverarbeitungsbox hinzugefügt Funktion figure(HauptFigure) entfernt 0,12s pro Call	Dritte Iteration: Pause der Bewegungserkennung auf 0,1 reduziert 0,117s pro Call

Erkennung der Teile

Um die Erkennung der Teile aus beiden Baukästen (Basisset 45544 und Erweiterungsset 45560) sicherzustellen, wurde eine Excel Tabelle angelegt und jedes Teil einzeln geprüft, ob es von der Anlagt erkannt wird.

Das entsprechende Ergebnis wurde in der richtigen Spalte der Tabelle festgehalten. Hier sieht man den Aufbau der Tabelle:

Teile ID	Kasten ID	In Datenbank vorhanden	Wird erkannt	Muss manuell gezählt werden	Bemerkungen

Wurde ein Teil nicht oder schwer erkannt, so wurde dies in der Spalte Bemerkung vermerkt, sodass später die kritischen Teile erneut angelernt werden konnten. Zusätzlich ließen sich hier Fehler in der Erkennung verdeutlichen, zum Beispiel das schwarze Teile zu beginn generell schwer erkannt werden konnten.

Mit dem Ende der Projektzeit sind alle Teile bearbeitet und so vermerkt, dass sie entweder von der Anlage erkannt werden können oder auf Grund von Größe oder Beschaffenheit manuell vorsortiert werden müssen.

Interaktion

Dieser Absatz der Sortierung beschäftigt sich mit Aufgaben, die direkten Einfluss auf die Interaktion mit der Sortierung haben. Dazu zählen kosmetische aber auf performancerelevante Änderungen.

Manuelle Vorsortierung

In Abbildung 3 wird die GUI zum Starten der Sortierung angezeigt. Dort wird in der Mitte eine Tabelle dargestellt, die nach Auswählen der Kasten ID alle Teile in diesem Kasten anzeigt. Die erste Spalte beinhaltet die ID des Teils, die zweite die vorgesehene Anzahl dieses Teiles in dem Kasten und in der dritten Spalte sollte dann die Möglichkeit bestehen die Anzahl der Teile einzutragen, die bereits mit der Hand vorsortiert worden sind. Dazu muss zuerst der Data Array der Tabelle, welcher die Inhalte speichert um eine dritte Nullspalte erweitert werden. Dazu wird die Funktion horzcat verwendet, die zwei Arrays horizontal miteinander verbindet:

% Datei SortierStart.m
Nullreihe = cell(size(curs.Data,1),1);
Nullreihe(:,1) = {0};
handles.uitable1.Data = horzcat(curs.Data, Nullreihe);

global GUI_vorsortierteTeile
GUI_vorsortierteTeile = handles.uitable1.Data;

Der Inhalt der Tabelle wird zuletzt in eine globale Variable gespeichert, um bei der Erstellung der Inventurliste auf die Anzahl der vorgezählten Teile zugreifen zu können. Dabei wird auf die Anzahl der automatisch gezählten Teile, gespeichert in der vierten Spalte von InventurListeContent, die Anzahl der manuell gezählten Teile, gespeichert in der dritten Spalte von GUI_vorsortierteTeile, addiert und später ausgegeben:

% Datei InventurlistenTemplateMultiKaesten.m
InventurListeContent(2:end,4) = num2cell(cell2mat(InventurListeContent(2:end,4)) + cell2mat(GUI_vorsortierteTeile(:,3)));
...
xlswrite(InventurlisteName,InventurListeContent);

Für diese hinzugefügte Funktion wurde in der Anleitung für die Gesamtanlage der entsprechende Abschnitt bearbeitet: Teile vorsortieren

Prozentsatz nicht erkannter Teile

In der Inventurliste soll zusammen mit den Anzahlen der einzelnen Teile auch eine Prozentzahl ausgegeben werden die angibt, wie viel Prozent der analysierten Teile nicht erkannt wurden. Der Array LegoTeile enthält die Anzahlen von allen Teilen zuzüglich der Anzahl der nicht erkannten Teile. Im nächsten Schritt müssen die einzelnen Mengen addiert werden um dann die Anzahl der nicht erkannten Teile in ein Verhältnis zu der Gesamtanzahl an analysierten Teilen setzen zu können. In der letzten Zeile wird die errechnete Zahl dann in die zweite Zeile unter der Inventurliste von Teilen in dem Kasten zusammen mit etwas Text ausgegeben ausgegeben

% Berechnen des Anteils nicht erkannter Teile
gesamtZahlTeile = sum(LegoTeile(:,2));
prozentsatzNichtErkannterTeile = LegoTeile(1,2)/gesamtZahlTeile;

% Anhängen der Information an die Daten für den Excel-Export
InventurListeContent(end+2,3) = {['Nicht erkannte Teile: ' num2str(prozentsatzNichtErkannterTeile*100) '%']};

Fehlteilliste

Um nach dem erfolgreichen Sortieren eines Kastens die Nachbestellung der fehlenden Teile zu vereinfachen, soll eine Fehlteilliste erstellt werden in der die Mengen der Fehlteile abgespeichert werden. Zuerst sollte dafür ein Layout erstellt werden (vgl. Abbildung 12). Dieses Layout sollte die Teile übersichtlich mit allen wichtigen Informationen darstellen und eine Nachbestellung dieses Teils vereinfachen. Das folgende Layout orientiert sich an den üblichen Materialbestellungslisten der Hochschule, ist aber ergänzt um die Spalte Kastenbezeichnung, wo manuell die Nummer des Kastens eingetragen werden kann, die von der Hochschule auf den Kasten geklebt wurde. Die ersten drei Spalten sollen dann von der Software selbst ausgefüllt werden, sodass die generierte Liste dann verwendet werden kann, um den Nachbestellungsprozess zu dokumentieren und zu verwalten.

• 

  Abb. 12: Layout der Fehlteiliste

Da die Liste ähnliche Daten benötigt wie die Inventurliste, wird die Fehlteilliste mit den gleichen Parametern aufgerufen und ähnlich erzeugt:

% FEHLTEILLISTE generiert die Fehlteilliste aus den gezählten Legoteilen
%
% Syntax:
%       Fehlteilliste(KastenID, FehlteillisteName, Legoteile)
%
% Beschreibung:
%       Legt eine Kopie der Fehlteilliste-Template an und trägt die
%       ermittelten Differenzdaten aus Soll und Ist ein
%
% Eingangswerte:
%       KastenID:           Die ID des verwendeten Kastens
%
%       FehlteillisteName:  Pfad der Fehlteilliste-Template
%
%       Legoteile:          Die gezählten Legoteile nach ID sortiert

Der Parameter Legoteile wird bei der Berechnung der Daten der Fehlteilliste als Istdaten verwendet und stellt die vorhandenen, also erkannten, Teile dar. Um die fehlenden Teile zu ermitteln müssen die Istdaten von den Solldaten abgezogen werden. Somit muss aus der Datenbank die vorgesehene Anzahl jedes Teils ausgelesen werden. Davon wird die vorhandene sortierte Anzahl aller Teile subtrahiert und es entsteht die Menge der fehlenden Teile.

Durch die Subtraktion der Mengen werden Legoteile, die komplett vorhanden sind mit einer Anzahl von null aufgeführt. Änhliches gilt für Teile, die öfter erkannt wurden als sie in dem Kasten vorhanden sein sollten. Da jedoch nur fehlende Teile ausgegeben werden sollen, müssen alle Teile aus der Differenzmenge entfernt werden, die eine Anzahl kleiner oder gleich null aufweisen. Diese Funktionalität wird über folgende Zeile ausgeführt.

% Zeilen, wo Anzahl der Legoteile <= 0 ist, werden entfernt
differenzdaten(any(differenzdaten <= 0, 2), :) = [];

Die Funktion any ermittelt jede Zeile wo ein Element kleiner oder gleich null ist und setzt diese auf einen leeren Wert. Dadurch wird diese Zeile entfernt und die Menge der Differenzteile ist aufgeräumt.

Diese Daten müssen dann in die Fehlteilliste geschrieben werden. Um das Layout zu behalten, legt das Script zuerst eine Kopie des Layouts an und füllt diese dann mit den Daten:

%% Excel-Datei genereieren %%

% Aus Template neue Liste generieren    
dateinameTemplate = [pwd '\Excel\FehlteillisteTemplate.xls'];
try
    copyfile(dateinameTemplate,FehlteillisteName);
catch
    disp('Fehlteilliste aktuell geöffnet. Konnte nicht überschrieben werden')
    return
end

% Sheet und Range festlegen
arbeitsblatt = 1;
startZelle = 'A12';

% Daten in Liste schreiben
xlswrite(FehlteillisteName,differenzdaten,arbeitsblatt,startZelle);

Die Parameter arbeitsblatt und startZelle werden festgelegt, damit die ermnittelten Differenzdaten an die richige Stelle geschrieben werden. Nun ist die Fehlteilliste fertig und kann verwendet werden (vgl. Abbildung 13)

• 

  Abb. 13: Eine fertige Fehlteilliste

Zum Ausgeben der Fehlteilliste wurde ein neues GUI-Element eingebaut. Es besteht aus einem kleinen Dialog mit zwei Buttons (vgl. Abbildung 14). Einer öffnet die Inventurliste, der andere die Fehlteilliste. Dazu wurde die Funktion winopen hinterlegt, welche mit dem jeweiligen Pfad der Datei die entsprechende Liste öffnet. Der besagte Dialog wird automatisch geöffnet, sobald die Sortierung mit der Taste Esc beendet wird und signalisiert ein erfolgreiches Beenden des Programmes.

• 

  Abb. 14: Dialog nach dem Beenden des Programmes zum Öffnen der automatisch erstellten Listen

Hauptfenster der Sortierung optimiert

• 

  Abb. 15: Hauptbildschirm der Sortierung mit Kamerabildern und Informationen über die erkannten Legoteile

Abbildung 15 zeigt das Hauptfenster, welches während der Sortierung wichtige Informationen anzeigt. Punkte 1 und 2 zeigen die Bilder des letzten Teils in der Bilderkennungsbox und Punkte 4 und 5 die Livebilder aus der Separierung. Punkt 3 zeigt Informationen zu dem zuletzt erkannten Teil an.

Bei längeren Betriebszeiten der Anlage wurde es auffällig, dass die Anlage merklich langsamer wurde. Auch das Programm wurde sehr langsam. Dieses Problem konnte auf dieses Hauptfenster zurück geführt werden. Im speziellen lag der Fehler darin, wie die Informationen bei Punkt 3 angezeigt wurden. Es wird die Funktion annotation verwendet, um eine Textbox mit dem benötigten Inhalt anzuzeigen. In der Ausgangsversion des Programmes wurde für jede Erkennung eine neue Textbox erzeugt und somit die alte überdeckt. Mit der Zeit waren so viele Textboxen in dem Fenster, dass die Performace deutlich sank. Um dieses Problem zu beheben werden nun vor jedem Anzeigen einer Textbox alle aktiven Textboxen gelöscht:

delete(findall(gcf,'type','annotation'))

Zusätzlich dazu wurde die Anzeigeart der Livebilder 4 und 5 geändert. Diese wurden vorher mit der Funktion imshowangezeigt, welches für eine Echtzeitverwendung nicht geeignet ist. Deutlich effizienter ist es, die Funktion imshow einmal im ersten Durchlauf auszuführen und später nur die Daten in dem bereits angezeigten Bild zu ändern.

if isempty(HandleSepRGB)
    HandleSepRGB = imshow(orgImage);
    HandleSepRGBTitel = title('Live-Bild vom Förderband');
else
    HandleSepRGB.CData = orgImage;
end

Mit beiden Änderungen wurde das Programm wieder beschleunigt und kann nun auch lange Zeit laufen ohne zu verlangsamen.

Anlernen

Die Funktion Anlernen ist eine Nebenfunktion der Anlage. Sie dient dazu, Teile mit ihren Merkmalen in die Datenbank aufzunehmen, sodass diese in einer späteren Sortierung erkannt werden können. In Abbildung 16 ist der Ablauf der Funktion schematisiert dargestellt.

• 

  Abb. 16: Ablauf der Funktion Anlernen

Funktionalität

Der Prozess zum Anlernen musste stetig dem aktuellen Zustand der Sortierung angepasst werden. Da hier auf die gleiche Weise Legoteile angelernt werden sollen, wie sie später erkannt werden, müssen die Mechanismen zwischen den Funktionen identisch sein. Hier lag zum Beispiel ein Unterschied in der Parametrierung der Rauschentfernung vor, welcher das erfolgreiche anlernen und später erkennen behindern könnte.

Zuerst jedoch musste die Stapelfunktion beim Anlernen wiederhergestellt werden. Der Gedanke dabei ist, dass man nur einmal die ID eines Legoteiles eingeben möchte und dann einfach beliebig viele Bilder dieses Teils machen möchte um möglichst alle Perspektiven einzufangen, in denen das Teil in der Bildverarbeitungsbox landen kann. Dazu werden die Farb- und Durchlichtbilder nun in einem Array gespeichert und beim Auswerten dann in einer Schleife einzeln verarbeitet. Jedes Farbbild wird nach der Farbe untersucht und die jeweilige Farbe gespeichert. Am Ende wird geprüft ob alle erkannten Farben identisch sind. Falls ja wird das Ergebnis in der Oberfläche angezeigt und falls nicht wird der Vorgang abgebrochen.

Nun werden alle Durchlichtbilder nacheinander analysiert und jedes Bild ergibt einen Datensatz des Teiles welcher dann abgespeichert wird.

Legoteile-ID	Bezeichnung	Farbe	Form	Umfang	Fläche	Max. Schwerpunkt	Min. Schwerpunkt	Anzahl Löcher	Anzahl Perspektiven	Scanbar
	Legoteil		Sonstiges						1	1

Tabelle 4: Felder des Datensatzes und falls vorhanden ihre Standartwerte

In Tabelle 4 sind die Eigenschaften des Datensatzes zu sehen. Die zweite Zeile zeigt einen Beispieldatensatz, wobei nur die leeren Felder abhängig vom Legoteil ermittelt werden. Die übrigen Eigenschaften werden immer mit einem statischen Wert beschrieben. Nach dem Anlegen des Datensatzes wird dieser in die Datenbank eingefügt und somit kann das angelernte Teil nun erkannt werden.

Oberfläche

Neben den bereits erwähten Anpassungen der Oberfläche wurde beim Anlernen ein zusätzliches GUI-Element hinzugefügt. Dieses sollte zu der eingegebenen Legoteile-ID ein Bild des gerade angelernten Teiles anzeigen.

Der erste Schritt hierfür sind die nötigen Bilder zu organisieren. Zum Glück lagen in dem Projektordner bereits eine Vielzahl von Bildern bereit, die jeweils unter der ID des jeweiligen Teiles abgespeichert waren (vgl. Abbildung 17).

• 

  Abb. 17: Ausschnitt aus der Sammlung der Teilebiler. Hier können alle vorhandenen Bilder eingesehen werden.

Nun muss für das aktuelle Teil das passende Bild gefunden werden. Da ja beim starten des Anlernprozesses die ID des Legoteiles eingegeben werden muss, kann diese einfach verwendet werden, um den Pfad zu dem passenden Bild zu ermitteln:

% ID beinhaltet die Legoteile-ID als Text
pfad = [cd '\GUI\teileBilder\' num2str(ID) '.jpg'];

Im nächsten Schritt wird dieses Bild eingelesen. Falls dieser Prozess scheitern sollte, weil es kein Bild von der eingegebenen ID gibt, so wird in einem Fehlerauffangverfahren ein leeres weißes Bild mit dem Namen 0.jpg geladen. So wird sichergestellt, dass immer ein Bild zum anzeigen vorhanden ist.

try
    teilBild = imread(pfad);
    str={['Teil gespeichert'],['Zum Beenden ESC drücken']};
catch
    pfad = [cd '\GUI\teileBilder\' '0.jpg'];
    teilBild = imread(pfad);
    str={['Teil gespeichert'],['Bild zum Teil nicht vorhanden'],['Zum Beenden ESC drücken']};
end

Angezeigt wird das Bild dann in einer neuen Figur mit einer kleinen Textbox (vgl. Abbildung 18). Dieses Fenster kann dann mit Esc geschlossen werden, um den Anlernprozess für dieses Teil zu beenden und die Eingabe einer neuen ID zu ermöglichen.

• 

  Abb. 18: Das von der ID abhängige ermittelte Bild wird angezeigt

Baukasten bearbeiten

Die Funktion Baukasten bearbeiten ist eine Nebenfunktion und dient dazu, einen Teil der Informationen aus der Datenbank einzusehen und zu verändern (vgl. Abbildung 19). Speziell können hier neue Baukästen hinzugefügt werden und der Inhalt von bestehenden Baukästen bearbeitet werden.

Ein Baukasten ist hierbei ein physikalischer Kasten, welcher eine gewisse Menge von Legoteilen beinhaltet. Das Projekt soll mindestens zwei verschiedene Kästen unterstützen. Das Lego Mindstorms EV3 Core Set 45544 und das Lego Mindstorms EV3 Extension Set 45560. Die Nummern stellen jeweils die Kasten-ID dar, welche im Programm verwendet wird um einen Kasten zu idenzifizieren.

• 

  Abb. 19: Hier besteht die Möglichkeit, neue Sets einzufügen oder bestehende Sets/Teile zu löschen

Bearbeitung eines Kastens abspeichern

Wie bei der Sicherstellung der GUI-Funktionen festgestellt wurde, ist die Funktionalität für den Knopf zum Speichern von Änderungen an einem bestehenden Kasten nicht implementiert. Dies wurde die folgt umgesetzt:

Die Tabelle unter Punkt 3 in dem Bereich Bestehende Kästen bearbeiten soll ermöglich, dass die Anzahl und die Fachnummer eines Teiles in einem Kasten bearbeitet werden kann. Ein Ansatz könnte darin bestehen, mit dem Drücken des Knopfes alle Einträge, also jedes Teil in diesem Kasten, mit den dann vorhandenen Eigenschaften für Anzahl und Fachnummer in der Datenbank zu aktualisieren. Dieser Ansatz ist jedoch ineffizient.

Viel besser ist es, nur die Felder zu aktualisieren, die auch geändert wurden. Dazu wird kurz vor dem Anzeigen der Tabelle in einer Variable der originale Inhalt gespeichert. Wird nun der Button Änderungen speichern gedrückt, so wird jede Spalte der Tabelle geprüft ob sie im Vergleich zu den Originaldaten verändert wurde. Falls ja wird die Veränderung an die Datenbank übermittelt.

% Schematischer Code zur Übersicht
% originaldaten/aktuelleDaten Aufbau
% 1: Legoteile-ID
% 2: Anzahl des Teils in dem Kasten
% 3: Fachnummer des Teils in dem Kasten

% Für alle Teile in dem Kasten
for i=1:size(originaldaten,1)
    if originaldaten(i,2) ~= aktuelleDaten(i,2)
        % Anzahl hat sich verändert
        anfrage = strcat('UPDATE kasten SET Anzahl = ', aktuelleDaten(i,2), ' WHERE LegoteileID = ', originaldaten(i,1));
        curs = exec(datenbank, anfrage);
    end
    if originaldaten(i,3) ~= aktuelleDaten(i,3)
        % Fachnummer hat sich verändert
        anfrage = strcat('UPDATE kasten SET Fachnummer = ', aktuelleDaten(i,3), ' WHERE LegoteileID = ', originaldaten(i,1));
        curs = exec(datenbank, anfrage);
end

Zuletzt wird ein kurzer Ladebalken angezeigt, damit der Nutzer sich in seiner Aktion bestätigt fühlt und ein Feedback erhält.

h = waitbar(0, 'Loading...');
for i=1:5
    waitbar(i/5);
    pause(0.1);
end
close(h);

Datenbank importieren und exportieren

Zusätzlich zum Bearbeiten der Kästen sollte die Oberfläche auch den Import und Export der Datenbank unterstützen. MySQL stellt dafür Hilfsprogramme zur Verfügung, die durch die Installation von XAMPP auch auf dem Computer vorhanden sind. Zum Exportieren einer Datenbank kann das Programm mysqldump.exe verwendet werden und für den Import das Programm mysql.exe. Beide sind in dem Installationsordner von XAMPP zu finden.

Um mit diesen Programmen und der Datenbank zu arbeiten, müssen die ausführbaren Dateien mit bestimmten Parametern aufgerufen werden. Zuerst müssen die Anmeldedaten zu der Datenbank übergeben werden. Für die Datenbank der Sortiermaschine ist das lediglich der Benutzername root ohne ein Passwort. Diese Informationen werden durch "-u root" übergeben. Als nächstes benötigt man den Namen der Datenbank. Dieser lautet legoteileliste. Zuletzt muss eine Richtung angegeben werden, ob das Programm von der Datenbank in eine Datei speichern soll oder andersrum. Dies wird durch respektive ">" oder "<" signalisiert. Zuletzt muss der Pfad entweder zum Auslesen oder zum Abspeichern der SQL-Datei übergeben werden. Alles zusammen resultiert in folgendem Befehl:

% Export
command = ['C:\xampp\mysql\bin\mysqldump.exe -u root legoteileliste > ' dateipfad];

% Import
command = ['C:\xampp\mysql\bin\mysql.exe -u root legoteileliste < ' dateipfad];

Der Dateipfad wird mit der Funktion uiputfile zum exportieren und uigetfile zum importieren erhalten. Das erstellte Kommando wird dann mit der Funktion system ausgeführt und zuletzt abgefragt, ob der Progress fehlgeschlagen ist.

% Befehl ausführen
status = system(command);

% Fehler abfragen
if status ~= 0 
    disp("Prozess fehlgeschlagen")
end

Beendet wird der Ablauf mit einem kurzen Ladebalken und somit sind beide Funktionen erfolgreich implementiert.

Zusammenfassung

In dem gesamten Projektzeitraum wurden viele kleine und große Änderungen an der Bildverarbeitung eingebaut. Wie man der Verarbeitungsrate entnehmen kann, wurde das Programm definitiv verbessert und ist nun auf einem guten, funktionsfähigen Stand.

Erreicht wurde in dem Zeitraum u.A.:

• Gute Erkennung der Teile mit Ermittlung der Fachnummer
• Minimierung der Zeitanforderung
• Hinzufügen von kosmetischen Funktionen

Offene Punkte sind u.A.:

• Hinzufügen weiterer Merkmale für genauere Unterscheidung der Teile
• Verbauen von anderen Bildgebenden Sensoren, um unbeeinflussbare softwareseitige Optimierung zu vermeiden
• Stabilisieren der seriellen Kommunikation

Eine umfangreichere Liste offener Punkte ist hier zu finden.

Dies ist ein Unterartikel von der Legoteil Zählmaschine, welcher den genauen Aufbau der Bildbearbeitung beschreibt.