Künstliche Intelligenz und Maschinelles Lernen in der Praxis

1. 00:00Willkommen zur Einheit 4.7, Ergebnis und Auswertung. In dieser Einheit
2. 00:04wollen wir uns einmal unsere trainierten Modelle im Detail ansehen und
3. 00:08evaluieren beziehungsweise auswerten.
4. 00:13Zunächst starten wir mit unserer Accuracy- beziehungsweise Loss-Kurve für die
5. 00:17Trainings- und Testdaten.
6. 00:20Wir sehen hierbei für das komplexe Modell mit Daten-Augmentierung, dass wir zunächst große
7. 00:28Fortschritte haben in unserem Modell-Training, das heißt, die Accuracy
8. 00:33steigt stark an und der Loss nimmt stark ab.
9. 00:36Gegen Ende des Trainings, bei Epoche circa 35/ 40, sehen wir dann ein stagnierendes Verhalten, das heißt, wir
10. 00:46haben keine großartigen Verbesserungen mehr.
11. 00:51Das ist durchaus auch dadurch begründet, dass wir nahe an den 100 Prozent Accuracy
12. 00:58dran sind. Das heißt, da ist nicht mehr viel Raum für Verbesserung.
13. 01:06Wenn wir uns mal im Detail die Accuracy unseres Modells ausgeben lassen auf den Testdaten,
14. 01:12so kommen wir auf 99,4 Prozent Accuracy.
15. 01:15Das ist natürlich ein sehr Super-Ergebnis.
16. 01:20Da wir für zwei Klassen, Klasse 9, also Symbol J und Klasse 25, also Symbol Z,
17. 01:26keine Bilder haben, müssen wir unsere Ergebnisse etwas anpassen.
18. 01:30Wir müssen die Ergebnis-Label jeweils um einen Zähler erhöhen, wenn sie an der Stelle 9
19. 01:37beziehungsweise größer auftauchen.
20. 01:38Denn nur dann stimmen die Label unserer Vorhersage wieder mit den realen Labels überein.
21. 01:45Das machen wir mit folgendem Code. Das heißt, alles, was an Stelle 9 oder größer liegt, wird um 1
22. 01:51nach rechts verschoben.
23. 01:55Jetzt können wir uns auch eine detaillierte Analyse der gesamten Klassifikation
24. 01:58ausgeben lassen, mit einer Auflistung aller Klassen, und deren Ergebnisse. Hierbei sieht man,
25. 02:04dass nicht alle Klassen optimale Ergebnisse erzielen.
26. 02:07Zum Beispiel Klasse 1, das sieht man nicht perfekte Ergebnisse, zum Beispiel
27. 02:14bei Recall und dem F1-Score.
28. 02:18Da das etwas schwer zu greifen ist, diese Art der Abbildung beziehungsweise
29. 02:24Darstellung. Wollen wir uns nun auch einmal eine sogenannte Confusion Matrix ausgeben.
30. 02:29Hier werden die tatsächlichen Klassen mit der vorhergesagten Klasse verglichen.
31. 02:35Stimmen diese überein, dann befinden sich alle Einträge auf der Diagonalen
32. 02:38von oben links nach unten rechts.
33. 02:40Das wollen wir uns auch einmal ausgeben lassen.
34. 02:45Das heißt, wir sehen hier jeweils die einzelnen
35. 02:50Klassen und sehen das zum Beispiel, die
36. 02:53die Farben sind nicht so ganz hell, aber wir sehen beispielsweise, dass bei Klasse 1 teilweise
37. 02:59Überschneidungen sind mit Klasse 22.
38. 03:03Das heißt, hier ist sich das Modell manchmal nicht ganz sicher, ob es eben Klasse 1 oder Klasse 22
39. 03:10vorhersagen soll. Aber ein Großteil,
40. 03:14deswegen sind auch die Farben in der Mitte so stark,
41. 03:17ein Großteil der Daten ist eben richtig klassifiziert und liegt eben genau auf dieser Diagonalen
42. 03:23von links oben nach unten rechts.
43. 03:28Am Anfang haben wir uns einige Beispiel-Bilder ausgeben lassen.
44. 03:32Da wir nun die Vorhersagen auch gemacht haben, können wir uns diese Bilder erneut einmal ausgeben
45. 03:37mit jeweils dem realen Label und unserem vorhergesagten Label. Hier sehen wir, dass zumindest
46. 03:46für diesen Teil oder diesen Ausschnitt unserer Daten, alle Label richtig vorhergesagt wurden.
47. 03:52Das heißt, beispielsweise unten rechts wurde das Bild, was wirklich den Buchstaben H
48. 04:00repräsentiert, auch mit H vorhergesagt.
49. 04:07Hier wollen wir allerdings einmal festhalten, dass diese erreichten Ergebnisse
50. 04:11natürlich keinesfalls gang und gäbe sind.
51. 04:14Das ist sehr anwendungs- und datensatzspezifisch.
52. 04:17Solche gute Ergebnisse lassen sich in realen Anwendungsfällen meist sehr selten erzielen.
53. 04:23Wir müssen uns gerade hier auch vor Augen führen, dass der Datensatz unter sehr kontrollierten
54. 04:27Bedingungen aufgenommen wurde. Wie wir sehen,
55. 04:30sind die Bilder jeweils vor neutralem Hintergrund gemacht worden.
56. 04:35Würde diese Bildanalyse in der Praxis eingesetzt werden, dann würden wir sicherlich
57. 04:40auf einige Probleme stoßen, wie beispielsweise Hintergründe, ja, Problem oder andere Objekte
58. 04:47im Hintergrund, Bewegungen durch verzerrte Bilder et cetera.
59. 04:50Das heißt, man muss solche Ergebnisse immer mit Vorsicht genießen.
60. 04:55Wir haben hier noch nicht die perfekte Bilderkennung für Gebärdensprache umgesetzt.
61. 05:00Allerdings auf diesem Datensatz natürlich, haben wir mit unseren
62. 05:04Möglichkeiten sozusagen ein bestmögliches Ergebnis erzeugt.
63. 05:07Das war es auch schon zur Einheit, Ergebnisse und Auswertung, für den Anwendungsfall
64. 05:12der Bilderkennung von Gebärdensprache. In der nächsten Einheit werden wir noch einmal
65. 05:16die Ergebnisse beziehungsweise die Learnings unserer Woche zusammenfassen
66. 05:20und anschließend abschließende Worte zu unserem Kurs formulieren.

To enable the transcript, please select a language in the video player settings menu.