Applied Edge AI: Deep Learning Outside of the Cloud

1. 00:00Hallo.
2. 00:01Ausgehend von diesem Video werden wir den aufkommenden Bereich der Randbedingungen
3. 00:06KI
4. 00:06in den nächsten zwei Wochen. Wir werden die technischen Forschungsrichtungen in diesem Bereich und die Projekte der industriellen Anwendungen analysieren
5. 00:16aus verschiedenen Perspektiven wie KI-Algorithmen, Software und Hardware.
6. 00:26Laut einer Prognose von Gartners wird die Zahl der weltweiten IOT-Geräte bis 2020 20 Milliarden übersteigen.
7. 00:36Gleichzeitig sind die Geräte selbst immer intelligenter geworden.
8. 00:42Daher hat sich die KI in den letzten Jahren rasant entwickelt. Dem Gartner-Bericht zufolge könnte sie ihren Höhepunkt erreichen
9. 00:52in den nächsten drei Jahren den Höhepunkt ihrer Popularität erreichen.
10. 00:56Im Jahr 2020 werden 50% der von Unternehmen generierten Daten außerhalb der traditionellen Rechenzentren wahrgenommen werden
11. 01:08der Cloud liegen, und diese Zahl lag 2018 bei weniger als 10 %.
12. 01:15Warum ist das passiert?
13. 01:17Cloud Computing hat die Speicher- und Verwaltungsprobleme, die durch die zunehmende Datenmenge in den Unternehmen entstehen, erfolgreich gemildert
14. 01:26den letzten 10 Jahren verursacht wurden.
15. 01:28Die derzeitige Wachstumsrate der Netzbandbreite bleibt jedoch weit hinter der Wachstumsrate der Datenmenge und den Kosten der Netzbandbreite zurück
16. 01:38sinken viel langsamer als die Kosten für Hardware-Ressourcen wie GPU und RAM.
17. 01:45Gleichzeitig macht es die komplexe Netzwerkumgebung schwierig, die Latenz zu verbessern.
18. 01:52Daher kann das herkömmliche Cloud Computing die hohen Reaktionszeiten bei den Sicherheitsanforderungen nicht erfüllen.
19. 02:00Nehmen wir das selbstfahrende Auto als Beispiel.
20. 02:03Bei hohen Geschwindigkeiten muss also sofort reagiert werden, sobald sich die Reaktionszeit des Systems aufgrund der Daten erhöht
21. 02:12Übertragung und der Netzwerkprobleme erhöht, wird dies schwerwiegende Folgen haben.
22. 02:19Darüber hinaus steht das Cloud Computing auch vor dem Problem unzureichender Bemühungen.
23. 02:26Wenn alle Daten, die von älteren Geräten erzeugt werden, an das Cloud-Netz übertragen werden, ist die Bandbreite, der Blickdruck, zum Beispiel die
24. 02:35Boeing 787 Flugzeug mehr als fünf Gigabyte an Daten pro Sekunde erzeugt.
25. 02:42Die Bandbreite zwischen dem Flugzeug und dem Satelliten reicht jedoch nicht aus, um Daten in Echtzeit zu übertragen, daher
26. 02:52Die alleinige Nutzung von Cloud Computing ist unzureichend, um den Betrieb von Anwendungen und die Verarbeitung von Massendaten in bestimmten Fällen zu unterstützen.
27. 03:02Bereichen wie IOT, Cloud, Edge AI
28. 03:06kann viele Probleme effizient lösen.
29. 03:14Die Definition von Edge-KI ist die Verlagerung von KI-Funktionen aus der Cloud in den Edge-Bereich, der näher an den Nutzerdaten liegt.
30. 03:24Die Industrie braucht dringend eine effizientere KI-Technologie, um umfangreichere KI-Anwendungen entwickeln zu können.
31. 03:34Derzeit basiert das KI-Paradigma hauptsächlich auf dem Cloud-Computing, das viele Einschränkungen aufweist.
32. 03:41Da zum Beispiel die meisten Daten von der Edge- oder Client-Seite aus generiert werden, ist die Anwendbarkeit bei niedrigen Temperaturen nicht gewährleistet.
33. 03:51Bandbreite und niedriger Latenz.
34. 03:53Da die Daten an das Rechenzentrum übertragen werden müssen, stellen Datenschutz und Sicherheit immer eine Herausforderung dar.
35. 04:02Cloud-Anbieter leiden unter den hohen Kosten für KI-Computing in großem Maßstab.
36. 04:09Auf der anderen Seite können wir die Offline-Autonomie von Anwendungen nicht gewährleisten, und wenn das Netzwerk ausfällt, ist Ihre KI-Anwendung hinfällig.
37. 04:19Diese Faktoren haben die Anwendung von KI in einigen traditionellen Branchen, wie der Landwirtschaft und der Industrie, erheblich eingeschränkt.
38. 04:31Fertigung.
39. 04:33Auch andere Anwendungen, die Echtzeitleistung erfordern, wie autonomes Fahren und Robotik, werden dadurch erheblich beeinflusst.
40. 04:43Auch die Anwendungen, die große Datenmengen auf der Client-Seite erzeugen, wie Videokonferenzsysteme und mobile Spiele,
41. 04:52wir befinden uns in einer KI-Anwendung.
42. 04:58Wie bereits erwähnt, sind KI-Algorithmen in hohem Maße auf solide Rechenleistung angewiesen, und die meisten der aktuellen KI
43. 05:07Geräte und Dienste werden auf der Cloud-Plattform bereitgestellt.
44. 05:12Sie bringt jedoch Einschränkungen mit sich, wie z. B. einen schwachen Schutz der Privatsphäre und begrenzte Interaktionen und Verbindungen.
45. 05:20Die Übertragung einer großen Datenmenge vom Client zum Rechenzentrum führt beispielsweise zu großen Verzögerungen und einem erheblichen Anstieg der
46. 05:30Kosten.
47. 05:31Zum Beispiel, laut ESA's
48. 05:34Bericht mehr als 150 Terabyte an Daten täglich in der traditionellen Fernerkundung erzeugt werden können, gehe ich davon aus, dass
49. 05:46selbst bei einer 500-Megabyte-Verbindung vier Tage brauchen, um diese Daten zum Datenzentrum am Boden zu transportieren.
50. 05:55Wenn wir die Daten direkt auf dem Client auf dem Gerät analysieren können, wird dies zu erheblichen Einsparungen führen.
51. 06:05Das größte Hindernis bei der Entwicklung von KI-Modellen im Alter ist die hohe Rechenkomplexität des Modells.
52. 06:15Die meisten Client-Geräte können sich die Anzahl der Berechnungen für ein großes Modell nicht leisten.
53. 06:21Die derzeitige Lösung besteht darin, Komprimierungstechniken anzuwenden, um ein kleines Modell zu erstellen und es auf dem Gerät zu verwenden.
54. 06:31Allerdings gibt es immer noch viele schwerwiegende Einschränkungen.
55. 06:34Erstens ist der Sicherheitsverlust des kleinen Modells beträchtlich, was die Anwendbarkeit von Altersanwendungen stark einschränkt.
56. 06:44Zum anderen erhöht sich die Entwicklungskomplexität für KI-Anwendungen.
57. 06:49Wenn Tiktok beispielsweise einen neuen offiziellen Echtzeiteffekt entwickeln will, müssen sie oft mehrere verschiedene Versionen erstellen
58. 07:00von clientseitigen Modellen erstellen, um die Anforderungen der verschiedenen mobilen Geräte mit zusätzlicher Rechenleistung und Hardwarekonfigurationen zu erfüllen,
59. 07:10und unterschiedlicher Akkulaufzeit und so weiter.
60. 07:12Viele Faktoren.
61. 07:14Es ist einfach zu schwierig, eine Vielzahl von mobilen Geräten für jedes Modell zu bedienen, es ist auch schwierig, die Bedürfnisse von
62. 07:24große Mengen an mobilen Anwendungen zu erfüllen.
63. 07:29Mit der rasanten Entwicklung der Digitalisierung und der 5G-Technologie wird sich der Träger zukünftiger Anwendungen schnell verlagern
64. 07:39auf Edge- und Client-Geräte verlagern.
65. 07:43Das bedeutet, dass Berechnungen an den Rand verlagert werden.
66. 07:47Warum können wir das erreichen?
67. 07:49Zunächst einmal wird 5G eine erhebliche Steigerung der Bandbreite mit sich bringen. Stellen Sie sich vor, dass die Bandbreite um das 100-fache gesteigert werden kann
68. 07:59dann können viele unmögliche Interaktionen realisiert werden und die neuartige Interaktion kann die Anwendungsinnovation fördern.
69. 08:08Zweitens wird die Hardware am Rande in der Zukunft eine I-Rechenkapazität haben.
70. 08:16Edge-GPUs werden in weiteren Geräten wie Routern oder Basisstationen installiert, was die Rechenleistung am Rande des Netzes effektiv erhöht.
71. 08:26Leistung erhöhen und mit Client-Geräten zusammenarbeiten können, um die KI-Anwendungen auf der Client-Seite zu unterstützen.
72. 08:34Künftige Anwendungen sind also hochgradig interaktiv und können massive Verbindungen unterstützen, und das künftige KI-Computing wird
73. 08:43hocheffizient, dezentralisiert und hochgradig kollaborativ sein.
74. 08:50Derzeit kann ein großes Modell nicht auf Client-Edge-Geräten mit geringem Stromverbrauch eingesetzt werden, aber wenn wir das Problem der Kommunikation lösen können
75. 09:00lösen und eine extrem niedrige Latenz erreichen, können wir vielleicht viele Edge-Knoten nutzen, um eine kollaborative Inferenz durchzuführen
76. 09:10Für die Ausführung eines so großen Modells wird ein solches dichtes zentralisiertes und verteiltes Berechnungsparadigma in der Zukunft sichtbar werden
77. 09:195G-Ära sichtbar werden.
78. 09:20Die Form des KI-Modells, die Interaktionsmethode und einige Software-Strukturen werden sich in Zukunft grundlegend ändern
79. 09:33Welche Herausforderungen brauchen Rand
80. 09:35KI zuerst?
81. 09:35Zunächst eine wesentliche Herausforderung von edgeAI
82. 09:39Ist die Heterogenität der einzelnen Randknoten.
83. 09:42Wir haben es mit unterschiedlicher Hardware, Architekturen, Betriebssystemen und KI-Software-Frameworks zu tun.
84. 09:50Wir können sehen, dass die Heterogenität dieser drei verschiedenen Dimensionen die Schwierigkeit der Implementierung deutlich erhöht.
85. 10:00Ein weiterer kritischer Punkt ist der bessere Schutz des Datenschutzes im EdgeAI-Szenario und ich denke, dass dies ein Vorteil von
86. 10:09edgeAI-Technologie sein.
87. 10:12Aus einem anderen Blickwinkel betrachtet, können strengere Datenschutzrichtlinien jedoch zu Problemen mit dem Schweigen der Daten führen.
88. 10:23Bei den Daten handelt es sich um die geografische Verteilung am Rande.
89. 10:31Aus Gründen des Datenschutzes und aus anderen Gründen können sie nicht weitergegeben werden.
90. 10:37Daher kann der KI-Algorithmus die Daten der einzelnen Randknoten nicht effizient gemeinsam nutzen.
91. 10:44Die traditionelle zentralisierte KI-Methode bringt erhebliche Leistungseinbußen mit sich, wie etwa eine geringere Konvergenzgeschwindigkeit und eine schlechte
92. 10:53Modellgenauigkeit in Grenzszenarien.
93. 10:57In der traditionellen überwachten Lernforschung IID,
94. 11:03auch unabhängig und identisch verteilt genannt, ist eine wichtige Annahme, wenn wir das maschinelle Lernen durchführen
95. 11:13Aufgabe, nehmen wir an, dass unsere Trainings- und Testdaten die gleiche Verteilung haben und die Beispiele unabhängig sind. Zum Beispiel, in
96. 11:23dem CIFAR-Datensatz sind der Trainings- und der Testdatensatz gleichmäßig verteilt.
97. 11:29Wenn man zufällig ein Beispiel aus diesen beiden Sätzen auswählt,
98. 11:34beträgt die Wahrscheinlichkeit, dass es zu einer der beiden Klassen gehört, 10 %.
99. 11:40Dies ist IID
100. 11:4110%, weil sie 10 Klassen vorhersagen müssen. Dies ist IID,
101. 11:47so genannte identische Verteilung und unabhängige Stichproben. In der Praxis,
102. 11:54gibt es erhebliche Unterschiede in der Datenverteilung der Randknoten.
103. 11:58Darüber hinaus können sich die Datenverteilung des vortrainierten Modells und die Testdatenverteilung des Randknotens ebenfalls unterscheiden
104. 12:07sehr stark unterscheiden.
105. 12:08Wir haben es also tatsächlich mit der Nicht-IID zu tun
106. 12:12Problem.
107. 12:15Edge Nodes haben in der Regel nur begrenzte Ressourcen, z.B. die Stromversorgung, die Rechenleistung und die Speicherressourcen sind viel geringer
108. 12:26als Geräte auf der Cloud-Seite.
109. 12:28Darüber hinaus ist die Bandbreite ein möglicher Engpass.
110. 12:33Diese Probleme müssen berücksichtigt werden, wenn wir Algorithmen, Hardware und Software entwickeln, zusätzlich zur ungleichmäßigen Verteilung
111. 12:43der Randdaten auch das Problem, dass wir zu wenige Beispiele haben und daher das Modell nicht effizient trainieren können.
112. 12:53Außerdem kann es vorkommen, dass wir auf unbekannte Datenklassen treffen, was zu einem völligen Versagen der Methode des überwachten Lernens führt.
113. 13:01Okay, wir haben diese Herausforderungen der Edge AI zusammengefasst, die vielleicht nicht umfassend genug sind, aber das sind die Probleme
114. 13:11die von der Forschungsgemeinschaft und der Industrie derzeit gelöst werden.
115. 13:18Vielen Dank, dass Sie sich das Video angesehen haben.

To enable the transcript, please select a language in the video player settings menu.