Künstliche Intelligenz gilt als rechen- und energieintensiv, was etwa eine Herausforderung für das Internet der Dinge ist, wo kleine, eingebettete Sensoren mit begrenzter Rechenleistung, wenig Speicher und kleinen Batterien auskommen müssen. Ein Forschungsteam des Comet-K1-Zentrums Pro2Future, der TU Graz und der Universität St. Gallen hat im Projekt E-Minds nun Wege gefunden, wie KI auf kleinsten Geräten lokal und effizient ausgeführt werden kann – ohne auf externe Rechenleistung angewiesen zu sein.
So sei es etwa gelungen, auf einem Ultrabreitband-Lokalisierungsgerät mit nur 4 Kilobyte Speicher spezialisierte KI-Modelle laufen zu lassen, die Störquellen aus Ortungsdaten herausrechnen."Natürlich laufen keine Large Language Models auf diesen Kleingeräten, sondern Modelle mit ganz spezifischen Aufgaben, beispielsweise um Entfernungen abschätzen zu können", sagt Michael Krisper, Leiter des Projekts bei Pro2Future und Wissenschafter am Institut für Technische Informatik der TU Graz. "Aber auch diese Modelle muss man erst einmal klein genug bekommen. Das benötigt einige Tricks und genau mit solchen Tricks haben wir uns im Rahmen des Projekts beschäftigt."
Dabei ist eine Art Baukasten aus verschiedenen Methoden entstanden, die in Kombination das gewünschte Ergebnis liefern. Eine davon ist die Aufteilung der Modelle und deren Orchestrierung. Statt eines Universalmodells stehen mehrere kleine, spezialisierte Modelle zur Verfügung. Bei der in E-Minds untersuchten Lokalisierungstechnologie heisse dies, ein Modell funktioniere bei Störungen durch Metallwände, ein anderes bei Störungen durch Menschen und noch eines bei Störungen durch Regale. Ein Orchestrierungsmodell auf dem jeweiligen Chip erkenne, welche Störung vorliege und lade innerhalb von rund 100 Millisekunden das passende KI-Modell vom Server, das den Störfaktor aus den Daten herausrechnen könne, lassen die Forscher wissen. Für Industrieanwendungen wie Lagerhallen wäre das schnell genug.
Eine weitere Methode des Baukastens sind Subspace-Configurable Networks (SCNs). Hierbei handelt es sich um Modelle, die sich je nach Daten-Input anpassen, statt für jede Input-Variante ein eigenes Modell zu haben. Diese SCNs kamen den Infos zufolge für Bilderkennungsaufgaben wie der Klassifizierung von Objekten zum Einsatz und erwiesen sich als äußsserst produktiv. Bei Bildveränderungen oder auf IoT-Geräten getesteten Fruchtklassifizierungen gelang damit demnach eine bis zu 7,8-mal schnellere Bildberechnung als über externe Ressourcen, obwohl die Modelle kleiner und energiesparender waren. Weitere Verkleinerungen gelangen durch eine Faltung der mathematischen Struktur des Modells, ohne zu viel Genauigkeit zu verlieren.
Gleiches galt bei den Techniken Quantisierung und Pruning. Bei der Quantisierung vereinfachten die Forschenden die Zahlen, mit denen das Modell rechnet: Statt Gleitkommazahlen wurden Ganzzahlen verwendet, was bei akzeptablen Genauigkeitsverlusten für die gewünschten Anwendungen wieder Energie und Rechenzeit sparte. Beim Pruning – auf Deutsch "stutzen“ oder "beschneiden“ – hingegen wird ein fertiges Modell unter die Lupe genommen und es werden jene Teile entfernt, die für das gewünschte Endergebnis nicht ins Gewicht fallen. Denn für das Erfüllen der Kernaufgabe seien viele Teile eines Modells verzichtbar. Wichtig war es für die Forschenden, bei allen Techniken die passende Balance zwischen Verkleinerung und verbleibender Genauigkeit zu finden. Neben der erfolgreichen Verkleinerung habe das Projektteam an der effizienten Bereitstellung, dem sogenannten Deployment, der KI-Modelle geforscht, damit diese schneller auf die Kleingeräte übertragen werden können.
Während der Fokus von E-Minds auf der drahtlosen Ultrabreitband-Lokalisierung (Ultra-Wideband, UWB) lag, um etwa in der industriellen Automatisierung trotz Hindernissen und Interferenzen die exakte Position von Drohnen, Shuttles oder Robotern bestimmen zu können, sehen die Forschenden zahlreiche andere Anwendungsfelder. Beispielsweise als weitere Sicherheitsmassnahme für schlüssellose Autoöffner, um bestimmen zu können, ob sich der Schlüssel wirklich beim Auto befindet und nicht nur jemand das Funksignal kopiert. Smarthome-Fernbedienungen hätten mit effizienten KI-Modellen eine wesentlich längere Batterielaufzeit und Büchereien könnten ihre Bücher tracken.
"Mit neuem Know-how und neuen Methoden haben wir im Projekt E-Minds ein Fundament für zukünftige Produkte und Anwendungen gelegt“, sagt Michael Krisper. "Unser Projektteam hat sich hier perfekt ergänzt. Bei Pro2Future haben wir uns auf die eingebetteten Systeme und die Umsetzung auf der Hardware fokussiert, Olga Saukh habe mit Kolleg:innen am Institut für Technische Informatik an der TU Graz wichtige wissenschaftliche Grundlagen in den Bereichen Embedded Machine Learning erarbeitet und zu Methoden der Modelloptimierung beigetragen und Simon Mayer hat an der Universität St. Gallen wichtige Forschungsarbeit im Bereich Lokalisierung beigesteuert."
