Deepshore, TU Darmstadt und die Schwarz Digits setzen auf Reinforcement Learning in ETL-Prozessen

Hamburg/Heidelberg, 14. Dezember 2023 · Mit einer auf drei Jahre angelegten Forschungskooperation wollen die Technische Universität Darmstadt und der Cloud-Entwicklungsspezialist Deepshore den Betrieb von ETL-Systemen (ETL: Extract, Transform, Load) in virtuellen Netzen revolutionieren. An die Stelle des klassischen Operatings soll ein KI-gesteuertes, komplett autonomes Management von Lasten und Kapazitäten treten. Das wegweisende ETL4Balance-Projekt wird durch das Bundesministerium für Bildung und Forschung (BMBF) gefördert und von Schwarz Digits als assoziierter Partner aus der Handelsbranche unterstützt.

Cloud-Systeme speichern und bewegen im Enterprise-Einsatz enorme Datenmengen unter extrem veränderlichen Last- und Durchsatzbedingungen. Kern dieser Informationsflüsse sind ETL-Systeme, die eigentlichen Manager dieser Datenlogistik. Ihre wichtigste Aufgabe ist es, auf die sich ständig verändernden Anforderungen und Rahmenbedingungen sowie auf Störungen und Engpässe immer mit dem richtigen Mix aus Kapazitäten, Leistung und Intelligenz zu rea­gie­ren. Um diese Ressourcen punktgenau und effizient einzusetzen, ohne im Problemfall selbst zum Flaschenhals zu werden, müssen ETL-Systeme entweder gezielt überdimensioniert werden – oder sie werden kontinuierlich bedarfsgerecht skaliert und angepasst. Für die Operations-Verantwortlichen ist das im Alltag eine komplexe Herausforderung. In der Praxis ist ein idealer 24/7-Betrieb nur umsetzbar, wenn rund um die Uhr fachkundiges Betriebspersonal verfügbar ist, das das nötige laufende Finetuning oder die Rekalibrierungen nach Störungen in wenigen Minuten durchführt.

Das ETL4Balance-Projekt setzt an die Stelle des klassischen Operatings einen völlig anderen Ansatz: ETL-Systeme sollen in die Lage versetzt werden, komplett autonom ihre Prozesse zu planen, zusätzliche Ressourcen proaktiv zu aktivieren, auf Störungen in Echtzeit zu reagieren und parallel dazu bereits mit präzisen Prognosen kommende Herausforderungen zu antizipieren. Der Schlüssel dazu ist das KI-Segment des Reinforcement Learnings („bestärkendes/ver­stärkendes Lernen“). Dazu werden ETL-orientierte KI-Modelle konzipiert und unter Laborbedingungen einem Trial-and-Error-Training unterzogen. Die dazu notwendigen Algorithmen werden anhand realistischer Parameter (Metriken, z.B. zur Verfolgung und Bewertung von Leistungen, Fortschritten oder Trends) vom KI-Modell selbstständig entwickelt und verfeinert. Im Ergebnis entsteht ein sogenanntes neuronales Netz, das auf ETL-Systeme in der Praxis übertragen wird, dort seine Fähigkeiten anwendet und vom Feedback aus seiner eigenen Prozessbeobachtung weiter lernt.

Die Forschungspartner verfügen über eine langjährige Expertise im Feld der neuronalen Netze. Während die TU Darmstadt tiefgehende Erfahrung im Reinforcement Learning beisteuert, liefert Deepshore die Praxis und Realdaten aus dem Einsatz neuronaler Netze in Enterprise-Use-Cases und übernimmt die Integration und Weiterführung der Forschungsergebnisse in führenden ETL-Systemen wie der NE.Databridge von nextevolution.

Die Partner erwarten einen großen Nutzen in mehreren Richtungen. Dr. Oleg Arenz, Projektleiter am Fachgebiet Intelligente Autonome Systeme an der TU Darmstadt, sagt: „Für mich ist das Projekt doppelt spannend: Einerseits glaube ich, dass wir durch die Anwendung von KI das reale Problem der dynamischen Ressourcenzuteilung völlig neu lösen werden. Andererseits lassen sich beide Hauptforschungsfragen nicht nur in automatischen Anwendungen von Softwaresystemen nutzen, sondern leicht auf Probleme in der humanoiden Robotik übertragen: Wie können digitale Systeme ein bereits erlerntes Verhalten schnell an eine neue Umgebung anpassen? Und wie können sie ein abstraktes Verhalten lernen, das auf verschiedenen Pro­zess­ketten oder auf verschiedenen Robotermodellen umgesetzt werden kann?“

Schwarz Digits, die IT- und Digitalsparte der Schwarz Gruppe wird das Projekt mit realen Anwendungsszenarien von Beginn an mitgestalten. „Der optimierte Umgang mit jeglicher Art von Ressourcen ist für uns als Unternehmen nicht nur eine Verpflichtung gegenüber Gesellschaft und Umwelt, sondern wird in Zukunft entscheidenden Einfluss auf die Wettbewerbsfähigkeit von Unternehmen haben. Deshalb ist dieses Forschungsvorhaben für uns von großem Interesse“, sagt Walter Wolf, Vorstand Entwicklung & IT-Betrieb bei der Schwarz IT.
Falk Borgmann, Leiter der Heidelberger Niederlassung von Deepshore sagt: „Die Labore der TU Darmstadt bieten uns die Möglichkeit, die Use Cases von Enterprise-Kunden im abstrakten Raum zu simulieren. Dabei schaffen wir nahezu ideale Modelle für das künftige autonome Ope­rating in der Praxis. Auch für viele andere professionelle Anwender wird das ein enormer Wettbewerbsvorteil sein.“ Zu diesem Zielsegment zählt Deepshore eine Vielzahl von Unter­neh­men, deren Kerngeschäftsmodelle von revisionssicheren, hochverfügbaren und unbegrenzt skalierbaren Datenlogistik-Prozessen in ver­teil­ten virtuellen Infrastrukturen abhängig sind. Dazu ge­hören Verkehrsunternehmen, Versiche­run­gen, Banken oder auch große Handelsunternehmen.