Autor: Matthias Rottmann

Data Analytics Projekt mit Studierenden der Bergischen Universität Wuppertal im Wintersemester

Data Analytics Projekt mit Studierenden der Bergischen Universität Wuppertal (Okt. 17-Februar 18)

23 Studierende der Fächer Mathematik und Wirtschaftsmathematik nehmen in diesem Wintersemester am Projektseminar Data Analytics der Bergischen Universität Teil. Teams von bis zu 5 Studierenden werden in regionale Unternehmen zu deren Standorten eingeladen und mit einer Fragestellung aus dem Bereich Data Analytics konfrontiert. Die Industriepartner kommen aus verschiedenen Bereichen wie Energie, Handel, Dienstleistung und Produktion. Die Studierenden analysieren die Daten und präsentieren ihre Ergebnisse in verständlicher Sprache den Auftraggebern.

Dieses Format wird alle zwei Jahre wiederholt. Zurzeit läuft die vierte Runde. Insgesamt haben mehr als ein Dutzend Unternehmen als Auftraggeber an dem Seminar teilgenommen.

Kontakt: Hanno Gottschalk, hanno.gottschalk@uni-wuppertal.de

Geostatistisches Data Analytics Projekt mit dem Gutachterausschuss in der Stadt Wuppertal im Rahmen einer Abschlussarbeit

Aufgabe des Gutachterausschusses für Grundstückswerte ist Schaffung von Markttransparenz auf dem Grundstücksmarkt sowie die Feststellung von Verkehrswerten von Immobilien.
Datengrundlage bilden die notariell beurkundeten Kaufverträge aller Immobilien in Wuppertal, die über viele Jahre gesammelt wurden. In die Bewertung gehen jedoch zahlreiche Ausstattungsmerkmale der Immobilie sowie Faktoren wie die Lage und deren sozioökonomische Eigenschaften ein. In ihrer Bachelorarbeit untersuchte Claudia Drygala, Studentin im Fach Wirtschaftsmathematik der BUW, gemeinsam mit dem Gutachterausschuss diesen hochdimensionalen Datensatz nach statistischen Abhängigkeiten und leitete ein Modell zur Prognose von Immobilienwerten ab. Dieses mathematische Modell wurde mit statistischen Tests abgesichert und die Ergebnisse mit Hilfe von Datenformaten aus der Geoinformatik visualisiert. Der Betreuer vom Gutachterausschuss, Holger Wanzke, und Hanno Gottschalk von der BUW bewerten diese neue Zusammenarbeit als äußerst positiv und freuen sich auf eine Fortsetzung.

Vorlesung Deep Learning for Mathematicians im Sommersemester an der BUW

Deep Learning entwickelte sich aus der Neuroinformatik und Forschung zur künstlichen Intelligenz. Häufig wird die KI dabei als ‚Black Box‘ dargestellt, bei der man nicht verstehen kann, warum sie in der Lage ist bestimmte Probleme zu lösen. Mit unserer Vorlesung an der Bergischen Universität möchten wir die Teile der KI-Forschung identifizieren, die auf gesicherten mathematischen Grundlagen stehen – z.B. die Fähigkeit von großen Neuronalen Netzen, beliebige Funktionen zu approximieren, sowie das genaue Funktionieren von ‚Lernalgorithmen‘, das ‚No Free Lunch‘-Theorem oder den Zusammenhang zwischen Symmetrie und Convolutional Neural Networks. Zur Vorlesung gibt es praktische Übungen mit aktuellen Tools für Deep Learning (Keras/Tensorflow).

Vorlesung Maschinelles Lernen und Data Mining am Campus Velbert/Heiligenhaus im Wintersemester

Jedes Wintersemester findet am Campus Velbert/Heiligenhaus (CVH) die Veranstaltung Maschinelles Lernen und Data Mining im Bachelor Technische Informatik sowie Mechatronik & IT statt. Hierbei werden insbesondere klassische Verfahren des maschinellen Lernens wie Random Forest oder neuronale Netze auf der Basis strukturierter Daten besprochen. Die Umsetzung erfolgt mittels Python und kann auf dem eigenen Notebook nachvollzogen werden. Vorlesungen dieser Art sind generell öffentlich und können auch als Gasthörer bei Interesse besucht werden. Dozent ist Jörg Frochte.

Vorlesung Angewandte KI am Campus Velbert/Heiligenhaus im Wintersemester

Im Wintersemester wird am Campus Velbert/Heiligenhaus (CVH) die Veranstaltung Angewandte KI im Rahmen des Master-Studiums angeboten. Dem Schwerpunkt bilden Deep Learning Verfahren und Reinforcement Learning in Zusammenhang mit Softwareagenten, als Nebenthema wird auch auf Bilderkennung mit Convolutional Neural Network (CNN) eingegangen. Praxisnahe Anwendungsfälle werden dabei in Zusammenarbeit mit den Kollegen von der Robotik, Fahrzeug- und Automatisierungstechnik vom CVH angeboten. Die Umsetzung erfolgt mittels Python und Keras. Seit 2018 steht auch ein Server mit Tesla-GPU-Unterstützung in der Veranstaltung zur Verfügung. Dozent ist Jörg Frochte. Voraussetzung für die Teilnahme sind Grundlegende Kenntnisse über klassische Verfahren des maschinellen Lernens.

Big Content Data

Projekt Big Content Data wird gefördert im Rahmen EFRE.NRW des Aufrufs CreateMedia.NRW und geleitet von Professor Treichel und Professor Kummert (BUW).
Im Zuge der Digitalen Transformation sind in NRW neben den klassischen Medienbranchen völlig neue, wachstumsstarke dienstleistungs- und kreativitätsorientierte Medienstrukturen und -segmente entstanden.

Es gilt, die erreichte Position für die NRW.Druck- und Medienbranche zu behaupten und auszubauen! Die Digitalisierung hat unter dem Stichwort „Industrie 4.0“ bereits eine intensive Diskussion in der Branche ausgelöst. Mehr...

Allerdings ist der „4.0-Fokus“ stark auf die Produktion bzw. auf neue Produktionsprozesse und -technologien verengt. Dabei sind gerade Inhalts(Content-) daten typische so genannte „unstrukturierte“ Datenbestände (aus Text-, Grafik-, Bild-, Layout-, Videodaten etc.), die die zentrale Basis für Data Analytics im Kontext Big Data darstellen. Die genaue, sich im Prozess optimierende („lernende“), automatisierte Analyse und Auswertung einer großen Anzahl unstrukturierter Daten (Big Data), z.B. in Verbindung mit „strukturierten“ Daten (z.B. einer Kundendatenbank), führen zu deutlich verbesserten Vorhersagen z.B. des Kaufverhaltens von Katalogkunden, Kunden-kategorisierungen im Multi-Channel-Marketing, Marktpotenzial-Analysen (Market Intelligence), Response- und Leseranalysen etc. Auf der Basis gesicherter Prognosen können dann z.B. Produktions- oder Logistikentscheidungen getroffen werden, wobei gerade hoch komplexe Entscheidungen (mit großer Variablenanzahl) ebenfalls durch Algorithmen automatisiert getroffen werden und so häufig zu erheblichen Kosteneinsparungen und/oder Umsatzsteigerungen in der Praxis führen.

Deep Learning mit wenigen Labels

Im Deep Learning wird meist auf unstrukturierten Daten (z.B. Bildern oder Texten) eine Klassifikation oder Regression gelernt. Dabei kommen (tiefe) neuronale Netze zum Einsatz. Damit das Netz lernt, muss zu ausreichend vielen Daten eine sogenannte Ground Truth, d.h. das Wissen um die korrekte Klassifizierung, vorhanden sein. Die Erzeugung dieser Ground Truth, auch Labels genannt, kann kostspielig und zeitaufwändig werden. Dies ist eine Hürde, die es erschwert, Verfahren des Deep Learnings in der Praxis zum Einsatz zu bringen.

Das aktive Lernen und das halb-überwachte Lernen liefern zwei Ansätze, um mit wenigen Labels möglichst performante Netze anzulernen. Mehr...

Mit diesen Ansätzen entwickeln Dr. Matthias Rottmann, Dr. Karsten Kahl und Professor Hanno Gottschalk Verfahren, durch die neuronale Netze in die Lage versetzen von wenigen Labels lernen. Im aktiven Lernen fragt das Neuronale Netz einen Experten oder Nutzer nach zusätzlichen Labels zu Daten, bei denen es sich besonders unsicher ist. Zur Bestimmung dieser Unsicherheit kommen Methoden der Bayeschen Inferenz zum Einsatz. Beim halb-überwachten Lernen werden ungelabelte Daten zum Training genutzt, d.h. das Neuronale Netz lernt auf diesen Daten durch Selbstbestätigung. Durch eine Kombination dieser Verfahren erreichen Matthias Rottmann, Karsten Kahl und Hanno Gottschalk auf standardisierten Benchmarks (Klassifikation von handschriftlichen Ziffern) sehr gute Resultate. Die Grafik zeigt ein Testproblem, bei dem das neuronale Netz die Punkte anhand ihrer Lage in der Ebene nach ihrer Farbe klassifizieren soll. Nur die durchkreuzten Punkten, d.h. zu 8% der abgebildeten Datenpunkte, wurden im Verlauf des Verfahrens gelabelt, der Farbverlauf im Hintergrund zeigt an, in welchem Bereich der Ebene welche Farbe vom neuronalen Netz vorhergesagt wird.

Semantische Bild-Segmentierung

Professor Kummert und Professor Treichel (BUW) arbeiten aktuell auf dem Gebiet der semantische Bild-Segmentierung.
Unter der semantischen Bild-Segmentierung versteht man die gleichzeitige Clusterung eines Bildes und Klassifikation dieser Bildsegmente in eine feste Anzahl von Klassen. Dazu werden tiefe künstliche neuronale Netze eingesetzt. Das Problem der semantischen Segmentierung wird als ein Klassifikationsproblem für jeden einzelnen Pixel des Bildes formuliert. Nachdem das Netz mittels des Datensatzes trainiert wurde, können neue Eingabedaten, welche das Netz nicht während des Trainings verarbeitet hat, semantisch segmentiert werden (vgl. Abbildung unten).

Mehr...

Durch das dazugehörige Entropiebild der geschätzten Segmentierung (s.rechts) kann eine Aussage darüber getroffen werden, wie sicher sich das künstliche neuronale Netz über die geschätzte Klassenzuordnung ist. Hohe Entropiewerte sind gelb codiert und bedeuten, dass sich das Netz über die geschätzte Klassenzuordnung unsicher ist.

Wie man der Abbildung entnehmen kann, ist sich das künstliche neuronale Netz bei der Zuordnung des Bodens sowie der vorderen Stühle und des Tisches bei diesem Beispiel sehr sicher. Unsicher ist sich das Netz über die Zuordnung des Schreibtisches und zugehörigen Stuhls im hinteren Teil des Bildes.

Erkennung von menschlichen Aktivitäten mittels Deep Learning

Das unten beschriebene Themenfeld wird primär in den Arbeitsgruppen von Professor Treichel und Professor Kummert (BUW) bearbeitet.

Das Interesse, menschliche Aktivitäten automatisch zu erfassen, nimmt z.B. in den Bereichen Biomedizin, Spieleentwicklung sowie im persönlichen Fitnessbereich stetig zu. Sensoren werden am Körper befestigt, um die Körperbewegung, physiologische Signale oder Umgebungsvariablen zu messen. Mehr...

Mittels maschineller Lernverfahren werden die Sensordaten anschließend ausgewertet, um z.B. eine Aktivität zu klassifizieren oder Informationen über seine eigene Fitness zu erhalten. Dabei benötigen die Lernverfahren charakteristische Merkmale, die es ermöglichen zwischen verschiedenen Aktivitäten in den gesammelten Daten zu unterscheiden. Das Auffinden der Merkmale kann ganz klassisch manuell von einem Experten übernommen werden, was teuer, zeitaufwendig und abhängig vom Wissen des Experten ist oder wie in diesem Projekt durch ein oben schnematisch dargestelltes 2-D faltendes neuronales Netz. Dafür wird aus den 1-D Signalen der Sensoren ein 2-D Bild mittels der Kurzzeit-Fourier-Transformation erzeugt. Das neuronale Netz wird mit den Bildern als Eingangssignal trainiert und die Aufgabe der Merkmalsextraktion übernimmt vollständig automatisiert das faltende neuronale Netz. Unten sehen Sie als Beispiel zwei erzeugte Spektrogramme zweier unterschiedlicher Klassen. Der Beschleunigungssensor wurde am rechten unteren Fuß befestigt.

Die Entropie der Katze – oder wie unsicher ist sich die KI?

Die Entropie als Maß für die Unsicherheit zu untersuchen gehört zu den Forschungsprojekten von Professor Hanno Gottschalk und Dr. Matthias Rottmann.
Im Supervised Learning entscheidet sich eine KI zwischen verschiedenen Handlungsoptionen, indem sie die „wahrscheinlich beste“ auswählt. Trainiert man die KI auf die Erkennung der handgeschriebenen Zahlen 0-4 auf einem Foto, so wird die KI auch in jedem anderen Foto eine Ziffer 0-4 erkennen, auch wenn eine Katze oder einfach nur Rauschen auf dem Bild zu erkennen ist. Mehr...

Jenseits dessen kann sich die KI auch bei gelernten Konzepten schon mal irren (wenn auch nur sehr selten). In diesem Forschungsprojekt haben Dr. Matthias Rottmann und Professor Hanno Gottschalk sich die Frage gestellt, ob Irrtümer oder Falschbenutzung der KI durch ungelernte Konzepte (sog. ‚unknown unknowns‘) von der KI selbst erkannt werden kann. Dazu messen sie neben der wahrscheinlich besten Alternative auch die Unsicherheit der KI durch die Entropie, also das Maß an Unordnung bei Bewertung der Alternativen. Gottschalk und Rottmann konnten nachweisen, dass sowohl Fehler der KI als auch Fehler durch falsche Benutzung statistisch mit höherer Unsicherheit (Entropie) einher gehen. Dies kann benutzt werden, um vermutlich falsche Vorhersagen auszusortieren und so die Verlässlichkeit der KI zu steigern.

Hierbei trainieren wir tiefe, gefaltete neuronale Netze (sog. CNN) mit handgeschriebenen Ziffern 0-4 und beobachteten die Entropie für richtig und falsch klassifizierte Bilder, für Bilder von Ziffern 5-9, Katzenbilder und Rauschen.

Lernende Assistenten für numerische Simulationen

In verschiedenen Projekten beschäftigt sich Jörg Frochte mit der Problematik der Bereitstellung von lernenden Assistenzsystemen im Kontext von Simulation und Modellbildung. Zu diesen Projekten gehörten SimCloud, welches von 2012-2016 vom BMBF unter Leitung von Professor Frochte gefördert wurde. Hierbei wurde u.a. ein lernendes Assistenzsystems zur Rechenlast-Verteilung in der FEM-Simulation entwickelt. Der erforschte Ansatz verwendet eine zweistufige Architektur, um zusätzliche Rechenkosten zu minimieren. Der Ansatz erfordert keine gelabelten Daten zur Qualitätsbewertung für eine Lastverteilung und kann sich als unüberwachtes Verfahren verbessern.

Mehr...

Im Rahmen einer Kooperation mit der Bauhausuniversität Weimar wurden Assistenzsysteme zum Brückendesign basierend auf FEM-Simulationen entwickelt und vorgestellt. Die neue Technik ist ohne erneute Simulation in der Lage vorgeschlagene Brückendesigns zu bewerten und ggf. zu verwerfen.

Ebenfalls im Rahmen einer Kooperation mit Weimar konnte ein Verfahren entwickelt werden, welches lernt die Parameter in numerischen Verfahren selbstständig zu wählen. Die Ergebnisse wurden veröffentlicht in Learning Overlap Optimization for Domain Decomposition Methods, Simulation Data Mining for Supporting Bridge Design und On Learning Assistance Systems for Numerical Simulation.

Optimierung und Simulation: Parameteroptimierung in der Funktionsentwicklung von Gasgeräten

Die Optimierung ist die Grundlagen vieler Techniken im Bereich des maschinellen Lernens wie SVM oder Deep Neural Networks. In Projekten wie dem unten beschrieben mit der Vaillant GmbH als Partner zeigt sich die Tradition der Übertragung von wissenschaftlichen Erkenntnissen in der numerischen Optimierung auf Probleme der industriellen Praxis an der BUW durch Frau Professor Kathrin Klamroth.

Mehr...

Die Entwicklung neuer Funktionalitäten, hier z. B. für Heizgeräte, basiert i.d.R. auf Simulationsmodellen. Durch realitätsnahe Simulationen können u. A. Protoypentwicklung und Labortests auf ein Minimum reduziert werden. Simulationsmodelle hängen von verschiedenen physikalischen Simulationsparametern ab. Diese Parameter werden optimal eingestellt, so dass der Simulationsfehler möglichst gering ist: Die Simulationsergebnisse werden dazu mit im Labor für verschiedene Parameterwerte gemessenen Daten verglichen und die Parameter entsprechend optimiert. Gegebenenfalls zeigen die Ergebnisse der Optimierung, dass noch eine größere Modellanpassung erforderlich ist, um die Realität verlässlich abzubilden.
Es kommen verschiedene simulationsbasierte Optimierungsverfahren zum Einsatz, teilweise unterstützt durch automatische Differentiation. Da häufig auch die Laborergebnisse Ungenauigkeiten unterliegen, z. B. aufgrund von Toleranzen der Bauteile oder Ungenauigkeiten bei den gemessenen Sensordaten, wird der Optimierungsprozess durch Methoden der robusten Optimierung ergänzt.

Maschinelles Lernen in Daten-getriebenen Ansätzen zum Lösen linearer Gleichungssysteme

Machine Learning in Computer Simulations: Maschinelles Lernen in Daten-getriebenen Ansätzen zum Lösen linearer Gleichungssysteme

Auf dem Gebiet der Numerik beschäftigen sich Dr. Karsten Kahl und Dr. Matthias Rottmann mit Lösungsverfahren zu linearen Gleichungssystemen. Letztere stammen dabei häufig aus der Diskretisierung partieller Differenzialgleichungen und beschreiben z.B. mechanische oder andere dynamische Wechselwirkungen. Die Lösung dieser Gleichungssysteme erzeugt oft die Hauptrechenlast in wissenschaftlichen Simulationen. Daher ist es wichtig effiziente hoch-skalierende Lösungsverfahren zu entwickeln. Sogenannte Mehrgitter-Verfahren gelten dazu als besonders geeignet. Diese kombinieren ein einfaches iteratives Lösungsverfahren, das für sich genommen das Problem nur sehr langsam löst, mit einer Unterraum-Korrektor, die komplementär wirken soll.

Mehr...

Die Abbildung zeigt ein illustratives Beispiel der Funktionsweise von Mehrgitterverfahren. Links abgebildet ist der aktuelle Fehler, der Differenz von Lösung und ihrer aktuellen Approximation. Ein paar Schritte des iterativen Verfahrens beseitigen stark oszilierende Fehlerkomponenten, der Fehler wird anschaulich glatt (mitte). Der glatte Fehler lässt sich in einem Unterraum, in diesem Fall durch eine gröbere Auflösung, gut darstellen (rechts). Wenn die Geometrie des Problemes unbekannt ist, greift man auf sogenannten algebraische Mehrgitter-Verfahren zurück. In einer Setup-Phase bedarf es dazu der Generierung von Daten, welche den Teil des zu lösenden Problems beschreiben, mit dem das iterative Verfahren am schlechtesten fertig wird. Anhand dieser Daten wird der glatte Fehler und somit die Wirkung der Unterraum-Korrektur adaptiv bestimmt. Das Erzeugen der Daten kann sowohl speicher- als auch rechenaufwändig werden. Karsten Kahl und Matthias Rottmann setzen Verfahren des maschinellen Lernens ein, die mit wenig Daten lernen können, welche Information zum Aufsetzen der Unterraum-Korrektur wichtig ist. Dazu kommen insbesondere Techniken der Regularisierung zum Einsatz.