Autor: Erik Freier

A-Eye: Fahren mit den Augen der KI

Das Ziel dieser Arbeit ist die Anreicherung von Trainingsdaten für das autonome Fahren mit so genannten Corner Cases. Im Straßenverkehr sind Corner Cases kritische, seltene und ungewöhnliche Fahrsituationen, die eine Herausforderung für die Wahrnehmung durch KI-Algorithmen darstellen. Zu diesem Zweck hat sich die Arbeitsgruppe Stochastik von Prof. Hanno Gottschalk einen Prüfstand überlegt mit dem synthetische Corner Cases mit einem Human-in-the-Loop-Ansatz und der Open-Source-Fahrsimulationssoftware CARLA (https://carla.org/) erzeugt werden können. Für den Prüfstand wird ein semantisches Echtzeit-Segmentierungsnetz trainiert und so in die Fahrsimulationssoftware CARLA integriert, dass ein Mensch auf Basis der Vorhersage des Netzes fahren kann. Zusätzlich bekommt eine zweite Person die gleiche Szene aus der Original-CARLA-Ausgabe zu sehen und soll mit Hilfe einer zweiten Steuereinheit eingreifen (Tritt auf die Bremse oder Eingriff ins Lenkrad), sobald der semantische Fahrer ein gefährliches Fahrverhalten zeigt. Eingriffe deuten auf eine schlechte Erkennung einer kritischen Szene durch das Segmentierungsnetz hin und stellen dann einen Corner Case dar. In unseren Experimenten konnten wir zeigen, dass die gezielte Anreicherung von Corner Cases in den Trainingsdaten zu einer Verbesserung der Fußgängererkennung in sicherheitsrelevanten Situation im Straßenverkehr führt.

Preprint: https://arxiv.org/abs/2202.10803

UQGAN: A Unified Model for Uncertainty Quantification of Deep Classifiers trained via Conditional GANs

Die AG Stochastik hat gemeinsam mit Kollegen der TU Dortmund eine Methode der Unsicherheitquantifizierung (UQ) für tiefe neuroanle Netze (DNNs) in der Bildklassifikation. Die Methode verwendet Daten generiert von generativen Adversialen Netzen (GAN), um für jede einzelne semantische Klasse durch Out-of-Class (OoC) Beispiele abzuschirmen. Das DNN wird als One-vs.-All Klassifizierer trainiert wobei echte daten und die synthetischen OoC Daten des GAN erhält. Als Resultat dessen ist die Methode in der Lage aleatorische und epistimische Unsicherheit separat anzuzeigen (siehe Abbildungen, hohe Unsicherheit ist orange, links aleatorisch, rechts epistemisch). Auf den MNIST und CIFAR10 Datensätzen verbessert diese Methode den State-of-the-Art bei GAN-basierter UQ deutlich.

Preprint: arxiv.org/abs/2201.13279

Entropie Maximierung und Meta Klassifikation zur Erkennung von unbekannten Objekten in der semantischen Segmentierung

Semantische Segmentierung beschreibt die Aufgabe der Detektion und pixelweisen Lokalisierung von Objekten in Bildern. Dazu werden in der Praxis tiefe neuronal Netze als Modelle verwendet. Diese werden allerdings lediglich zur Detektion und Lokalisierung von Objekten trainiert, die aus einer Menge von vordefinierten Objekt-Kategorien entstammen. Dieses Vorgehen verhindert somit die Erkennung von semantisch unbekannten Objekten, die möglicherweise in realen Anwendung auftreten könnten, wie zum Beispiel dem automatisierten Fahren. In solche einer sicherheitskritischen Anwendung ist die Erkennung von Objekten, die ein Modell nicht zuverlässig verarbeiten kann, besonderes notwendig, um menschliches Eingreifen zu ermöglichen.

In unserer Arbeit präsentieren wir eine Methode zur Erkennung von semantisch unbekannten Objekten in Straßenszenen. Unsere Methode basiert auf Modellunsicherheit sowie gezieltes Nachtrainieren von Modellen zur semantischen Segmentierung. Gegeben der probabilistischen Ausgabe von tiefen neuronalen Netzen, quantifizieren wir die Modellunsicherheit mittels der Entropie. Wir forcieren eine hohe Entropie Antwort auf unbekannten Objekten, indem wir während des Trainings Bilder mit alltäglichen Objekten in alltäglichen Szenen einfließen lassen. Dazu verwenden wir bereits trainierte Modelle zur semantischen Segmentierung und führen eine modifizierte multikritielle Verlustfunktion ein, die einerseits die Entropie auf unbekannten Objekten maximiert und andererseits die bereits vorhandene Genauigkeit der semantischen Segmentierung auf bekannten Objekten beibehält. Außerdem versehen wir unsere Methode mit einem Meta Klassifikator, welcher automatisiert und zuverlässig Falschanzeigen auffindet und somit die Genauigkeit unserer Gesamtmethode zusätzlich fördert.

In unseren Experimenten stellen wir fest, dass unsere Methode zu einer deutlich verbesserten Erkennung von unbekannten Objekten in der semantischen Segmentierung von Straßenszenen führt. Dabei beobachten wir des Weiteren, dass die Entropie Maximierung auch auf weitere Objekte generalisiert, die in keiner der zusätzlichen Trainingsbilder mit alltäglichen Objekten enthalten waren.  Dies geht einher mit einem äußerst minimalen Verlust der Genauigkeit bei der eigentliche Aufgabe der semantischen Segmentierung. Somit trägt unsere Methode zu sichererem Einsatz von tiefen neuronalen Netzen in realen Anwendung bei.

Diese Arbeit wurde bei der Konferenz „International Conference on Computer Vision (ICCV) 2021“ veröffentlicht.

Open Access Version: ICCV 2021 Open Access Repository (thecvf.com) 

SegmentMeIfYouCan – Ein Benchmark für Anomalie Segmentierung

In Zusammenarbeit mit der ETH Zürich und der EPFL ist das im Folgenden beschriebene Projekt entstanden. Das entsprechende Paper wurde erfolgreich bei der NeurIPS 2021 eingereicht.
Tiefe neuronale Netze (DNNs) für semantische Segmentierung operieren für gewöhnlich auf einer abgeschlossenen Menge semantischer Klassen. Werden sie in der „offenen“ Welt verwendet, zum Beispiel für das autonome Fahren, so werden sie zwangsläufig auf Objekte treffen, welche keiner dieser Klassen angehören (Anomalien). Besonders für sicherheitsrelevante Applikationen ist es essentiell, Anomalien als solche zu erkennen und zu lokalisieren. Unsere SegmentMeIfYouCan Benchmark bietet die Möglichkeit, bestehende Methoden zur Anomalie-Segmentierung zu vergleichen, und soll weitere Forschung in diese Richtung fördern. Dabei wird zwischen zwei verschiedenen Aufgaben unterschieden: 1) Segmentierung aller anomalen Objekte und 2) Segmentierung von Hindernissen auf der Straße (bekannt oder unbekannt). Mit RoadAnomaly21 und RoadObstacle21 stellen wir außerdem zwei entsprechende Datensätze bereit.

Paper: https://arxiv.org/abs/2104.14812

Website: http://segmentmeifyoucan.com/

GENERATIVE DATENBASIERTE ENTWICKLUNG EINES MEHRBRENNSTOFFÄHIGEN INJEKTORS DURCH BMWI UND SIEMENS ENERGY GEFÖRDERT

In diesem Projekt geht es um die Verwendung von Methoden des generativen Lernens im Design. Durch das Training von generativen neuronalen Netzwerken, z.B. GAN oder Invertible Flows, an Daten aus der numerischen Simulation lernt ein Algorithmus den Zusammenhang zwischen den Designparametern und der Leistungsfähigkeit des Designs in Hinblick auf multiple Qualitätsmerkmale (Zielgrößen). Ziel des Projektes ist die inverse Fragestellung ,,Welche Designparameter gehören zu welcher Kombination von Zielgrößen?“ mit datenbasierten Verfahren zu beantworten. Anwendung findet das Projekt im Design eines wasserstoffähigen Injektors für eine Gasturbine. Siemens Energy und das BMWi Fördern das Vorhaben zu gleichen Teilen mit insgesamt 174.000 Euro.

Ansprechpartner: Hanno Gottschalk
hanno.gottschalk@uni-wuppertal.de