Entropie Maximierung und Meta Klassifikation zur Erkennung von unbekannten Objekten in der semantischen Segmentierung
Semantische Segmentierung beschreibt die Aufgabe der Detektion und pixelweisen Lokalisierung von Objekten in Bildern. Dazu werden in der Praxis tiefe neuronal Netze als Modelle verwendet. Diese werden allerdings lediglich zur Detektion und Lokalisierung von Objekten trainiert, die aus einer Menge von vordefinierten Objekt-Kategorien entstammen. Dieses Vorgehen verhindert somit die Erkennung von semantisch unbekannten Objekten, die möglicherweise in realen Anwendung auftreten könnten, wie zum Beispiel dem automatisierten Fahren. In solche einer sicherheitskritischen Anwendung ist die Erkennung von Objekten, die ein Modell nicht zuverlässig verarbeiten kann, besonderes notwendig, um menschliches Eingreifen zu ermöglichen.
In unserer Arbeit präsentieren wir eine Methode zur Erkennung von semantisch unbekannten Objekten in Straßenszenen. Unsere Methode basiert auf Modellunsicherheit sowie gezieltes Nachtrainieren von Modellen zur semantischen Segmentierung. Gegeben der probabilistischen Ausgabe von tiefen neuronalen Netzen, quantifizieren wir die Modellunsicherheit mittels der Entropie. Wir forcieren eine hohe Entropie Antwort auf unbekannten Objekten, indem wir während des Trainings Bilder mit alltäglichen Objekten in alltäglichen Szenen einfließen lassen. Dazu verwenden wir bereits trainierte Modelle zur semantischen Segmentierung und führen eine modifizierte multikritielle Verlustfunktion ein, die einerseits die Entropie auf unbekannten Objekten maximiert und andererseits die bereits vorhandene Genauigkeit der semantischen Segmentierung auf bekannten Objekten beibehält. Außerdem versehen wir unsere Methode mit einem Meta Klassifikator, welcher automatisiert und zuverlässig Falschanzeigen auffindet und somit die Genauigkeit unserer Gesamtmethode zusätzlich fördert.
In unseren Experimenten stellen wir fest, dass unsere Methode zu einer deutlich verbesserten Erkennung von unbekannten Objekten in der semantischen Segmentierung von Straßenszenen führt. Dabei beobachten wir des Weiteren, dass die Entropie Maximierung auch auf weitere Objekte generalisiert, die in keiner der zusätzlichen Trainingsbilder mit alltäglichen Objekten enthalten waren. Dies geht einher mit einem äußerst minimalen Verlust der Genauigkeit bei der eigentliche Aufgabe der semantischen Segmentierung. Somit trägt unsere Methode zu sichererem Einsatz von tiefen neuronalen Netzen in realen Anwendung bei.
Diese Arbeit wurde bei der Konferenz „International Conference on Computer Vision (ICCV) 2021“ veröffentlicht.
Open Access Version: ICCV 2021 Open Access Repository (thecvf.com)