Autor: Marius Schubert

MetaBox+: A new Region Based Active Learning Method for Semantic Segmentation using Priority Maps

MetaBox: eine neuartige regionsbasierte Active Learning Methode für die semantische Bildsegmentierung

Für die Auswahl der zu annotierenden Regionen versuchen wir Bildbereiche zu bestimmen, die zu einem eine schlechte Segmentierungsqualität und zum anderen niedrig Kosten aufweisen.
Für die Erkennung der Segmentierungsqualität stellen wir ein Meta-Regressionsmodell auf, welches jedes Segment der ungelabelten und vorhergesagten Bilder beurteilt und ihre Genauigkeit schätzt.
Die Kostenschätzung basiert auf einer einfachen und praktisches Methode, die auf den Bildvorhersagen angewendet wird.
Die Experimente mit der Methode MetaBox+ zeigen, dass wir nahezu die gleiche KI Performance mit nur 10-30% der gesamten Annotationskosten erzielen.
Weiterhin weisen die Experimente und der Vergleich mit anderen Methoden auf interessante Erkenntnisse in Bezug auf Robustheit und der Hinzunahme einer Kostenschätzung auf.

Paper: https://arxiv.org/abs/2010.01884

MetaDetect: Uncertainty Quantification and Prediction Quality Estimates for Object Detection

MetaDetect: Unsicherheitsquantifizierung und Vorhersagequalitätsschätzungen in der Objektdetektion

Bei der Objekterkennung mit tiefen neuronalen Netzen neigt der vorhersagenbezogene Objektscore dazu überkonfident zu sein. Das kann dazu führen, dass eine ungenaue Vorhersage einen hohen Objektscore besitzt. Daher ist die Zuverlässigkeit der Vorhersagen und damit verlässliche Unsicherheiten von höchstem Interesse. In dieser Arbeit stellen wir eine Methode vor, die für ein beliebiges neuronales Netz prädiktive Unsicherheitsschätzungen und Qualitätsschätzungen liefert. Diese Schätzungen werden unabhängig des zugrunde liegenden Netzes, sondern nur basierend auf den Vorhersagen erstellt. Es wird ein Modell erlernt, das als Input einen handgefertigten Satz von transparenten Metriken in Form eines strukturierten Datensatzes erhält und als Output erhält man ein Performance Maß für die Objektdetektion (IoU).

 

 

Links: Objektscore
Mitte: Wahres Performancemaß (IoU zwischen Groundtruth und Vorhersage)
Rechts: Vorhergesagtes Performancemaß (IoU)

 

 

Paper: https://arxiv.org/abs/2010.01695

Efficient and Sparse Neural Networks by Pruning Weights in a Multiobjective Learning Approach

Netzwerkoptimierung mit einem multikriteriellen Lernansatz

Beim Design und Training tiefer neuraler Netzwerke sind Overparameterization (die Verwendung eines für die Aufgabe zu komplexen Netzwerkes) und Overfitting (das exakte Lernen der Trainingsdaten wodurch sich die Generalisierung auf andere Inputdaten verschlechtert) häufige auftretende Probleme. Oft werden Pruning- und Regularisierungstechniken verwendet um dem entgegen zu wirken. Diese Strategien bleiben jedoch meist dem Trainingsziel untergeordnet und führen unter Umständen zu zeit- und rechenintensiven Verfahren.

 

Wir schlagen eine multikriterielle Perspektive auf das Training neuronaler Netze vor, indem die Vorhersagegenauigkeit und die Netzwerkkomplexität als zwei konkurrierende Zielfunktionen in einem bikriterielle Optimierungsproblem betrachtet werden.

Unsere Ansätze testen wir auf CNNs (convolutionary neural networks) zur Bildklassifikation mit Crossentropy als Maß für die Vorhersagegenauigkeit, während wir die l1-Penaltyfunktion verwenden, um die Komplexität des Netzwerks zu bewerten. Letztere wird mit einem sogenannten Intratraining-Pruning kombiniert, das die Komplexitätsreduktion verstärkt und nur marginale zusätzliche Rechenkosten erfordert.

Wir vergleichen zwei verschiedene Optimierungsparadigmen: Zum einen verwenden wir einen Skalarisierungsansatz, der das bikriterielle Problem in eine Reihe von Skalarisierungen transformiert. Auf der anderen Seite implementieren wir ein stochastisches Gradientenabstiegsverfahren, das eine Pareto-optimale Lösung generiert, ohne dabei Präferenzinformationen zu benötigen.

Numerische Ergebnisse an CNNs bestätigen, dass eine signifikante Komplexitätsreduktion neuronaler Netze mit vernachlässigbarem Genauigkeitsverlust möglich ist.

Genauigkeit vs. Netzwerkkomplexität (Anzahl der Nicht-Null-Gewichte)

Paper: https://arxiv.org/abs/2008.13590

Simulation of Anode Corrosion In The Electrowinning Process Of Non-Ferrous Metals

Fehlererkennung im Fertigungsprozess von Leiterplatten mittels Computer Vision

Der Lehrstuhl für Zuverlässigkeitstechnik und Risikoanalytik (LZR) hat Forschungsergebnisse bei der 30. European Safety and Reliability Conference (ESREL 2020), die vom 01. bis 06.November 2020 in Venedig, Italien, in Kombination mit der 15. Probabilistic Safety Assessment and Management Conference (PSAM 15) stattfinden wird, publiziert. Die ESREL-Konferenz ist die größte und bedeutendste Konferenz in Europa im Hinblick auf die Themenfelder Zuverlässigkeit und Sicherheit.

Der Schwerpunkt der publizierten Forschungsarbeit liegt in der Entwicklung eines Modells zur automatischen optischen Inspektion (AOI) von Leiterplatten. Fokussiert wird dabei auf die Detektion von Fehlern, die in Form von mangelhaft verzinnten Kupferpads während des Herstellungsprozesses auftreten. Im Rahmen der Studie wurde ein Bilddatensatz generiert, auf Basis dessen convolutional neural networks (CNNs) mit dem Ansatz der patch-based classification (Klassierung von Bildausschnitten) trainiert und evaluiert wurden. Durch Variation verschiedener Netzparameter konnte eine Modelloptimierung erzielt werden.

Paper: https://www.rpsonline.com.sg/proceedings/esrel2020/html/4438.xml

MetaFusion: Controlled False-Negative Reduction of Minority Classes in Semantic Segmentation

Kontrollierte Verbesserung der Erkennung von Minderheitsklassen in der semantischen Bildsegmentierung

In Datensätzen für die semantische Segmentierung sind Klassen von hoher Relevanz häufig unterrepräsentiert. Neuronale Netze sind nun so trainiert, dass sie die totale Anzahl der Fehler reduzieren und somit identische Kosten für Verwechslungen jeglicher Art anheften. Letzteres entspricht nicht notwendigerweise der menschlichen Intuition. Einen Ausweg bieten Entscheidungsregeln, welche die Sensitivität zugunsten von unterrepräsentierten Klassen erhöhen. Die falsch negativ Rate der unterrepräsentierten Klasse wird dadurch reduziert, jedoch auf Kosten einer beachtlichen Erhöhung der falsch positiv Anzeigen derselben Klasse.

Wir kombinieren Entscheidungsregeln mit Unsicherheitsbasierten Detektionsverfahren von falsch positiv Anzeigen. Damit sind wir in der Lage nachträglich, also ohne das zugrunde liegende Neuronale Netz zu modifizieren, verbesserte Verhältnisse zwischen falsch positiv und falsch negativ Fehlerraten bezüglich der Menschenklasse im Cityscapes Datensatz zu erzielen.

Paper: https://arxiv.org/abs/1912.07420

Time-Dynamic Estimates of the Reliability of Deep Semantic Segmentation Networks

Zeitdynamische Unsicherheiten in der semantischen Bildsegmentierung

In der semantischen Segmentierung von Straßenszenen mit neuronalen Netzen ist die Zuverlässigkeit von Vorhersagen von höchstem Interesse. Die Bewertung von neuronalen Netzen anhand von Unsicherheiten ist ein häufig verwendeter Ansatz, um Sicherheitsprobleme zu vermeiden. Da in Anwendungen wie dem automatisiertem Fahren, Sequenzen von Bildern zur Verfügung stehen, stellen wir einen zeitdynamischen Ansatz zur Untersuchung von Unsicherheiten und zur Beurteilung der Vorhersagequalität neuronaler Netze vor. Wir verfolgen Segmente über die Zeit und bilden Metriken pro Segment, sodass wir Zeitreihen von Metriken erhalten, mit denen wir die Vorhersagequalität beurteilen können. Dafür werden falsch positive Segmente sowie ein Performance Maß für die semantische Segmentierung vorhergesagt.

Paper: https://arxiv.org/abs/1911.05075

Offener BIT-Nachmittag Spaziergang

Offener BIT-Nachmittag: 21.10.2020, 15-17 Uhr

Leider vorerst aufgrund der aktuellen Corona-Lage abgesagt!

Der offene BIT-Nachmittag wird am Mittwoch, den 21.10.2020 von 15-17 Uhr im Gelpetal, in der Nähe von Wuppertal-Ronsdorf, stattfinden und richtet sich insbesondere an Interessierte aus der regionalen Wirtschaft. Mehr...

Das KI-Vernetzungswandern ermöglicht in sicheren 1,5 m Abstand durch das schöne Gelpetal zu wandern und sich dabei mit den Ki-Expert*innen der Bergischen Innovationsplattform für künstliche Intelligenz auzutauschen. Das Angebot richtet sich an Data Science und KI-Expert*innen aus Firmen des Bergischen Landes sowie an Entscheidungsträger*innen. Leider ist aufgrund der Umstände eine Anmeldung erforderlich und die Teilnehmerzahl von externen Interessenten ist auf 10 Personen beschränkt.

Ablauf:

Beachten Sie dabei folgende Regeln:

  • Bitte melden Sie sich bis spätestens Montag, den 14.10.2020 bei Herrn Gottschalk (hanno.gottschalk@uni-wuppertal.de) an, um Nachverfolgbarkeit zu gewährleisten.
  • Bei Erkältungssymptomen bleiben Sie bitte der Veranstaltung fern.
  • Achten Sie beim Wandern auf den Mindestabstand von 1,5 m.

Die Wanderung findet bei jedem Wetter statt. Denken Sie bitte gegebenenfalls an angemessene Kleidung, Regenschirme, feste Schuhe etc.

Für weitere Informationen siehe: Bit-Flyer

Offener BIT-Nachmittag

Offener BIT-Nachmittag: 13.12.2019, 14-17 Uhr

Der offene BIT-Nachmittag wird am Freitag, den 13.12.2019 von 14-17 Uhr in Mülheim an der Ruhr stattfinden und richtet sich insbesondere an Interessierte aus der regionalen Wirtschaft. Mehr...

Ablauf:

  • 14:00-14:15: Begrüßung durch den Gastgeber Siemens
  • 14:15-14:45: Maschinelles Lernen und KI – Einordnung und Chancen – (Prof. Jörg Frochte)
  • 14:45-15:15: Maschinelles Lernen auf Zeitreihen (Prof. Hanno Gottschalk)
  • 15:15-17:00: KI zum Mitmachen, Expertenkaffee/Sprechstunde

Anmeldungen bitte per Mail an: rosemarie.zoch@siemens.com oder per Telefon unter +49 (208) 456-1999

Für weitere Informationen siehe: flyer_bit_siemens