Zurück

Wie bewerte ich die Qualität meines ML-Modells?

“Traue keiner Statistik, die du nicht selber gefälscht hast.” – Ein scheinbar gutes Ergebnis mit Hilfe von maschinellen Lernverfahren ist oft schnell erzielt oder wird von anderen als bahnbrechend verkauft. Doch auf welche Gütemaße kann man sich bei einem Klassifikations- oder Regressionsproblem wirklich verlassen und welche Interpretationen der Ergebnisse sind zulässig?

In unserem Training wollen wir Theorie und Praxis der Modellvalidierung verknüpfen, indem wir die auf den ersten Blick häufig theorielastigen Methoden an Beispielen aus unseren eigenen Forschungsfeldern sowie durch prägnante Codebeispiele verdeutlichen und somit auch auf typische Fehler in der Validierungsmethodik aufmerksam machen. Besondere Beachtung soll hierbei die Rolle des Datensatzes in der Modellvalidierung zukommen.

Vorkenntnisse

Grundkenntnisse in Python (z.B.: numpy, sklearn) sind von Vorteil, um den interaktiven Beispielen und Übungen folgen zu können.

Lernziele

Die Teilnehmer sind nach dem Training in der Lage
* eine geeignete Methodik für die Auswertung von eigenen ML-Modellen zu wählen und anzuwenden,
* den vorhandenen Datensatz kritisch zu hinterfragen, angemessen aufzuteilen und anwendungsspezifisch zu erweitern,
* die erzielten Validierungsergebnisse zu interpretieren und richtige Schlussfolgerunge für weitere Modellverbesserungen abzuleiten.

Agenda

Motivation und Grundlagen:

  • Einstiegsbeispiele
  • Workflow der Modellvalidierung

Teil 1: Die Rolle des Datensatzes

  • explorative Datenanalyse
  • (Prävalenz-)Fehler im Datensatz
  • Datensatzaufteilung und -Augmentation
  • Praxis: Exploration, Aufbereitung, Splitting und Augmentation eines Datensatzes

Teil 2: Validierung von Klassifikations- und Regressionsmodellen

  • Einteilung von Prädiktionsmodellen
  • Fehlermaße und Gütekriterien der Regression
  • Fehlermaße und Gütekriterien der Klassifikation
  • Praxis: Training, Validierung und Test eines Klassifikationsmodells sowie Interpretation der Ergebnisse

Teil 3: Blick über den Tellerrand

  • Beispiel 1: Validierung von Modellen zur Prädiktion industrieller Zeitreihendaten
  • Beispiel 2: Umgang mit der Overconfidence von faltenden neuronalen Netzen (CNN) in der medizinischen Bilddiagnose

 

Technische Anforderungen

Die Beispiele und Übungen werden online in Form von (Jupyter-)Notebooks zugänglich gemacht und stehen auch nach dem Workshop zum Download zur Verfügung. Ein Notebook mit Internetzugang und aktuellem Browser genügt somit.

Speaker

 

Max-Heinrich Laves
Max-Heinrich Laves ist wissenschaftlicher Mitarbeiter am Institut für mechatronische Systeme der Leibniz Universität Hannover. Er forscht im Bereich der Medizintechnik und der medizinischen Bildverarbeitung. Sein besonderes Interesse hat die dreidimensionale optische Kohärenztomographie (OCT), bei der er Deep Learning unter anderem für die computerassistierte Diagnose (CAD) und für das Schätzen von Rauschmodellen zur Bildverbesserung einsetzt.

Karl-Philipp Kortmann
Karl-Philipp Kortmann forscht ebenfalls als wissenschaftlicher Mitarbeiter am Institut für mechatronische Systeme der Leibniz Universität Hannover im Bereich der prädiktiven Datenanalyse in der industriellen Produktionstechnik.

 

Jetzt Tickets sichern

M3-Konferenz-Newsletter

Sie möchten über die ML Essentials
auf dem Laufenden gehalten werden? Dann abonnieren Sie den Newsletter der zugehörigen Konferenz Minds Mastering Machines (M3).

 

Anmelden