Optimization Methods for Machine Learning and Engineering

Qualifikationsziel: Studierende sind in der Lage praktische Aufgabenstellungen als Optimierungsprobleme zu formulieren und mit geeigneten algorithmischen Verfahren zu lösen.

Lernziele: Die Studierenden kennen

  • Die wichtigsten Kategorien von (konvexen) Optimierungsproblemen und deren mathematische Grundlagen
  • Die zugehörigen algorithmischen Lösungsverfahren und deren Laufzeitkomplexität
  • Techniken zur Modellierung praktischer Aufgabenstellung als Optimierungsprobleme (Machine Learning, Ingenieurwissenschaften, Finance)
  • Verfahren zur Transformation und Approximation von Optimierungsproblemen für den Einsatz ressourceneffizienter Verfahren

Inhalt
Unter dem Begriff Optimierung versteht man Lösungsverfahren zur Identifikation der besten Lösung für eine komplexe Problemstellung. Vielen Aufgabenstellungen, insbesondere aus dem maschinellen Lernen und aus den Ingenieurwissenschaften liegt die Lösung eines Optimierungsproblems zugrunde. In dieser Vorlesung werden die Grundzüge der Optimierungstheorie und die gängigen Lösungsverfahren für konvexe Optimierung anhand vielfältiger Anwendungen aus dem maschinellen Lernen, sowie den Natur- und Ingenieurwissenschaften vorgestellt. Die Studierenden erhalten in den Übungen die Möglichkeit, ihr Wissen auf praktische Aufgabenstellungen anzuwenden.

Content
The term optimization refers to techniques for the identification of the best solution in a complex problem setting. Many applications from machine learning and engineering are based on solving an optimization problem. This lecture introduces the major theoretical and algorithmic tools for solving of convex optimization problems. Practical problems for machine learning, engineering and further application domains are used as illustration. The students apply their knowledge to practical optimization problems in tutorial exercises. 

A teaser video to introduce the course can be found here.

*Note: The lecture will be held in English.

Arbeitsaufwand
Vorlesung mit 2 SWS + 1 SWS Übung
5 ECTS entspricht ca. 150 Stunden
ca. 30 Std. Vorlesungsbesuch,
ca. 15 Std. Übungsbesuch,
ca. 90 Std. Nachbearbeitung und Bearbeitung der Übungsblätter
ca. 30 Std. Prüfungsvorbereitung

Literatur

  • Boyd, Stephen, and Lieven Vandenberghe. Convex optimization. Cambridge university press, 2004.
  • Luenberger, David G. Optimization by vector space methods. John Wiley & Sons, 1969.
  • Sra, Suvrit, Sebastian Nowozin, and Stephen J. Wright, eds. Optimization for machine learning. MIT Press, 2012.

Aktuelle Hinweise

* The lecture videos are accessible at Optimization Methods for Machine Learning and Engineering (KIT Winter Term 20/21).
* The course information on ILAS is available here.

Bewertungen der Vorlesung