101.763 SE (2std Seminar, Wintersemester 2018/19)
AKNUM-AKANA-AKWTH-AKFVM Seminar: Uncertainty Quantification
TISS-Homepage

101.762 SE (2std Seminar, Wintersemester 2018/19)
Seminar mit Seminararbeit Uncertainty Quantification
TISS-Homepage

Ort und Termin

Ziel des Seminars

Das Ziel des Seminars ist einen Einblick in Uncertainty Quantification und Approximationstheorie neuronaler Netze, aktive Forschungsgebiete der klassischen und numerischen Analysis, zu geben.

Inhalt des Seminars

Was ist Uncertainty Quantification?

In vielen Anwendungen ist der Input eines fixierten Modells, beispielsweise die rechte Seite oder die Geometrie mit Unsicherheiten behaftet, möglicherweise durch ungenaue Messungen. Das primäre Ziel von Uncertainty Quantification (UQ) ist festzustellen, wie sich diese Unsicherheiten durch das Modell fortpflanzen. Ein klassisches Modellproblem hierfür ist die Parameter-abhängige Differentialgleichung

- ∇ (a(x, y) ∇ u) = f

wobei y ∈ [-1, 1]^N als Parametrisierung der Unsicherheit verstanden werden kann. Äquivalent kann das Modellproblem auch as stochastische partielle Differentialgleichung (SPDE) betrachtet werden. Numerische Methoden in UQ nützen aus, dass unter gewisse Regularitätsannahmen an a(.,.) die Parameter-zu-Lösung-Abbildung y ↦ u(.,y) ebenfalls eine gewisse Regularität besitzt. Oftmals ist man allerdings nicht an der Lösung sondern mehr an quantities of interests (QoI) interessiert, also an Abbildungen y ↦ G(u(.,y)) für gewisse lineare Funktionale G. Uncertainty Quantification (UQ) ist ein derzeit sehr aktives und modernes Forschungsgebiet der klassischen und numerischen Analysis.

                     
Brownian Sheet, Quelle: Lord,Powell,Shardlow
Brownian Sheet, Quelle: Lord,Powell,Shardlow

Neuronale Netze und UQ

In den letzten Jahren hat sich ein regelrechter Hype um die Gebiete künstliche Intelligenz, maschinelles Lernen und neuronale Netze (NN) gebildet. In diesem Seminar sind wir großteils an den approximationstheoretischen Eigenschaften neuronaler Netze interessiert. Aktive mathematische Forschung beschäftigt sich mit der Frage ob Lösungen zu gewissen Problemen, die in UQ und hochdimensionaler Analysis auftreten, effizient mittels neuronaler Netze approximiert werden können. Auch wenn viele Fragestellungen bezüglich der mathematischen Rechtfertigung neuronaler Netze noch offen sind, gibt es schon einige Resultate, beispielsweise zur Approximation folgender Größen mittels NN:

                     
Machine leraning, Quelle: xkcd.com
Machine leraning, Quelle: xkcd.com

Vorträge und Termine

Um die Notation festzulegen und einen mathematischen Grundstein zu allen weiteren Themen zu legen werden einführende Vorträge der Vortragenden in den ersten Wochen des Seminars gegeben. Anschließend folgen die Vorträge der Studenten. Mögliche Themen sind:

Talks

DatumVortragenderTopicLiteratur
25.10.2018Faustmann/BernkopfEinführung in UQ
8.11.2018Thomas WagenhoferRandom Fields[LPS]
9.11.2018Fabian AchammerStochastische Differentialgleichungen[LPS]
22.11.2018Tobias WöhrerPDEs mit stochastischen Koeffizienten: analytische Regularität[CDS1]
23.11.2018Merlin FallahpourPDEs mit stochastischen Koeffizienten: Galerkin Verfahren[CDS2]
29.11.2018Sebastian ErtlMonte-Carlo FEM[LPS]
30.11.2018Philipp WörleMulti-level Monte-Carlo Verfahren[CGST],[BSZ]
6.12.2018Patricia DaxbacherEinführung in NN[HH],[GBC]
7.12.2018Lorenz FischlTopologische Eigenschaften neuronaler Netze[PRV]
13.12.2018Carl-Martin PfeilerFehlerschranken bei Approx. mit ReLU-NN: Obere Schranken[Yar]
14.12.2018Philip MünzUntere Schranken, Nichtlineare Approximationstheorie[Yar],[DHM]
20.12.2018Johann FaschingleitnerLösen von Kolmogorov Gleichungen mit NN[BBGJJ]
21.12.2018Florian HuberDeep learning in high dimensions[SZ]

Leistungsnachweis

90-minütiger Vortrag. Für Bachelorseminar (LVA 101.762) zusätzlich Seminararbeit.

Für das Erstellen der Seminararbeit ist das Template von Dirk Praetorius hilfreich: Seminararbeit Template

Einführungsvortrag

Mathematische Grundlagen für UQ: Vortrag Faustmann

Was ist UQ: Vortrag Bernkopf

Literatur

[LPS] Gabriel Lord, Cathrine Powell, Tony Shardlow: An Introduction to Computational Stochastic PDEs Link (TU VPN)

[CDS1] Albert Cohen, Ronald DeVore, Christoph Schwab: Analytic regularity and polynomial approximation of parametric and stochastic elliptic PDEs, Link

[CDS2] Albert Cohen, Ronald DeVore, Christoph Schwab: Convergence rates of best N-term Galerkin approximations for a class of elliptic sPDEs, Link

[ST] Christoph Schwab, Radu Todor: Sparse finite elements for stochastic elliptic problems - higher order moments, Link

[CGST] K.A. Cliffe, M.B. Giles, R. Scheichl, A.L. Techentrup: Multilevel Monte Carlo methods and applications to elliptic PDEs with random coefficients, Link

[BSZ] Andrea Barth, Christoph Schwab, Nathaniel Zollinger: Multilevel Monte Carlo Finite Element method for elliptic PDEs with stochastic coefficients, Link

[GBC] Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep Learning, Link

[HH] Cathrine Higham, Desmond Higham: Deep Learning: An Introduction for Applied Mathematicians, Link

[PRV] Philipp Petersen, Mones Raslan, Felix Voigtlaender: Topological properties of the set of functions generated by neural networks of fixed size, Link

[Yar] Dmitry Yarotsky: Error bounds for approximations with deep ReLU networks, Link

[DHM] Ronald DeVore, Ralph Howard, Charles Micchelli: Optimal nonlinear approximation Link

[BBGJJ] Christian Beck, Sebastian Becker, Philipp Grohs, Nor Jaafari, Arnulf Jentzen: Solving stochastic differential equations and Kolmogorov equations by means of deep learning, Link

[SZ] Christoph Schwab, Jakob Zech: Deep Learning in High Dimension, Link

 

Maschine Learning Course von Google: Link

Tensorflow Tutorials: Link

Vorkenntnisse

Das Seminar ist geeignet für Bachelor-, Master- und Doktoratsstudenten. Als minimale Voraussetzung sind Funktionalanalysis 1, Differentialgleichungen 1 und Numerik erwünscht.