Prüfungsprotokoll Diplomprüfung Mathematische Aspekte neuronaler Netze

So – Sie wollten uns was über zweischichtige neuronale Feed-Forward Netze erzählen...

Ich habe dann mit dem formalen Neuron incl. Transferfunktion, Gewichtsvektor und Schwellwert angefangen – habe dann den prinzipiellen Aufbau eines zweischichtigen neuronalen Feed-Forward-Netzes erklärt – bin dann auf die Hebb-Lernregel und deren Motivation eingegangen und habe dann noch den linearen Assoziierer erklärt einschließlich dem Beweis, warum er auf den Trainingsdaten perfekt arbeitet, wenn die Eingabevektoren ein orthonormales Vektorsystem bilden.

Okay – das ist jetzt ja noch nicht so richtig zufriedenstellend – was gibt es denn noch für Lernregeln für zweischichtige Feed-Forward-Netze?

Perceptron – daraufhin habe ich das Perceptron-Lernen und das iterierte Perceptron-Lernen erklärt und auch wieder gesagt, dass hier perfekt auf den Trainingsdaten gearbeitet wird, wenn die zu lernenden Assoziationen streng linear separierbar sind.

Was bedeutet denn strenge lineare Separierbarkeit geometrisch?
Dass es m Hyperebenen im Rⁿ gibt, so dass alle x^(s) mit y_j=1 auf der einen Seite der Hyperebene liegen und alle mit y_j=0 auf der anderen.

Was ist dann daran die STRENGE lineare Separierbarkeit?

Da kam ich nicht direkt drauf und hab erst mal die Definition in Formel hingeschrieben – und im Gespräch kam ich dann drauf, dass die x dann wirklich auf einer Seite der Hyperebene liegen und eben nicht drauf!

Gut – kommen wir jetzt zu dreischichtigen neuronalen Feed-Forward-Netzen...dann hat er ziemlich lange eingeleitet, dass er etwas von mir über das Kolmogorov-Typ-Resultat wissen wollte.

Habe Kolmogorov-Typ-Resultat aufgeschrieben und erklärt.

Wie kann man das jetzt zeigen?

Dieser Beweis ist ja ziemlich lang – er wollte von mir auch nur die Beweisidee wissen – aber da hat er die einzelnen Schritte doch ziemlich genau hinterfragt – habe also vom Fortsetzungssatz von Tiezte, vom Weierstraßschen Satz zu trigonometrischen Polynomen, vom Satz von Mhaskar und Micchelli erzählt – er fragte immer wieder genau nach.

Gut – dann gab es da ja noch ein Verfahren, dass auf der Fixpunktiteration beruht.

Habe das Backpropagation-Verfahren erklärt und auch die zu minimierende Fehlerfunktion und das Gradientenverfahren genauer erläutert. Nachher fiel mir doch einfach die Fixpunktiteration nicht mehr ein – aber da war die Zeit auch schon überschritten – deshalb meinte er, könne das passieren...

Sehr angenehme Prüfungsatmosphäre. Prof. Boos bittet vor der Prüfung darum, ein kurzes Thema vorzubereiten, über das man am Anfang der Prüfung dann ein 5min-Referat halten soll, damit man schon mal ans Reden kommt – das habe ich als sehr angenehm empfunden. Auch sonst geht er sehr auf einen ein und stellt seine Fragen auch um, wenn man sie nicht auf Anhieb versteht.

Viel Erfolg!