Beim überwachten Lernen in der Theorie der künstlichen neuronalen Netze sind zu bestimmten Eingabedaten die gewünschten Ausgabedaten bekannt.

Ein Lernalgorithmus versucht, die Gewichte des Netzes (die freien Parameter) so zu verändern, dass sich die Ausgabe für möglichst alle Eingaben verbessert. Dazu wird ein Fehlermaß eingeführt, das minimiert werden soll. Eine beliebte Wahl ist der mittlere quadratische Fehler (MSE, mean square error) aller Trainingsdaten. Ein Lernschritt könnte wie folgt aussehen:

1. Anlegen der Eingabe
2. Verarbeitung der Eingabe (Propagierung)
3. Vergleich der Ausgabe mit dem erwünschten Wert (Fehler)
4. Verkleinern des Fehlers durch Modifikation der Gewichte (z.B. mit Backpropagation)

Nach diesem Training bzw. Lernprozess sollte das Netz die Fähigkeit besitzen, zu einer unbekannten, den gelernten Beispielen ähnlichen Eingabe, eine korrekte Ausgabe zu liefern. Um diese Fähigkeit zu testen, unterteilt man die verfügbaren Daten in ein Trainingsset und ein Testset. Das eigentliche Ziel ist es jetzt, den Fehler im Testset, mit dem nicht trainiert wird, zu minimieren.

Besitzt das Modell sehr viele Parameter (Gewichte) oder sind nur wenige Trainingsdaten vorhanden, kommt es leicht zur Überanpassung (Overfitting). Das zeigt sich, wenn der Fehler im Trainingsset zwar weiterhin sinkt, aber derjenige im Testset wieder zu steigen beginnt, weil die bekannten Daten einzeln gelernt werden (anstelle der allgemeinen Regel dahinter). Oft wird genau dieser Zeitpunkt abgewartet, um den Trainingsvorgang zu stoppen. Damit wird aber das Testset beim Training verwendet. Zur Beurteilung wird daher ein drittes Validierungsset eingeführt.

Siehe auch

• Unüberwachtes Lernen
• Regressionsanalyse

Maschinelles Lernen | Neuroinformatik

Supervised learning | Apprendimento supervisionato | Supervised learning | การเรียนรู้แบบมีผู้สอน | Học có giám sát