Die Methode der kleinsten Quadrate (bezeichnender auch: der kleinsten Fehlerquadrate; englisch: Least Squares Method) ist das mathematische Standardverfahren zur Ausgleichungsrechnung. Es ist eine Wolke aus Datenpunkten gegeben, die physikalische Messwerte, wirtschaftliche Größen usw. repräsentieren können. In diese Punktwolke soll eine möglichst genau passende, parameterabhängige Modellkurve gelegt werden. Dazu bestimmt man die Parameter dieser Kurve numerisch, indem die Summe der quadratischen Abweichungen der Kurve von den beobachteten Punkten minimiert wird.

LogistischeFunktion.png

In der Grafik sind die $(t;\; y)$-Paare als Datenpunkte zu erkennen. Es wurde hier eine logistische Funktion in die Punktwolke gelegt. Die Parameter dieser Funktion werden so bestimmt, dass die Quadratsumme der senkrechten Abweichungen e der Beobachtungen y von der Kurve minimiert wird.

In der Stochastik wird die Methode der kleinsten Quadrate meistens als Schätzmethode in der Regressionsanalyse benutzt. Diese Begriffe werden, ebenso wie Ausgleichsrechnung, häufig von den Anwendern synonym gebraucht. In der mathematischen Statistik nennt man das Verfahren auch Kleinste-Quadrate-Schätzung, während in der Physik der Begriff Fitting verwendet wird. Die Fülle an Begriffen demonstriert die Bedeutung und Verbreitung der Methode.

Angewandt als Systemidentifikation ist die Methode der kleinsten Quadrate in Verbindung mit Modellversuchen für Ingenieure ein Ausweg aus der paradoxen Situation, Modellparameter für unbekannte Gesetzmäßigkeiten zu bestimmen.

Zum Einstieg

---

Carl Friedrich Gauss.jpg]]

Am Neujahrstag des Jahres 1801 entdeckte der italienische Astronom Giuseppe Piazzi den Asteroiden Ceres. 40 Tage konnte er die Bahn verfolgen, dann verschwand Ceres hinter der Sonne. Im Laufe des Jahres versuchten viele Wissenschaftler anhand von Piazzis Beobachtungen die Bahn zu schätzen (die Lösung der nichtlinearen Kepler-Gleichungen ist sehr schwierig). Die meisten Rechnungen waren unbrauchbar; als einzige war diejenige des 24jährigen Carl Friedrich Gauß genau genug (die Grundlagen schuf er schon 1795 mit 18 Jahren), um dem deutschen Astronomen von Zach zu ermöglichen, im darauffolgenden Dezember den Asteroiden wiederzufinden. Gauß erlangte dadurch Weltruhm. Sein Verfahren, die Methode der kleinsten Quadrate, publizierte er erst 1809 im zweiten Band seines himmelsmechanischen Werkes Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium. Unabhängig davon entwickelte der Franzose Adrien-Marie Legendre 1806 dieselbe Methode.

1829 konnte Gauß eine Begründung liefern, wieso sein Verfahren im Vergleich zu den anderen so erfolgreich war: Die Methode der kleinsten Quadrate ist in einer breiten Hinsicht optimal, also besser als andere Methoden. Die genaue Aussage ist als der Satz von Gauß-Markov bekannt.

Das Verfahren

---

Häufig ist für ein gegebenes Problem keine formelhafte Beschreibung zur Hand: Man interessiert sich für eine abhängige Variable y, deren Zustandekommen von einer vorgegebenen Variablen t oder auch von mehreren Variablen $t\_1$ bis $t\_q$ abhängen kann. So hängt die Dehnung einer Feder nur von der aufgebrachten Kraft ab, der Gewinn eines Unternehmens jedoch von mehreren Faktoren wie Umsatz, Return on Investment oder Eigenkapital. Um Informationen über die Art des Zusammenhangs zu erhalten, wird man eine Messreihe y durchführen: Es werden zu verschiedenen Werten der unabhängigen Variablen t_j entsprechende y-Werte erhoben. Nun wird versucht, die y-Werte mit einer Modellfunktion

$y\_m\; =\; f(t\_1,\backslash dots,\; t\_q;x\_1,\backslash dots,x\_p)$,

die von den q Variablen sowie p zusätzlichen Parametern abhängen soll, gut zu approximieren.

Für die Wahl dieser Modellfunktion geht man im Allgemeinen von einem vermuteten Funktionstyp aus (beispielsweise einer Parabel oder einer Exponentialfunktion), was im Fall einer unabhängigen Variablen t meistens unproblematisch ist. Die Parameter $x$ dienen zur Anpassung des gewählten Funktionstyps an den beobachteten Wert y. So müsste bei der gemessenen Dehnung einer Feder die gegebene Variable Kraft durch den Parameter Federkonstante relativiert werden. Ziel ist es nun, die Parameter so zu wählen, dass die Modellfunktion die Daten bestmöglich approximiert. Zu betonen ist hierbei, dass es im Allgemeinen wesentlich mehr Datenpunkte gibt als Parameter.

Zunächst ist es nicht klar, wie man die Güte verschiedener Approximationen beurteilen soll. Gauß und Legendre hatten die Idee, Annahmen über die Messfehler zu machen. Diese sollten im Durchschnitt Null sein; jeder Messfehler sollte die gleiche Varianz haben und von jedem anderen Messfehler stochastisch unabhängig sein. Man verlangt damit, dass in den Messfehlern keinerlei systematische Information mehr steckt, sie sollen also rein zufällig um Null schwanken. Außerdem sollten die Messfehler normalverteilt sein, was zum einen wahrscheinlichkeitstheoretische Vorteile hat und zum anderen garantiert, dass Ausreißer in y so gut wie ausgeschlossen sind.

Das Kriterium zur Bestimmung der Approximation sollte dieses also berücksichtigen und so gewählt werden, dass große Abweichungen der Modellfunktion von den Daten viel stärker bestraft werden als kleine. Mit Hilfe der Maximum-Likelihood-Methode kann letztendlich folgende Vorschrift begründet werden: Es sollen diejenigen Parameter ausgewählt werden, bei denen die Summe der Quadrate der Abweichungen zwischen entsprechender Modellkurve und Daten (die Quadratsumme der Residuen) minimal wird im Vergleich zu anderen Wahlen der Parameter, in Formelschreibweise

$\backslash min\_\{\backslash vec\{x\}\}\; \{\; \backslash sum\_\{i=1\}^\{n\}(y\_m\; -\; y\_i)^2\}\; .$

Äquivalent geht es darum, die euklidische Norm des Differenzvektors zu minimieren:

$\backslash min\_\{\; \backslash vec\{x\}\; \}\; \backslash |\; \backslash vec\{y\}\_\{m\}\; (\; \backslash vec\{x\}\; )\; -\; \backslash vec\{y\}\; \backslash |\_2\; \backslash \; .$

Wie genau dieses Minimierungsproblem gelöst wird, hängt von der Art der Modellfunktion ab. Häufig kann man mit Hilfe eines Streudiagramms zwischen t_j und y schon Rückschlüsse auf den Funktionstyp ziehen.

Lineare Modellfunktion

---

Ein Spezialfall der Modellfunktion ist die lineare Form. Der einfachste lineare Ansatz ist $y\_m\; =\; x\_0\; +\; x\_1\; t$. Man erhält in Matrixschreibweise

\begin{pmatrix} x_0\\ x_1\end{pmatrix} - \begin{pmatrix} y_1 \\ \vdots \\ y_{n}\end{pmatrix}\right\|_{2} = \min_x\|Ax-b\|_2.

Für die resultierende Ausgleichsgerade dieses einfachen (aber durchaus relevanten) Beispiels lassen sich die Lösungen für die Parameter direkt angeben als

$x\_1\; =\; \backslash frac\{\backslash sum\backslash limits\_\{i=1\}^n\; t\_iy\_i\; -\; n\; \backslash cdot\; \backslash bar\; t\; \backslash bar\; y\}\{\backslash sum\backslash limits\_\{i=1\}^n\; t\_i^2-\; n\; \backslash cdot\; (\backslash bar\; t)^2\}$ und $x\_0\; =\; \backslash bar\; y\; -\; x\_1\; \backslash bar\; t$

mit $\backslash bar\; t\; =\; \backslash frac\{1\}\{n\}\; \backslash sum\backslash limits\_\{i=1\}^n\; t\_i$ als arithmetischem Mittel der t-Werte, $\backslash bar\; y$ entsprechend.

Die Lösung für x₁ kann mit Hilfe des Verschiebungssatzes auch als

$x\_1\; =\; \backslash frac\{\backslash sum\backslash limits\_\{i=1\}^n\; (t\_i\; -\; \backslash bar\; t)(y\_i\; -\; \backslash bar\; y)\}\{\backslash sum\backslash limits\_\{i=1\}^n\; (t\_i\; -\; \backslash bar\; t)^2\}$

angegeben werden.

Beispiel für ein einfaches lineares Modell y = x₀ + x₁t

Es wurden zufällig 10 Kriegsschiffe ausgewählt und bezüglich mehrerer Merkmale darunter Länge (m) und Breite (m) analysiert. Es soll nun untersucht werden, ob die Breite eines Kriegsschiffs möglicherweise durch die Länge erklärt werden kann. Das Streudiagramm zeigt, dass zwischen Länge und Breite eines Schiffs offensichtlich ein ausgeprägter linearer Zusammenhang besteht.

Es soll nun nach der Methode der kleinsten Quadrate eine Ausgleichsgerade errechnet werden. In der folgenden Tabelle sind die Daten zusammen mit den Zwischenergebnissen aufgeführt.

Streudiagramm Kriegsschiffe.png

Man erhält nun analog zum oben angegebenen Fall zunächst

$\backslash bar\; t\; =\; \backslash frac\; \{\backslash sum\backslash limits\_\{i=1\}^n\; t\_i\}\{n\}\; =\; \backslash frac\; \{1678\}\{10\}\; =\; 167\{,\}8$ und entsprechend $\backslash bar\; y\; =\; 18\{,\}41$.

Damit bestimmt man x₁ als

$x\_1\; =\; \backslash frac\{\backslash sum\backslash limits\_\{i=1\}^n\; (t\_i-\; \backslash bar\; \{t\})(y\_i\; -\; \backslash bar\; y)\}\{\backslash sum\backslash limits\_\{i=1\}^n\; (t\_i-\; \backslash bar\; t)^2\}$

$=\; \backslash frac\{3287\{,\}820\}\; \{20391\{,\}60\}\; =\; 0\{,\}1612\; \backslash ;,$

so dass man sagen könnte, mit jedem Meter Länge wächst ein Kriegsschiff im Durchschnitt etwa 16 Zentimeter in die Breite. Das Absolutglied x₀ erhalten wir aus

$x\_0\; =\; \backslash bar\; y\; -\; x\_1\; \backslash bar\; t\; =\; 18\{,\}41\; -\; 0\{,\}1612\; \backslash cdot\; 167\{,\}8\; =\; -8\{,\}6451$

\;,

wobei eine inhaltliche Interpretation aus stochastischen Gründen unterbleiben sollte. Die Anpassung der Punkte ist recht gut, es werden etwa 92 Prozent der Information in Breite mit Hilfe des Merkmals Länge erklärt.

Der allgemeine lineare Fall

Hat man mehrere unabhängige Modellvariablen $t\_1,\; ...,\; t\_q$, erhält man eine lineare Funktion der Art

$y\_m(t\_1,\backslash dots,t\_q;x\_0,\; x\_1,\; \backslash dots,\; x\_q\; )=\; x\_0\; +\; x\_1\; t\_1\; +\; \backslash cdots\; +\; x\_q\; t\_q$,

was das lineare Gleichungssystem

$\backslash begin\{matrix\}$

x_0 + x_1 t_{11} + \cdots + x_j t_{1j}+ \cdots +x_q t_{1q} = y_1\\ x_0 + x_1 t_{21} + \cdots + x_j t_{2j}+ \cdots +x_q t_{2q} = y_2\\ \vdots \\ x_0 + x_1 t_{i1} + \cdots + x_j t_{ij}+ \cdots +x_q t_{iq}= y_i\\ \vdots\\ x_0 + x_1 t_{n1} + \cdots + x_j t_{nj}+ \cdots +x_q t_{nq}= y_n \end{matrix}

ergibt. Fasst man die t_ij zur Datenmatrix A, die Parameter x_j zum Parametervektor x und die Beobachtungen y_i zum Vektor b zusammen, kann man das lineare Gleichungssystem auch in der bekannten Weise darstellen als

$\backslash begin\{pmatrix\}$

1 & t_{11} & \cdots & t_{1j} \cdots & t_{1q}\\ 1 & t_{21} & \cdots & t_{2j} \cdots & t_{2q}\\ \vdots \\ 1 & t_{i1} & \cdots & t_{ij} \cdots & t_{iq}\\ \vdots\\ 1 & t_{n1} & \cdots & t_{nj} \cdots & t_{nq} \end{pmatrix} \cdot \begin{pmatrix} x_0\\ x_1\\ x_2\\ \vdots \\ x_j\\ \vdots\\ x_q \end{pmatrix} = \begin{pmatrix} y_1\\ y_2\\ \vdots \\ y_i\\ \vdots\\ y_n \end{pmatrix} bzw. $Ax\; =\; b$.

Der kleinste-Quadrate-Ansatz führt dann wieder wie oben auf ein lineares Ausgleichsproblem der Form

$\backslash min\_x\backslash |Ax-b\backslash |\_2$.

Lösung des Minimierungsproblems

Dieses Minimierungsproblem hat immer eine Lösung. Hat die Matrix A vollen Rang, so ist sie sogar eindeutig. Die partiellen Ableitungen bezüglich der $x\_j$ und Nullsetzen derselben zum Bestimmen des Minimums ergeben ein lineares System von Normalgleichungen

$A^TAx=A^Tb\; \backslash ;,$

das bei Regularität der ((q+1)×(q+1))-Matrix auf der linken Seite eindeutig lösbar ist. Ferner hat die Systemmatrix $A^TA$ die Eigenschaft, positiv definit zu sein, ihre Eigenwerte sind also alle positiv. Zusammen mit der Symmetrie von $A^TA$ kann dies beim Einsatz von numerischen Verfahren zur Lösung ausgenutzt werden: beispielsweise mit der Cholesky-Zerlegung oder dem CG-Verfahren. Da beide Methoden von der Kondition der Matrix stark beeinflusst werden, ist dies manchmal keine empfehlenswerte Herangehensweise: Ist schon A schlecht konditioniert, so ist $A^TA$ quadratisch schlecht konditioniert. Eine stabilere Alternative bietet die QR-Zerlegung mit Householdertransformationen, ausgehend vom ursprünglichen Minimierungsproblem und nicht den Normalgleichungen.

Ferner lässt sich das Minimierungsproblem mit einer Singulärwertzerlegung gut analysieren. Diese motivierte auch den Ausdruck der Pseudoinversen, einer Verallgemeinerung der normalen Inversen einer Matrix.

In der statistischen Regressionsanalyse spricht man bei mehreren gegebenen Variablen $t\_j$ von multipler Regression. Der Ansatz ist auch als OLS (ordinary least squares) bekannt, im Gegensatz zu GLS (generalised least squares), dem verallgemeinerten Regressionsmodell bei Residuen, die von der Verteilungsannahme wie Unkorreliertheit und Homoskedastie abweichen. Dagegen liegen bei multivariater Regression für jede Beobachtung i (i=1, ...,n) r viele y-Werte vor, so dass statt eines Vektors eine (n×r)-Matrix Y vorliegt. Die linearen Regressionsmodelle sind in der Statistik wahrscheinlichkeitstheoretisch intensiv erforscht worden. Besonders in der Ökonometrie werden beispielsweise komplexe rekursiv definierte lineare Strukturgleichungen analysiert, um volkswirtschaftliche Systeme zu modellieren.

Anforderungen an die Daten

Strenggenommen ist die Normalverteilungsannahme für die abhängige Variable y nicht zwingend notwendig. Es sollen lediglich keine Ausreißer vorliegen. Diese verursachen numerische Probleme, ebenso wie Multikollinearität.

Multikollinearität

Multikollinearität entsteht, wenn die Messreihen zweier gegebener Variablen t_i und t_j sehr hoch korreliert sind, also fast linear abhängig sind. In diesem Fall wird die Determinante von $A^TA$ sehr klein und die Lösungswerte werden unplausibel groß. Die Norm der Inversen wird umgekehrt ebenfalls sehr groß, die Kondition von $A^TA$ ist stark beeinträchtigt. Die Normalgleichungen sind dann numerisch schwer zu lösen. Häufig tritt Multikollinearität auf, wenn das Regressionsmodell durch zu viele Regressoren überbestimmt ist. Neben numerischen Alternativen können auch mit Hilfe statistischer Tests die Variablen auf ihre Erklärungswerte für das Modell hin überprüft werden und gegebenenfalls entfernt werden.

Man kann bei sehr vielen in Frage kommenden Regressoren auch schrittweise eine Variablen-Selektion durchführen:

• Bei der vorwärts gerichteten Regression (Forward Regression) wird zuerst der Regressor in das Modell aufgenommen, der den größten Beitrag zur Erklärung von y liefert, also etwa die Quadratsumme der Residuen minimiert. Dann wird unter den verbliebenen potentiellen Regressoren der Regressor ausgewählt, dessen Beitrag zum bestehenden Modell maximal ist, usw. Das Verfahren wird beendet, wenn der zusätzliche maximale Beitrag eines Regressors statistisch insignifikant wird. Wird statt eines Tests eine kritische Genauigkeit verwendet, könnte man auch sagen, bis sich die Genauigkeit der Anpassung nicht mehr steigern lässt. Wenn das statistische Material nicht umfangreich genug ist kann es vorkommen, dass die Abhängigkeit der Genauigkeit von der Anzahl der Ansatzfunktionen nicht glatt, sondern rauh gegen einen Grenzwert konvergiert – daraus ergeben sich weitere Verbesserungsmöglichkeiten des Verfahrens.

• Bei der rückwärts gerichteten Regression (Backward Regression) werden zunächst alle Regressoren in das Regressionsmodell aufgenommen. Es wird dann der Regressor aus dem Modell entfernt, dessen Weglassen die Quadratsumme der Residuen am wenigsten reduziert. Dann wird der nächste Regressor entfernt usw. Das Verfahren stoppt, wenn der Beitrag des nächsten potentiellen Eliminationskandidaten zur Erklärung von y signifikant hoch wird, bzw. bis die Genauigkeit einen festgelegten Schwellenwert unterschreitet.

Im allgemeinen ist die Vorwärts-Elimination der Rückwärts-Elimination vorzuziehen, weil die Kreuzproduktmatrix $A^TA$ bei sehr vielen Regressoren häufig schon pathologisch ist und für die Eliminationsrechnung keine sinnvollen Ergebnisse liefert.

Auch mit Ridge-Regression kann Multikollinearität abgeholfen werden. Typischerweise sind bei multikollinearen Kreuzproduktmatrizen $A^TA$ die Hauptdiagonalelemente zu klein. Man addiert hier iterativ kleine Beträge auf die Hauptdiagonale, bis sich die Matrix stabilisiert hat. Mit Hilfe eines Konditionierungskriteriums, etwa der Eigenwerte, kann dieser Prozess kontrolliert werden. Ob dieses Verfahren sinnvolle Ergebnisse liefert, muss wohl fallweise untersucht werden.

Ausreißer

Als Ausreißer sind Datenwerte definiert, die „untypisch weit von der Masse der Daten entfernt sind“. Diese Werte beeinflussen die Berechnung der Parameter stark. Es gibt hier alternative Ausreißer-resistente Berechnungsverfahren wie gewichtete Regression oder das Drei-Gruppen-Verfahren. Bei der gewichteten Regression werden etwa die Ausreißer der abhängigen Variablen y mit 0 und die unproblematischen Werte mit 1 gewichtet, was die Unterdrückung des Ausreißers bedingt. Dieser Algorithmus nach Mosteller und Tukey (1977) wird als „biweighting“ bezeichnet. Denkbar wäre auch, die Gewichtung je nach Stärke des Ausreißers abzustufen. Im übrigen können auch Ausreißer in den Regressoren die Ergebnisse der Ausgleichsrechnung stark beeinträchtigen. Man spricht hier von Werten mit großer Hebelkraft (High Leverage Value).

KorrRes.png

Heterosk.png

Ausreißer.png

Nichtlineare Modellfunktionen

---

lsf.gif

Mit dem Aufkommen leistungsfähiger Rechner gewinnt insbesondere die nichtlineare Regression an Bedeutung. Sie ermöglicht im Prinzip die Anpassung von Daten an jede Gleichung der Form $y\; =\; f(x)$. Da diese Gleichungen Kurven definieren, werden die Begriffe nichtlineare Regression und „curve fitting“ zumeist synonym gebraucht.

Manche nichtlineare Probleme lassen sich durch geeignete Substitution in lineare überführen und lassen sich dann wie oben lösen. Etwa nur multiplikativ wäre ein Modell der Art

$y\; =\; x\_0\; \backslash cdot\; t^\{x\_1\}\; \backslash cdot\; e\; \backslash ;,$

bei dem auch die Residuen e mit t variieren. Hier könnte man mit Logarithmieren das System in eine additive Struktur überführen und dann die Parameter errechnen. Dieser Ansatz wird beispielsweise in der Wachstumstheorie angewendet. Häufig werden für die Approximation einer Funktion y auch Ausgleichspolynome der Art

$y\; \backslash approx\; x\_0\; +\; x\_1\; t\; +\; x\_2\; t^2+\; ...+\; x\_q\; t^q$

eingesetzt. Werden für die Potenzen die Zahlenwerte verwendet, ergibt sich wieder ein lineares Gleichungssystem, das wie oben gelöst werden kann.

Im Allgemeinen ergibt sich bei nichtlinearen Modellfunktionen durch die partielle Differentiation ein System von Normalgleichungen, das nicht mehr analytisch gelöst werden kann. Eine numerische Lösung kann hier iterativ mit dem Gauß-Newton-Verfahren erfolgen. Jenes hat das Problem, dass die Konvergenz des Verfahrens nicht gesichert ist.

Aktuelle Programme arbeiten häufig mit einer Variante: Dem Algorithmus nach Levenberg und Marquardt (Levenberg K (1944): A method for the solution of certain non-linear problems in least squares. Quarterly of Applied Mathematics 2 (1944) 164-168; Marquardt DW (1963): An algorithm for least squares estimation of nonlinear parameters. SIAM J. Appl. Math. 11 (1963) 431-441). Bei diesem Verfahren ist zwar die Konvergenz ebenfalls nicht gesichert, jedoch wird durch eine Regularisierungstechnik die Monotonie der Näherungsfolge garantiert und es ist bei größerer Abweichung der Schätzwerte toleranter als die Ursprungsmethode. Beide Verfahren sind mit dem Newton-Verfahren verwandt und konvergieren meist quadratisch, in jedem Schritt verdoppelt sich also die Zahl der korrekten Nachkommastellen.

Beispiel einer polynomialen Ausgleichskurve

VierVariablen.png

Als Ergebnisse der Mikrozensus-Befragung im Mai 2003 durch das statistische Bundesamt sind die durchschnittlichen Gewichte von Männern nach Altersklassen gegeben (Quelle:© Statistisches Bundesamt, Wiesbaden 2004). Für die Analyse wurden die Altersklassen durch die Klassenmitten ersetzt (Die Zahlen sind im Artikel Streudiagramm aufgeführt). Es soll die Abhängigkeit der Variablen Gewicht (y) von der Variablen Alter (t) analysiert werden. Das Streudiagramm lässt auf eine annähernd parabolische Beziehung zwischen t und y schließen, welche sich häufig gut durch ein Polynom annähern lässt. Es wird ein polynomialer Ansatz der Form

$y\; \backslash approx\; x\_0\; +\; x\_1\; t\; +\; x\_2\; t^2\; +\; x\_3\; t^3\; +\; x\_4\; t^4$

DreiVariablen.png

versucht. Eine Anpassungsrechnung mit Hilfe des Statistik-Programms Minitab ergab die (ins Deutsch übersetzte) Tabelle T1. Es sind alle Parameter x_j statistisch signifikant, d.h. die Daten aller t ^j können einen deutlichen Beitrag zur Erklärung von y leisten. Das Bestimmtheitsmaß (R^2) beträgt 99,8 %, man könnte also sagen, dass 99,8 % der Information von y durch die Daten erklärt werden. Die Daten von t ^j sind allerdings hochkorreliert. Es wurde daher t ³ und damit der Modellparameter x ₃ aus dem Modell entfernt. Die Ergebnisse einer Regression ohne t³ sind in der (ins Deutsch übersetzten) Tabelle T2 aufgeführt. Das Bestimmtheitsmaß ist lediglich auf 98,6 % gesunken, also hat t³ nur einen zusätzlichen Beitrag zur Erklärung von y von 1,3 %. Das Streudiagramm mit den beobachteten und geschätzten y-Werten zeigt, dass die Anpassung gelungen ist.

Scatterplot1.png

AlterGewicht.png

Beispiel einer Ausgleichskurve als Quotient

Hier soll das Problem anhand eines einfachen Beispiels (multiplikative Verknüpfung: Geschwindigkeitsgleichung $v=s/t$) erläutert werden.

Ein Objekt bewegt sich auf einer ebenen geraden Strecke mit konstanter Geschwindigkeit. Gesucht ist die wahrscheinliche Geschwindigkeit $v=s/t$ oder die wahrscheinliche Zeit pro Wegeinheit $t=s/v=T\backslash cdot\; s$ (mit $T=t/s$). Auch hier wird das nichtlineare System in ein lineares überführt. Es werden die folgenden Werte gemessen:

Formelzeichen	$s\_m$	$t\_m$	$t\_m\; \backslash cdot\; s\_m$	$s\_m^2$
Messwert	Gemessene Entfernung	Gemessene Zeit	Entfernung $\backslash cdot$ Zeit	Entfernung²
Einheit	Kilometer	Sekunden	Kilometer$\backslash cdot$Sekunden	Kilometer²
1	2,1	5,1	10,71	4,41
2	1,9	4,9	9,31	3,61
3	1,985	5,15	10,2275	3,940225
Summen	5,985	15,15	30,24275	11,960225

Die Summe der Fehlerquadrate $S\_\{\backslash rm\; sq\}$ ist dann:

$S\_\backslash mathrm\{sq\}\; =\; \backslash sum\_\{i=1\}^\{3\}\; (t\_\{mi\}-t\_\{i\})^\{2\}\; =\; \backslash sum\_\{i=1\}^\{3\}\; (t\_\{mi\}-T\; \backslash cdot\; s\_\{mi\})^\{2\}=\backslash sum\_\{i=1\}^\{3\}(t\_\{mi\}^\{2\}-2\backslash cdot\; t\_\{mi\}\; \backslash cdot\; T\; \backslash cdot\; s\_\{mi\}+(T*s\_\{mi\})^\{2\})$.

Die erste Ableitung der obigen Gleichung nach $T$, die gleich Null gesetzt wird, um das Minimum zu suchen, lautet:

$dS\_\backslash mathrm\{sq\}/dT\; =\; \backslash sum\_\{i=1\}^\{3\}(-2\; \backslash cdot\; t\_\{mi\}\; \backslash cdot\; s\_\{mi\}+2\; \backslash cdot\; s\_\{mi\}^\{2\}\; \backslash cdot\; T)=0$.

Diese Gleichung wird nach T aufgelöst:

$T\; =\; \backslash sum\_\{i=1\}^\{3\}(2\; \backslash cdot\; t\_\{mi\}\; \backslash cdot\; s\_\{mi\})/\backslash sum\_\{i=1\}^\{3\}(2\; \backslash cdot\; s\_\{mi\}^\{2\})$.

Man muss also die Summe der Produkte t_m und s_m durch die Summe der Quadrate der gemessenen Entfernungen teilen. Das Ergebnis hat die Einheit Zeit/Weg (hier 2,5286 Sekunden/Kilometer) bzw. der Kehrwert davon ist die gesuchte Geschwindigkeit v mit der Einheit Weg/Zeit (hier 0,3955 Kilometer/Sekunde).

Beispiel der Fourieranalyse

Auch die Fourieranalyse ist eine Form der Linearisierung einer nichtlinearen Modellfunktion. Die Ansatzfunktionen sind der Kosinus und Sinus der Grundfrequenz und ihrer Vielfachen. Man setzt an

$$

y(t) \approx A_0 + A_1 \cos(\omega\,t) + B_1 \sin(\omega\,t) + A_2\cos(2\omega\,t) + B_2 \sin(2\omega\,t) + \ldots Der mittlere quadratische Fehler wird nach jedem einzelnen Fourierkoeffizienten differenziert, und dieser Ausdruck ist jeweils null:

$$

\frac{\partial}{\partial A_j} \left( A_0 + A_1 \cos(\omega\,t) + B_1 \sin(\omega\,t) + A_2\cos(2\omega\,t) + B_2 \sin(2\omega\,t) + \ldots \quad - \quad y(t) \right)^2 = 0

$$

\frac{\partial}{\partial B_j} \left( A_0 + A_1 \cos(\omega\,t) + B_1 \sin(\omega\,t) + A_2\cos(2\omega\,t) + B_2 \sin(2\omega\,t) + \ldots \quad - \quad y(t) \right)^2 = 0 Daraus ergeben sich die bekannten Definitionsgleichungen der Fourierkoeffizienten.

Beispiel aus der Enzymkinetik einer nicht linearisierbaren Modellfunktion

Ein Beispiel für Regressionsmodelle, die in keiner Weise linearisierbar sind, ist die Enzymkinetik. Hier ist allerdings zu fordern, dass nur y (Reaktionsgeschwindigkeit) und nicht x (Substratkonzentration) einem Fehler unterliegt. Die vertraute Lineweaver-Burk-Beziehung ist zwar eine algebraisch korrekte Umformung der Michaelis-Menten-Gleichung v = Vmax x / (Km + [S), ihre Anwendung liefert aber nur korrekte Ergebnisse, wenn die Messwerte fehlerfrei sind. Dies ergibt sich aus der Tatsache, dass sich die Realität nur mit einer erweiterten Michaelis-Menten-Beziehung

$\backslash nu\_i\; =\; \backslash frac\{V\_\backslash max\backslash left*\}\{K\_m+\backslash left*\}(1+e\_i)\backslash \; \backslash boldsymbol\{\backslash nu\}\_i$

mit e_i als Fehlerparameter, beschreiben lässt. Diese Gleichung lässt sich nicht mehr linearisieren, also muss hier die Lösung iterativ ermittelt werden.

Bei nichtlinearen Gesetzmäßigkeiten ergibt sich eine Komplikation dadurch, dass die zu optimierenden Parameter nicht direkt ermittelt werden können: alle Kalkulationen gehen zwangsläufig von Schätzwerten aus, so dass jede nichtlineare Regressionsanalyse ein iteratives Verfahren darstellt. Ob diese Schätzwerte vernünftig waren, zeigt sich im nachhinein dadurch, dass verschiedene Anfangsschätzungen zum gleichen Endergebnis führen.

Siehe auch

---

• Konfidenzintervall · Korrelationskoeffizient · Gnuplot

Literatur

---

• Åke Björk: Numerical Methods for Least Squares Problems. SIAM, Philadelphia 1996. ISBN 0898713609
• Norman R. Draper, Harry Smith: Applied Regression Analysis. Wiley-Interscience, New York 1998. ISBN 0471170828
• Gerhard Opfer: Numerische Mathematik für Anfänger. Eine Einführung für Mathematiker, Ingenieure und Informatiker. Vieweg, Braunschweig 2002 (4. Aufl.). ISBN 3528372656
• R. J. Hanson, C. L. Lawson: Solving least squares problems. SIAM, Philadelphia 1995. ISBN 0898713560
• Volker Oppitz, Volker Nollau: Taschenbuch Wirtschaftlichkeitsrechnung. Carl Hanser, München 2003, ISBN 3446224637
• Volker Oppitz: Gabler Lexikon Wirtschaftlichkeitsberechnung. Gabler, Wiesbaden 1995, ISBN 3409199519
• Peter Schönfeld: Methoden der Ökonometrie. 2 Bd. Vahlen, Berlin-Frankfurt 1969-1971.
• Frederick Mosteller, J. W. Tukey: Data Analysis and Regression – a second course in statistics. Addison-Wesley, Reading MA 1977. ISBN 020104854X
• E. Zeidler (Hrsg.): Taschenbuch der Mathematik. Begründet v. I.N. Bronstein, K.A. Semendjajew. Teubner, Stuttgart-Leipzig-Wiesbaden 2003. ISBN 3817120052

Weblinks

---

Frei verfügbare (Public domain) Implementierungen des Levenberg-Marquardt-Algorithmus finden sich unter

• minpack::lmdif in Fortran
• sourceforge::lmfit in C

• SciPy in Python (source)
• LM.java in Java

Numerische Mathematik | Statistik

Least squares | Méthode des moindres carrés | Mínimos cadrados | Metodo dei minimi quadrati | 最小二乗法 | Kleinste-kwadratenmethode | Metoda najmniejszych kwadratów | Метод наименьших квадратов | Kuadrat leutik | Minsta kvadratmetoden | Bình phương tối thiểu | 最小二乘法