Die Regressionsanalyse ist ein statistisches Analyseverfahren. Ziel ist es, Beziehungen (Zusammenhänge) zwischen einer abhängigen und einer oder mehrerer unabhängigen Variablen festzustellen. Es sollen also bezüglich der theoretischen Fundierung

• Zusammenänge beschrieben und erklärt werden: Deskriptiver Regression. Hier werden die Einflüsse nur analytisch berechnet, auf Rückschlüsse auf die zu Grunde liegende Grundgesamtheit wird verzichtet. und
• Werte von abhängigen Variablen geschätzt oder prognostiziert werden: Wahrscheinlichkeitstheoretisch basierter Regression. Hier werden Schätzungen eines statistischen Regressionsmodells mit Schätz- und Testverfahren analysiert.

Es geht darum sogenannte einseitige statistische Abhängigkeiten durch so genannte Regressionsfunktionen zu beschreiben.

Dazu verwendet man

• im einfachsten Fall und am häufigsten lineare Funktionen, aber auch
• quadratische Funktionen und
• Exponentialfunktionen.

Man spricht dann von einfacher Regressionsanalyse und multipler Regressionsanalyse.

Prinzip

---

Bei der Regressionsanalyse wird eine metrische Variable y betrachtet, die von einer (x) oder mehreren anderen metrischen unabhängigen Variablen(x1,...,xn) bestimmt wird.

Beispiel: Ein Beispiel wäre die Körpergröße in cm (y) in Abhängigkeit vom Gewicht in kg (x).

Mit Hilfe der Regressionsanalyse wird die Struktur der Abhängigkeit zwischen y und den unabhängigen Variablen x untersucht.

• Die interessierende Variable y wird Kriterium, abhängige Variable, Response-Variable, endogene Variable oder Zielvariable und
• die erklärenden Variablen x werden unabhängige Variablen, Prädiktor-Variablen, exogene Variable oder Regressoren genannt.

Ein spezieller Fall der Regressionsanalyse ist die lineare Regression, bei der angenommen wird, dass ein interessierendes Merkmal y gut durch eine lineare Kombination anderer Merkmale x erklärt werden kann (y = a+b*x). Die Gewichtung der Einflüsse der erklärenden Merkmale wird dabei aus Daten geschätzt.

Anzahl Variablen:

• Betrachtet man den Fall mit nur einer unabhängigen Variablen, so spricht man von linearer Einfachregression,
• den Fall mit 2 oder mehr unabhängigen Variablen bezeichnet man als multiple lineare Regression und X ist dann als Vektor aufzufassen.
• Dies kann erweitert werden zu dem Fall mit mehreren unabhängigen Variablen, die von mehreren abhängigen Variablen erklärt werden, wobei abhängige Variablen der einen Gleichung als unabhängige Variablen in einer anderen Gleichung erscheinen können. y und x sind dann Vektoren (Ökonometrisches Modell).

Deskriptive Regression

---

Es wird bei der deskriptiven Statistik vor allem auf den numerischen Aspekt der Regression Wert gelegt. Es gibt verschiedene Verfahren, die Abhängigkeitsstruktur zwischen den x-Werten und y zu ermitteln. Häufig verwendet wird die Methode der kleinsten Quadrate. Speziell für die Einfachregression gibt es aber auch Ausreißer-resistente Verfahren wie etwa das Drei-Gruppen-Verfahren.

Ein lineares Regressionsmodell hat den Vorteil, dass es exakt berechnet werden kann, nichtlineare Systeme müssen dagegen meist näherungsweise gelöst werden. Häufig können diese Regressionsmodelle dann nicht mehr wahrscheinlichkeitstheoretisch analysiert werden.

Der wahrscheinlichkeitstheoretisch basierten Regressionsanalyse liegen aber immer die numerischen Verfahren der deskriptiven Regression zu Grunde. Es soll in diesem Artikel vor allem auf die wahrscheinlichkeitstheoretisch basierte lineare Regression, das so genannte Klassische lineare Regressionsmodell, eingegangen werden.

Einfaches lineares Regressionsmodell mit Beispiel einer Preis-Absatz-Funktion

---

Als Einführung in das statistische Modell wird die lineare Einfachregression anhand eines Beispiels dargestellt. Die eigentliche wahrscheinlichkeitstheoretische Betrachtung folgt im Abschnitt Multiple Regression.

Punkte.png Eine renommierte Sektkellerei möchte einen hochwertigen Rieslingsekt auf den Markt bringen. Für die Festlegung des Abgabepreises soll zunächst eine Preis-Absatz-Funktion ermittelt werden. Dazu wurde in n = 6 Geschäften ein Testverkauf durchgeführt. Man erhielt sechs Wertepaare mit dem Ladenpreis x (in Euro) einer Flasche und die verkaufte Menge y an Flaschen:

Laden

i

1

2

3

4

5

6

Preis einer Flasche

xi

20

16

15

16

13

10

verkaufte Menge

yi

0

3

7

4

6

10

Berechnung der Regressionsgeraden

Man geht von folgendem statistischen Modell aus:

Man betrachtet zwei Variablen, die vermutlich ungefähr in einem linearen Zusammenhang

$y\; \backslash approx\; \backslash alpha\; +\; \backslash beta\; x$

stehen. Dabei sind x als unabhängige und y als abhängige Variable definiert. Es existieren von x und y je n Beobachtungen x_i und y_i (i = 1, ... , n). Der funktionale Zusammenhang y = f(x) zwischen x und y kann nicht exakt festgestellt werden, da α + βx von einer Störgröße ε überlagert wird. Diese Störgröße ist als Zufallsvariable (der Grundgesamtheit) konzipiert, die nichterfassbare Einflüsse (menschliches Verhalten, Messungenauigkeiten usw.) darstellt. Es ergibt sich also das Modell

$y\; =\; \backslash alpha\; +\; \backslash beta\; x\; +\; \backslash varepsilon$ bzw. $y\_i\; =\; \backslash alpha\; +\; \backslash beta\; x\_i\; +\; \backslash varepsilon\_i\; \backslash ;.$

LSM-Gerade.png Da α und β nicht bekannt sind, kann auch y nicht in die Komponenten α + βx und ε zerlegt werden.

Es soll eine mathematische Schätzung für die Parameter α und β durch zwei Konstanten a und b gefunden werden, und zwar so, dass sich ergibt

$y\_i\; =\; a\; +\; bx\_i\; +\; e\_i\backslash ,$

mit dem Residuum $e\_i$ der Stichprobe.

Es gibt verschiedene Möglichkeiten, die Gerade zu schätzen. Man könnte eine Gerade so durch den Punkteschwarm legen, dass die Quadratsumme der Residuen, also der senkrechten Abweichungen e_i der Punkte von dieser Ausgleichsgeraden minimiert wird.

Diese herkömmliche Methode ist die Minimum-Quadrat-Methode oder Methode der kleinsten Quadrate. Man minimiert die summierten Quadrate der Residuen,

$RSS\; =\; \backslash sum\_\{i=1\}^n\; e\_i^2\; =\; \backslash sum\_\{i=1\}^n\; (y\_i\; -\; (a\; +\; bx\_i))^2\; \backslash rightarrow\; min!$

bezüglich a und b. Durch partielles Differenzieren und Nullsetzen der Ableitungen erster Ordnung erhält man ein System von Normalgleichungen.

Die gesuchten Regressionskoeffizienten sind die Lösungen

$b\; =\; \backslash frac\{\backslash sum\_\{i=1\}^n\; (x\_i-\; \backslash bar\; x)(y\_i-\; \backslash bar\; y)\}\{\backslash sum\_\{i=1\}^n\; (x\_i-\; \backslash bar\; x)^2\}$ oder, nach Erweiterung des Bruchs durch 1/n,

$b\; =\; \backslash frac\{s\_\{xy\}\}\{s^2\_x\}$

und

$a\; =\; \backslash bar\; y\; -\; b\; \backslash bar\; x$

mit $\backslash bar\; x$ als arithmetischem Mittel der x-Werte, $\backslash bar\; y$ entsprechend, und s_xy als empirischer Kovarianz zwischen den x_i und y_i und s_x² als empirischer Varianz der x_i. Man nennt diese Schätzungen auch Kleinste-Quadrate-Schätzer (KQ) oder Ordinary Least Squares-Schätzer (OLS).

x_i-$\backslash ;\_\{\backslash bar\; x\}$y_i-$\backslash ;\_\{\backslash bar\; y\}$        x_iy_ix*y*x*y*x*x*y*y*$\backslash ;\_\{\backslash widehat\; y\}$20 0 5 -5 -25 25 25 0,09 16 3 1 -2 -2 1 4 4,02 15 7 0 2 0 0 4 5,00 16 4 1 -1 -1 1 1 4,02 13 6 -2 1 -2 4 1 6,96 10 10 -5 5 -25 25 25 9,91 90 30 0 0 -55 56 60 30,00

Preis einer Flasche

verkaufte Menge

Es ergibt sich in dem Beispiel

$a\; =\; 19,73$ und $b\; =\; -0,98$.

Die geschätzte Regressionsgerade lautet $y\; =19,73-0,98x$, so dass man vermuten kann, dass bei jedem Euro mehr der Absatz im Durchschnitt um ca. 1 Flasche sinkt.

Bestimmtheitsmaß

Es soll nun noch ein Maß für die Güte des gewählten Regressionsansatzes angegeben werden, das Bestimmtheitsmaß (Determinationskoeffizient, Bestimmtheitskoeffizient) r² als das Quadrat des Korrelationskoeffizienten zwischen x und y. Man kann es interpretieren als Anteil der Information von y, die durch x erklärt wird, an der gesamten Information von y. Je größer r² ist, desto höher ist der Anteil der durch x erklärten Streuung von y. Daher liegt auch r² zwischen 0 und 1, wobei r² = 0 bedeutet, dass x und y unkorreliert sind, und r² = 1, dass x und y eine Gerade bilden.

Das klassische lineare Regressionsmodell (KLR)

---

Multiple Regression

Die Prinzipien der wahrscheinlichkeitstheoretischen Regressionsanalyse werden für den Fall mit mehreren unabhängigen Variablen, der sogenannten multiplen Regression, erläutert, denn die formalen Zusammenhänge können so eleganter dargestellt werden.

Es existiert eine Variable y, die linear von mehreren fest vorgegebenen Variablen x abhängt in der Form

$y\; =\; \backslash beta\_0\; +\; \backslash beta\_1\; x\_1\; +\; \backslash beta\_2\; x\_2+\; ...\; +\backslash beta\_p\; x\_p\; +\; \backslash varepsilon\; \backslash ;,$

wobei ε wieder die Störgröße repräsentiert. ε ist eine Zufallsvariable und daher ist y als lineare Transformation von ε ebenfalls eine Zufallsvariable. Es liegen für die x_j (j = 1, ... ,p) und y je n viele Beobachtungen vor, so dass sich für die Beobachtungen i (i = 1, ..., n) das Gleichungssystem

$y\_i\; =\; \backslash beta\_0\; +\; \backslash beta\_1\; x\_\{i1\}\; +\; \backslash beta\_2\; x\_\{i2\}+\; \backslash cdots\; +\backslash beta\_p\; x\_\{ip\}\; +\; \backslash varepsilon\_i$

ergibt. Als stichprobentheoretischer Ansatz wird jedes Stichprobenelement ε_i als eine eigene Zufallsvariable i interpretiert und ebenso so jedes y_i.

Da es sich hier um ein lineares Gleichungssystem handelt, können die Elemente des Systems in Matrix-Schreibweise zusammengefasst werden. Man erhält die (n×1)-Spaltenvektoren der abhängigen Variablen y und der Störgröße ε als Zufallsvektoren und den ((p+1)×1)-Spaltenvektor der Regressionskoeffizienten β_j

$\backslash underline\; y=$

\begin{pmatrix} y_1 \\ y_2 \\ ...\\ y_i \\ ...\\ y_n \end{pmatrix} \;, $\backslash underline\; \backslash varepsilon=\; \backslash begin\{pmatrix\}\; \backslash varepsilon\_1\; \backslash \backslash \; \backslash varepsilon\_2\; \backslash \backslash \; ...\backslash \backslash \; \backslash varepsilon\_i\; \backslash \backslash \; ...\backslash \backslash \; \backslash varepsilon\_n\; \backslash end\{pmatrix\}\; \backslash ;$ und $\backslash underline\; \backslash beta=\; \backslash begin\{pmatrix\}\; \backslash beta\_0\; \backslash \backslash \; \backslash beta\_1\; \backslash \backslash \; \backslash beta\_2\; \backslash \backslash \; ...\backslash \backslash \; \backslash beta\_j\; \backslash \backslash \; ...\backslash \backslash \; \backslash beta\_p\; \backslash end\{pmatrix\}\; \backslash ;,$

die (n×(p+1))-Datenmatrix .

Die Einsen in der ersten Spalte dienen als Platzhalter für das Absolutglied β₀. Man nennt eine derartige „Variable“ Dummyvariable.

Der Zufallsvektor ε ist verteilt mit dem Erwartungswertvektor Eε und der Kovarianzmatrix Σ_ε. y ist dann verteilt mit dem Erwartungswertvektor α + βx + Eε und der Kovarianzmatrix Σ_ε.

Das Gleichungssystem lässt sich nun erheblich einfacher so darstellen:

$\backslash underline\; y\; =\; \backslash underline\; X\; \backslash cdot\; \backslash underline\; \backslash beta\; +\; \backslash underline\; \backslash varepsilon$

Annahmen des Klassischen linearen Regressionsmodells

Damit die Regressionsschätzungen inferentiell analysiert werden können, müssen für das klassische lineare Regressionsmodell bestimmte Annahmen erfüllt sein:

1. Bezüglich der Störgröße ε_i
   1. Der Zufallsvektor ε ist verteilt mit dem Erwartungswertvektor 0 und der Kovarianzmatrix Σ_ε = σ_ε²I.
   2. Die Zufallsvariablen ε_i sind stochastisch unabhängig voneinander.
2. Die Datenmatrix X ist fest vorgegeben
3. Die Datenmatrix X hat den Rang (p+1).

• In der ersten Annahme haben also alle ε_i die gleiche Varianz (Homoskedastie) und sie sind sämtlich paarweise unkorreliert. Man könnte das so auffassen, dass die Störgröße keinerlei Information enthalten darf und nur zufällig streut. Deshalb kann auch y nur durch Informationen aus X erklärt werden.
• Die zweite Annahme hält X konstant.
• Die dritte Annahme ist für eine eindeutige Lösung des Regressionsproblems erforderlich.

Schätzung der Regressionskoeffizienten

Auch im multiplen linearen Regressionsmodell wird die Quadratsumme der Residuen nach der Methode der kleinsten Quadrate minimiert. Man erhält als Lösung (Satz von Gauß-Markow) den Vektor der geschätzten Regressionskoeffizienten

$\backslash underline\; b\; =$

\begin{pmatrix} b_0 \\ b_1 \\ b_2 \\ ...\\ b_j \\ ...\\ b_p \end{pmatrix} = (\underline {X}^T \underline X )^{-1} \underline {X}^T \underline y .

Dieser Schätzer ist BLUE (Best Linear Unbiased Estimator), also der beste (erwartungstreu mit kleinster Varianz) lineare unverzerrte Schätzer. Für die Eigenschaften der Schätzfunktion b muss also keine Verteilungsinformation der Störgröße vorliegen.

Man erhält mit Hilfe des Minimum-Quadrat-Schätzers b das geschätzte Gleichungssystem

$\backslash underline\; y\; =\; \backslash underline\; X\; \backslash cdot\; \backslash underline\; b\; +\; \backslash underline\; e\; \backslash ;,$

wobei e der Vektor der Residuen ist.

Das Interesse der Analyse liegt vor allem in der Schätzung $\backslash widehat\; y\_0$ oder auch Prognose der abhängigen Variablen y für ein gegebenes Tupel von x₀. Die berechnet sich als

$\backslash underline\; y\_0\; =\; b\_0\; +\; b\_1\; x\_\{01\}\; +\; b\_2\; x\_\{02\}+\; ...\; +\; b\_p\; x\_\{0p\}$.

Ausgewählte Schätzfunktionen des KLR

Die Schätzwerte der y_i berechnen sich als

$\backslash widehat\{\backslash underline\; y\}\; =\; \backslash underline\; \{Xb\}\; =\; \backslash underline\; X\; (\backslash underline\; X\; ^T\; \backslash underline\; X\; )^\{-1\}\; \backslash underline\; X\; ^T\; \backslash underline\; y$

wobei man kürzer

$\backslash widehat\{\backslash underline\; y\}\; =\; \backslash underline\; M\; \backslash underline\; y$

setzen kann. Die (n×n)-Matrix M ist übrigens idempotent und maximal vom Rang p+1. Sie wird auch Hat-Matrix genannt, weil sie y den „Hut“ aufsetzt.

Die Residuen werden ermittelt als

$\backslash underline\; e\; =\; \backslash underline\; y\; -\; \backslash underline\; \{Xb\}\; =\; \backslash underline\; y\; -\; \backslash underline\; M\; \backslash underline\; y\; =\; (\backslash underline\; I\; -\; \backslash underline\; M)\; \backslash underline\; y$

,

wobei I-M mit M vergleichbare Eigenschaften hat.

Die Prognose $\backslash ;\_\{\backslash widehat\; y\_0\}$ wird ermittelt als

$\backslash widehat\; y\_0\; =\; (1;\; x\_\{01\};\; x\_\{02\};\; \backslash cdots\; )\; (\backslash underline\; X\; ^T\; \backslash underline\; X\; )^\{-1\}\; \backslash underline\; X\; ^T\; \backslash underline\; y$.

Da X fest vorgegeben ist, kann man alle diese Variablen als lineare Transformation von y und damit von ε darstellen, und deshalb können auch ihr Erwartungswertvektor und ihre Kovarianzmatrix unproblematisch ermittelt werden.

Die Varianz der Störgröße wird mit Hilfe der Residuen geschätzt, und zwar als mittlere Quadratsumme der Residuen

$s^2\_\backslash varepsilon\; =\; \backslash widehat\; \backslash sigma^2\_\backslash varepsilon\; =\; \backslash frac\; \{\backslash sum\_\{i=1\}\; ^n\; e\_i^2\}\{n-(p+1)\}\; \backslash ;$

Die Quadratsumme RSS (von engl. „residual sum of squares“) der Residuen ergibt in Matrix-Notation

$RSS\; =\; \backslash underline\; \{e\}^T\; \backslash underline\; e\; =\; \backslash underline\; \{y\}^T\; (\backslash underline\; I\; -\; \backslash underline\; M)^T\; (\backslash underline\; I\; -\; \backslash underline\; M)\; \backslash underline\; y\; =\; \backslash underline\; y\; ^T\; (\backslash underline\; I\; -\; \backslash underline\; M)\; \backslash underline\; y$.

Schätzen und Testen im KLR

Für die inferentielle Regression (Schätzen und Testen) wird noch die Information über die Verteilung der Störgröße gefordert. Man hat hier eingeführt als zusätzliche Annahme

4. Die Störgröße ε_i ist normalverteilt.

Zusammen mit Annahme 1 erhält man für die Verteilung des Vektors der Störgröße:

$\backslash underline\; \backslash varepsilon\; \backslash sim\; N(\backslash underline\; 0;\; \backslash sigma^2\_\backslash varepsilon\; \backslash underline\; I)$.

Hier sind unkorrelierte Zufallsvariablen auch stochastisch unabhängig.

Da die interessierenden Schätzer zum größten Teil lineare Transformationen von ε sind, sind sie ebenfalls normalverteilt mit den entsprechenden Parametern.

Die Quadratsumme der Residuen ist als nichtlineare Transformation χ²-verteilt mit n-(p+1) Freiheitsgraden.

Es folgen Verfahren für ausgewählte Schätzer.

Güte des Regressionsmodells

Hat man eine Regression ermittelt, wird man sich wohl als Erstes für die Güte der Regression interessieren. Häufig verwendet wird als Maß für die Güte das Bestimmtheitsmaß r². Ist das Bestimmtheitsmaß klein, kann man seine Signifikanz durch die Hypothese H₀: r² = 0 mit der Prüfgröße

$f\; =\; \backslash frac\; \{r^2\}\; \{1-r^2\}\; \backslash cdot\; \backslash frac\; \{p+1\}\; \{n-(p+1)\}$

testen. f ist F-verteilt mit p+1 und n-(p+1) Freiheitsgraden. Überschreitet die Prüfgröße bei einem Signifikanzniveau α den kritischen Wert F(1-α; p+1; n-(p+1)), das (1-α)-Quantil der F-Verteilung mit p+1 und n-(p+1) Freiheitsgraden, wird H₀ abgelehnt. r² ist dann ausreichend groß, X trägt also vermutlich genügend viel Information zur Erklärung von y bei. Die Residualanalyse (Auftragung der Residuen RSS über den unabhängigen Variablen) gibt Aufschluss über

• die Richtigkeit des angenommenen linearen Zusammenhangs,
• mögliche Ausreißer,
• Homoskedastie, Heteroskedastie.

Beitrag der einzelnen Regressoren zur Erklärung von y

Man testet hier die Nullhypothese H₀: β_j = 0. Der Zufallsvektor b ist als lineare Transformation von ε verteilt wie

$\backslash underline\; b\; \backslash sim\; N(\backslash underline\; \backslash beta;\; \backslash sigma^2\_\backslash varepsilon\; \{(\backslash underline\; X^T\; \backslash underline\; X)\}^\{-1\})$.

Wenn man die Varianz der Störgröße schätzt, erhält man für die geschätzte Kovarianzmatrix

$\backslash underline\; S\_b\; =\; s^2\_\backslash varepsilon\; (\backslash underline\; X^T\; \backslash underline\; X)^\{-1\}$.

Die geschätzte Varianz s_j² eines Regressionskoeffizienten b_j steht als j-tes Diagonalelement in der geschätzten Kovarianzmatrix. Es ergibt sich also als Prüfgröße

$t\; =\; \backslash frac\; \{b\}\{\backslash sqrt\{s^2\_j\}\}$,

die t-verteilt ist mit n-(p+1) Freiheitsgraden. Ist |t| größer als der kritische Wert t(1-α/2; n-(p+1)), dem (1-α/2)-Quantil der t-Verteilung mit n-(p+1) Freiheitsgraden, wird die Hypothese abgelehnt, die Steigung b_j ist also ausreichend hoch, der Beitrag des Regressors x_j zur Erklärung von y ist signifikant groß.

Prognose

Ermittelt man einen Prognosewert, möchte man möglicherweise wissen, in welchem Intervall sich die prognostizierten Werte mit einer festgelegten Wahrscheinlichkeit bewegen. Man wird also ein Konfidenzintervall für den durchschnittlichen Prognosewert Ey₀ ermitteln. Es ergibt sich als Varianz der Prognose

$var\; \backslash widehat\; y\_0\; =\; \backslash sigma^2\_\backslash varepsilon\; (1;\; x\_\{01\};\; x\_\{02\};\; \backslash cdots\; )\; (\backslash underline\; X\; ^T\; \backslash underline\; X\; )^\{-1\}$

\begin{pmatrix} 1 \\ x_{01}\\ x_{02}\\ \vdots \end{pmatrix} .

Man erhält dann als (1-α)-Konfidenzintervall für den durchschnittlichen Prognosewert mit geschätzter Varianz

$y\_0\; -\; s\_\{y0\}\; \backslash cdot\; t(1-\backslash alpha\; /2;\; n-(p+1))\; \backslash ;\; ;\; \backslash ;\; \backslash widehat\; y\_0\; +\; s\_\{y0\}\; \backslash cdot\; t(1-\backslash alpha\; /2;\; n-(p+1))$ .

Speziell für den Fall der linearen Einfachregression ergibt das

$y\_0\; -\; t\; (\; 1-\; \backslash alpha/2\; ;\; n-(p+1))\; s\_\; \{\backslash varepsilon\}\; \backslash sqrt\; \{\; \backslash frac\; \{1\}\{n\}\; +\; \backslash frac\; \{(x\_0\; -\; \backslash bar\; x)^2\}\; \{\; \backslash sum\_\{i=1\}^n\; (x\_i\; -\; \backslash bar\; x)^2\; \}\}\; \backslash ;\; ;\; \backslash ;\; \backslash widehat\; y\_0\; +\; t\; (\; 1-\; \backslash alpha\; /2\; ;\; n-(p+1))\; s\_\; \{\backslash varepsilon\}\; \backslash sqrt\; \{\; \backslash frac\; \{1\}\{n\}\; +\; \backslash frac\; \{(x\_0\; -\; \backslash bar\; x)^2\}\; \{\; \backslash sum\_\{i=1\}^n\; (x\_i\; -\; \backslash bar\; x)^2\; \}\}$

Speziell aus dieser Form des Konfidenzintervalls erkennt man sofort, dass das Konfidenzintervall breiter wird, wenn die exogene Prognosevariable x₀ sich vom "Zentrum" der Daten entfernt. Schätzungen der endogenen Variablen sollten also im Beobachtungsraum der Daten liegen, sonst werden sie sehr unzuverlässig. So kann die Schätzung der Arbeitslosenzahl im nächsten Jahr durchaus eingegrenzt werden, aber eine Schätzung in 20 Jahren wäre sinnlos.

Beispiel zur multiplen Regression

Zur Illustration der multiplen Regression wird im folgenden Beispiel untersucht, wie die abhängige Variable y: Bruttowertschöpfung (in Preisen von 95; bereinigt, Mrd. Euro) von den unabhängigen Variablen „Bruttowertschöpfung nach Wirtschaftsbereichen Deutschland (in jeweiligen Preisen; Mrd. EUR)“ abhängt. Die Daten sind im Artikel Regressionsanalyse/Datensatz angegeben. Matrixstreudiagramm.PNG | VABWS.png RegressionBWS.png

Variable	Beschreibung der Variablen
BWSb95	Bruttowertschöpfung in Preisen von 95 (bereinigt)
BBLandFF	Bruttowertschöpfung von Land- und Forstwirtschaft, Fischerei
BBProdG	Bruttowertschöpfung des produzierenden Gewerbes ohne Baugewerbe
BBBau	Bruttowertschöpfung im Baugewerbe
BBHandGV	Bruttowertschöpfung von Handel, Gastgewerbe und Verkehr
BBFinVerm	Bruttowertschöpfung durch Finanzierung, Vermietung und Unternehmensdienstleister
BBDienstÖP	Bruttowertschöpfung von öffentlichen und privaten Dienstleistern

Das Streudiagramm zeigt, dass die gesamte Wertschöpfung offensichtlich mit den Wertschöpfungen der wirtschaftlichen Bereiche positiv korreliert ist. Auffällig ist, dass die Wertschöpfung im Baugewerbe negativ mit den anderen Sektoren korreliert.

Der Test auf Güte des gesamten Regressionsmodells ergibt eine Prüfgröße von f = 162,911. Die Anpassung ist also bei einem Signifikanzniveau von 0,05 signifikant gut.

Die Analyse der einzelnen Beiträge der Variablen (Tabelle Coefficients) des Regressionsmodells ergibt bei einem Signifikanzniveau von 0,05 und einem kritischen Wert der Prüfgröße von 2,2, dass die Variablen BBLandFF und BBFinVerm offensichtlich die Variable BWSB95 nur unzureichend erklären können. Die Variablen BBHandGV und BBDienstÖP sind gerade noch signifikant. Besonders stark korreliert ist y mit den Variablen BBProdG und BBBau. Man könnte also die insignifikanten Variablen aus dem Modell entfernen. Es wäre auch denkbar, die beiden Variablen BBHandGV und BBDienstÖP auf ihren Erklärungswert hin zu überprüfen.

Es wurde beispielsweise für den letzten Datensatz (2. Quartal 2004) eine Prognose gerechnet. Für die x-Werte 5,95, 126,25, 21,2, 92,18, 155,47 und 105,56 ergab sich eine geschätzte Bruttowertschöpfung von y = 461,69 bei einem tatsächlich gemessenen von 461,15. Es ergab sich ein 95%-Konfidenzintervall von 463,80044 mit einer Breite von 4,22.

Spezielle Anwendungen der Regressionsanalyse

---

Für quantitative Wirtschaftsanalysen im Rahmen der Regressionsanalyse, beispielsweise der Ökonometrie, sind besonders geeignet:

• Wachstumsfunktionen, wie zum Beispiel das Gesetz des organischen Wachstums oder die Zinseszinsrechnung,
• Abschwingfunktionen, wie zum Beispiel die hyperbolische Verteilungsfunktion oder die Korachsche Preisfunktion,
• Schwanenhalsfunktionen, wie zum Beispiel die logistische Funktion, die Johnson-Funktion oder die Potenzexponentialfunktion,
• degressive Saturationsfunktionen, wie zum Beispiel die Gompertz-Funktion oder die Törnquist-Funktion.

Siehe auch

---

• Korrelationskoeffizient
• Messfehler
• Dummy-Variable
• Faktorenanalyse
• Ausgleichsrechnung

Literatur

---

• Draper, Norman R. und Smith Harry: Applied Regression Analysis, 1998, New York: Wiley
• Opfer, Gerhard: Numerische Mathematik für Anfänger, 2. Auflage, 1994, Vieweg Verlag
• Oppitz, Volker/Nollau, Volker: Taschenbuch Wirtschaftlichkeitsrechnung, Carl Hanser Verlag 2003, 400 S., ISBN 3446224637
• Oppitz, Volker Gabler Lexikon Wirtschaftlichkeitsberechnung, Gabler-Verlag 1995, 629 S., ISBN 3409199519
• Schönfeld, Peter: Methoden der Ökonometrie, Berlin, Frankfurt, 1969
• Urban, Dieter/ Mayerl, Jochen: Regressionsanalyse: Theorie, Technik und Anwendung, 2. überarb. Auflage, 2006, Wiesbaden: VS Verlag, ISBN 3531337394
• Zeidler E. (Hrsg.): Taschenbuch der Mathematik (bekannt als Bronstein und Semendjajew), Stuttgart, Leipzig, Wiesbaden 2003

Weblinks

---

• Selbstlernkurs zur Einführung in den Begriff der Regressionsgeraden
• Auswerten bivariater Datenerhebungen (Regressionsgerade, Korrelationskoeffizient)
• Beispiele zur Kreisregression und Exponentialregression

Statistik | Multivariates Verfahren | Ökonometrie

Linear regression | Régression linéaire | Regressione lineare | 回帰分析 | Lineaire regressie | Regresja liniowa