Lineare Regression Die Abhängigkeit von Variablen Runge Statistik

Lineare Regression: Die Abhängigkeit zwischen Variablen

Innerhalb der Statistik zählt die Regressionsanalyse zu den wichtigsten Verfahren um Abhängigkeiten zwischen Variablen zu betrachten und Vorhersagemodelle zu entwickeln. Ein Spezialfall hiervon ist die lineare Regression. Hierbei wird angenommen, dass die abhängige Variable (auch Zielgröße genannt) von einer oder mehreren unabhängigen Variablen (auch Prädiktor genannt) abhängt. Dieser Abhängigkeit wird eine lineare Form unterstellt. Im Folgenden wird die einfache lineare Regression betrachtet, also die Abhängigkeit einer Zielgröße von einem einzelnen Prädiktor.

Die einfache lineare Regression

Der Zusammenhang zwischen Variablen
Die Idee des Kleinste-Quadrate-Kriteriums
Die Inferenzstatistik der linearen Regression
Voraussetzungen zur Anwendung der linearen Regression
Modellgüte und Determinationskoeffizient

Fliegen und Essen der Papageien

Um die einfache lineare Regression an einem Beispiel betrachten zu können, werden Daten aus der Beobachtung von in Gefangenschaft lebenden Papageien zugrunde gelegt.

In unserem Beispiel wird angenommen, dass es einen linearen Zusammenhang zwischen der von Papageien an einem Tag zurückgelegten Flugstrecke und dem Energiebedarf bei der Nahrungsaufnahme gibt. Die folgende Tabelle enthält die Messwerte von 100 Papageien: Die am Beobachtungstag zurückgelegte Flugstrecke sowie die Energiemenge des aufgenommenen Futters.

n	Flugstrecke (m)	Energie (kJ)
Papagei 1	4368,96	362,28
Papagei 2	5687,96	571,21
Papagei 3	3282,93	321,99
Papagei 4	5415,78	499,10
Papagei 5	5057,69	457,35
…	…	…
Papagei 100	5530,28	481,71

Die zurückgelegte Flugstrecke (gemessen in Metern) ist hierbei die abhängige Variable (Zielgröße genannt), die mit der Nahrung aufgenommene Energiemenge stellt die unabhängige Variable (Prädiktor) dar. Zwischen den Variablen wird eine positive Beziehung (Korrelation) vermutet, also

$r\textsubscript{XY} > 0$

Die folgende Grafik zeigt die Verteilung der Messwerte. Auf der x-Achse (Abzisse) sind die Flugstrecken der einzelnen Papageien abgetragen, auf der y-Achse (Ordinate) die Energiemenge des am Ende des Tages aufgenommenen Futters. Würde zwischen den Variablen ein perfekter Zusammenhang bestehen, würden alle Punkte auf einer geraden Linie liegen. Diese Linie (mathemstisch Kurve) wird als Regressionsgerade bezeichnet. Die einzelnen Papageien werden in diesem Zusammenhang auch als Merkmalsträger bezeichnet.

Das kleinste-Quadrate-Kriterium der linearen Regression

Zielsetzung der linearen Regression ist es, die Regressionsgerade derart durch die Punktwolke der gemessenen Werte zu legen, dass der Abstand der einzelnen Messpunkte zur Regressionsgerade möglichst gering wird.

Die folgende Grafik zeigt die Regressionsgerade (rot) in optimaler Lage innerhalb der Punktwolke der gemessenen Wertepaare.

Die Beziehung zwischen dem gemessenen Parameter und den vorhergesagten Werten lässt sich mit der Regressionsgleichung beschreiben. Mathematisch gesehen handelt es sich hierbei eine Funktion, genauer um ein Polynom ersten Grades. Die Regressionsgleichung setzt sich zusammen aus dem Regressionsgericht ( $\beta_1$ ) dem Intercept ( $\beta_0$ ) und dem Residuum ( $\epsilon_i$ ).

$\^{y}\textsubscript{i}=\beta\textsubscript{0}+\beta\textsubscript{1}x\textsubscript{i}+\epsilon_i$

Das Regressionsgewicht bezeichnet die Steigung der Regressionsgeraden und entspricht der ersten Ableitung der Regressionsfunktion. Dieser Steigungskoeffizient (englisch slope) entspricht dem Quotienten $d_x/d_y$ . Ein Regressionsgewicht von $\beta_1 = 2.5$ würde beispielsweise bedeuten, dass mit jeder Zunahme der x-Werte (Prädiktor) um 1.0 Einheiten die y-Werte (Zielgröße) um 2.5 Einheiten zunehmen.

Das Intercept oder auch Ordinatenabschnitt entspricht dem Punkt, an dem die Regressionsgerade bei $x = 0$ die Y-Achse schneidet.

Die Differenz zwischen den gemessenen Werten und den vorhergesagten Werten wird als Residuum oder Residualwert bezeichnet. Je größer dieser Fehlerwert ausfällt, desto größer ist die Differenz zwischen den beobachteten (gemessenen) Werten und den durch das Regressionsmodell vorhergesagten Werten. Ein Fehlerwert von 0 würde bedeuten, dass alle Messwerte exakt auf der Regressionsgeraden liegen.

Erreicht wird die optimale Lage der Regressionsgerade mit dem Kleinste-Quadrate-Kriterium. Hierbei wird die Summe der quadrierten Differenzen zwischen den durch die gemessenen x-Werte vorhergesagten y-Werte und den beobachteten y-Werten zur Optimierung herangezogen und versucht, die Summe der quadrierten Differenzen zwischen den beobachteten Werten und den durch die Regressionsgerade vorhergesagten Werten zu minimieren.

$SAQ = \sum\limits_{i=1}^{n}(y_i-(b_0+b_1x_i))\textsuperscript{2}$

Werden die Variablen z-standardisiert, entspricht der Regressionskoeffizient dem Korrelationskoeffizienten der Produkt-Moment-Korrelation r:

$r = 0.905, [0.862, 0.935]$

Die Inferenzstatistik der linearen Regression

Die lineare Regression ist in alle gängigen Statistik-Anwendungen integriert:

Syntax in R:

reg <- lm(Futter~Flugstrecke)
summary(reg)

Syntax in SPSS:

REGRESSION
/DESCRIPTIVES MEAN STDDEV CORR SIG N
/MISSING LISTWISE
/STATISTICS COEFF OUTS R ANOVA
/CRITERIA=PIN(.05) POUT(.10)
/NOORIGIN
/DEPENDENT= Futter
/METHOD=ENTER= Flugstrecke
/SCATTERPLOT=(*ZRESID ,*ZPRED)
/RESIDUALS HISTOGRAM(ZRESID).

In unserem Beispiel findet sich folgendes Ergebnis:

$F(1,98) = 444.83, p < 0.001, R\textsuperscript{2} = 0.81, f = 2.13$

Der Wert F bezeichnet hierbei mit den in Klammern angegebenen Freiheitsgraden den Wert der Teststatistik. Der p-Wert gibt Auskunft über das Ergebnis des Signifikanztests (hier signifikant). Der Anteil durch das Regressionsmodell aufgeklärten Varianz liegt bei 81 Prozent. Dies entspricht einem starken Effekt (f-Wert).

Voraussetzungen zur Anwendung der linearen Regression

Die Anwendung der linearen Regression ist an das Vorliegen bestimmter Voraussetzungen geknüpft. Neben der Linearitätsannahme sollte die Zielgröße mindestens intervallskaliert sein. Darüber hinaus sollte die Homoskedastizität, Autokorrelation und Normalverteilung der Fehlerresiduen getestet werden.

Die Prüfung der Homoskedastizität kann mit dem Breusch-Pagan-Test erfolgen, die Prüfung auf Autokorrelation mit dem Durbin-Watson-Test. Zur Prüfung der Normalverteilung der Residuen bietet sich der Shapiro-Wilk-Test an.

In unserem Beispiel finden sich folgende Ergebnisse der Testungen auf Vorliegen der Voraussetzungen:

$DW = 1.965, p = 0.433$

$BP = 0.482, p = 0.488$

$W = 0.994, p = 0.927$

Autokorrelation besteht damit nicht, Homoskedastizität und Normalverteilung der Residuen liegen vor. Die Voraussetzungen zur Anwendung der (einfachen) linearen Regression sind damit erfüllt.

Modellgüte und Determinationskoeffizient der linearen Regression

Je kleiner die Differenz der tatsächlich beobachteten y-Werte (Energiemenge im aufgenommenen Futter) und den vorhergesagten y-Werten (Regressionsgerade) ausfällt, desto besser ist die Vorhersagegüte des Regressionsmodells. Die Schwankung der beobachteten Messwerte (Futter) um die Regressionsgerade herum deutet darauf hin, dass es sich hier nicht um einen perfekten linearen Zusammenhang handelt. Dies ist jedoch in der Praxis auch nicht zu erwarten. Jeder gemessene Parameter wird in der Regel mit einem Messfehler behaftet sein. Dies ist eine fundamentale Erkenntnis sowohl der Testtheorie als auch der Signalentdeckungstheorie.

Darüber hinaus sind die Ausprägungen der gemessenen Werte auf Seiten der abhängigen Variable mitunter lediglich teilweise auf die Ausprägungen der unabhängigen Variable zurückzuführen. Es ist möglich, dass es darüber hinaus weitere Einflüsse auf die abhängige Variable gibt. Sowohl im Sinne unsystematischer Einflüsse durch Messfehler als auch möglicher systematischer Einflüsse durch weitere, von uns nicht gemessene Variablen. Bei der Beurteilung der Güte von Regressionsmodellen spielt aus diesem Grund der Anteil der durch das Modell aufgeklärten Varianz eine wesentliche Rolle.

In unserem Beispiel ist die Summe der Residualwerte 0. Das heißt, über die Gesamtheit der betrachteten Messwerte hinweg mittelt sich der Fehler aus. Die beobachteten Prädiktorwerte und die Fehlervariable sind unkorreliert.

$\sum\limits_{i=1}^{n}\epsilon_i = 0$

Aus den Residualwerten lässt sich sodann die Varianz der Residuen berechnen, die Residualvarianz.

$s_{y}^{2} = s_{\epsilon}^{2}+s_{\^{y}}^{2}$

Je besser unser Modell aus der von uns gemessenen Variable in der Lage ist, die abhängige Variable vorher zu sagen, desto höher ist die Güte der Vorhersage. Als standardisiertes Maß zur Erfassung der Güte hat sich der Determinationskoeffizient $R\textsuperscript{2}$ etabliert. Der Gegenwert des Determinationskoeffizient ist der Interminationskoeffizient: $1-R\textsuperscript{2}$ . Ein Determinationskoeffizient von $R\textsuperscript{2}=1$ spräche für einen perfekten Zusammenhang, ein Determinationskoeffizient von $R\textsuperscript{2}=0$ für ein schlechtes Modell.

$R\textsuperscript{2} = \frac{s_{\^{y}}^{2}}{s_{y}^{2}}$

Die folgende Grafik zeigt das Regeressionsmodell mit den Grenzen des Konfidenzintervalls (blau).

Die Annäherung komplexer Zusammenhänge mit linearen Regressionsmodellen spielen sowohl in der Psychologie und der Medizin sowie in vielen wissenschaftlichen Disziplinen eine zentrale Rolle. Viele Zusammenhängen lassen sich mit Regressionsmodellen annähren und hinreichend genau beschreiben. In unserem Beispiel könnte ein Tierpfleger das Regressionsmodell heranziehen, um zu abzuschätzen, welche Menge Vogelfutter er in Abhängigkeit vom Flugverhalten der Tiere zur Verfügung stellen muss.

0 Kommentare

Hinterlasse einen Kommentar

An der Diskussion beteiligen?
Hinterlasse uns deinen Kommentar!

Lineare Regression: Die Abhängigkeit zwischen Variablen

Sie benötigen weiterführende Hilfe oder statistische Beratung?

Die einfache lineare Regression

Der Zusammenhang zwischen Variablen

Die Idee des Kleinste-Quadrate-Kriteriums

Die Inferenzstatistik der linearen Regression

Voraussetzungen zur Anwendung der linearen Regression

Modellgüte und Determinationskoeffizient

Fliegen und Essen der Papageien

Das kleinste-Quadrate-Kriterium der linearen Regression

Die Inferenzstatistik der linearen Regression

Voraussetzungen zur Anwendung der linearen Regression

Modellgüte und Determinationskoeffizient der linearen Regression

Hinterlasse einen Kommentar

Schreibe einen Kommentar Antworten abbrechen

Kontakt

Seiten