Regressionsanalyse

Historische Anmerkungen

Der Begriff "Regression" wurde von Francis Galton 1886 als statistischer Fachbegriff geprägt und beschrieb seiner Zeit die von ihm und dann von Karl Pearson und Alice Lee 1903 festgestellte Beobachtung, dass überdurchschnittlich große (kleine) Eltern tendenziell überdurchschnittlich große (kleine) Kinder haben und dass die Abweichungen vom Mittelwert im Laufe der Generationen gegen Null und damit die Körpergrößen selbst zum Mittelwert hin tendieren ("Regression zum Mittel"). In der heutigen statistischen Sprache würde man davon sprechen, dass am Anfang der statistischen Regressionsanalyse die Untersuchung des Einflusses der unterschiedlichen Körpergrößen der Eltern auf die unterschiedlichen Körpergrößen der Kinder stand.

Definition

Ganz allgemein versteht man heute unter Regression eine spezielle multivariate Analysetechnik zur Untersuchung der Art und der Stärke der Abhängigkeit einer (seltener: mehrerer) abhängiger quantitativen Variablen von mehreren (seltener: einer) quantitativen unabhängigen Variablen um bei gegebenen Beobachtungswerten der unabhängigen Variablen den zu erwarteten Wert der abhängigen Variablen möglichst gut prognostizieren zu können und die Variabilität der abhängigen Variablen durch die systematischen Einflüsse der unabhängigen Variablen erklären und von zufälligen Einflüssen unterscheiden zu können. Die Regressionsanalyse ist die wichtigste quantitative empirische Methode.

Anwendungsfelder

In der deskriptiven Statistik werden Regressionsanalysen zur Beschreibung von Abhängigkeiten in einem gegebenen Datensatz metrisch skalierter Merkmale benutzt. In der modernen empirischen Wirtschafts- und Sozialforschung ist es Ziel mittels adäquat spezifizierter Regressionsmodelle auf der Grundlagen von Daten, die als Stichprobenrealisationen interpretiert werden, generelle Aussagen zur Erklärung (sozio)ökonomischer Gesetzmäßigkeiten und zur Überprüfung von Hypothesen über Abhängigkeiten zu treffen. Da im sozioökonomischen Bereich deterministische Gesetzmäßigkeiten eher selten zu erwarten sind, bedient sich die Regressionsanalyse stochastischer Modelle. Die Spezifikation des Regressionsmodells erfordert also die Festlegung der abhängigen und der unabhängigen relevanten Variablen im Modell, die Vorgabe einer möglichst einfachen funktionalen Form der Abhängigkeit und der zu schätzenden Parameter der Regressionsfunktion, die Festlegung der wahrscheinlichkeitstheoretischen Eigenschaften eines stochastischen Terms (um systematische von zufälligen Einflüssen trennen zu können).

Modellorientiertes versus datenorientiertes Vorgehen

Aus klassischer Sicht der Statistik wird ein modellorientiertes Vorgehen, das sich auf die aktuelle theoretische Literatur stützt, bei der Modellspezifikation gegenüber einem rein datenorientierten Vorgehen vorgezogen. In der Praxis finden sich häufig Mischformen. Die Parameter des Modells sind auf Grund eines Datensatzes mittels geeigneter Schätzmethoden zu schätzen, Hypothesen werden mittels Hypothesentests an Hand der geschätzten Regressionsfunktion überprüft.

Schätzmethoden

Die in der Praxis am häufigsten eingesetzte Schätzmethode zur Schätzung numerischer Werte für die Modellparameter ist die Methode der Kleinsten Quadrate (OLS = Ordinary Least Squares). Unter der Annahme korrekter Modellspezifikation und unter sehr allgemeinen und häufig plausiblen Zusatzannahmen (wie die Normalverteilungsannahme) liefert diese Methode erwartungstreue, effiziente, konsistente, und suffiziente Schätzer. Verletzungen der Annahmen durch Nichtaufnahme von relevanten Variablen als erklärende Variable, durch Aufnahme von irrelevanten erklärenden Variablen, durch Aufnahme von (stochastisch) abhängigen Variablen als erklärende Variablen, durch falsche Wahl der funktionalen Form sowie durch Fehlspezifikation der stochastischen Modelleigenschaften (keine Autokorrelation des stochastischen Terms, Homoskedastizität) führen zu entsprechenden Variablentransformationen vor Anwendung von OLS oder zur Verwendung alternativer Punktschätzer (GLS = Generalized Least Squares, GMM = Generalized Method of Moments, IV = Instrumental Variables, ML = Maximum Likelihood). Häufig werden dann auch nur die Varianzschätzer entsprechend korrigiert. Tools zur Überprüfung der Annahmen (graphische Diagnosetools, Spezifikationstests) sowie alternative Schätzverfahren bieten die einschlägigen statistischen Programmpakete.

Modellerweiterungen

Ausgehend vom einfachen linearen Grundmodell (linear in den Parametern und linear in den Variablen) für metrisch skalierte abhängige und unabhängige Variablen sind eine Reihe von Modellerweiterungen inzwischen Standard in der empirischen Wirtschaftsforschung und in entsprechenden Softwaretools implementiert. So gehören zur modernen Methodenausbildung heute neben dem klassischen Regressionsmodell für Querschnitt- und Längsschnittdaten auch Modelle und Schätzverfahren für spezielle Datenstrukturen wie Paneldaten, für qualitative (un‑) abhängige Variablen, für Zähldaten, für Ereignisdaten, für Mikrodatensätze oder aggregierte Daten sowie zur stochastischen Modellierung von Zeitreihendaten. Galtons Modell der Regression zum Mittel erlebt als spezielles autoregressives Modell für Zeitreihendaten eine Renaissance.

Literatur

Auer, Ludwig von: Ökonometrie. Eine Einführung. 5., überarbeitete und erweiterte Auflage. Springer : Berlin et al. 2011.

Baltagi, Badi H.: Econometrics. Fifth Edition. Springer : Berlin et al. 2011.

Fahrmeir, Ludwig ; Kneib, Thomas ; Lang, Stefan: Regression. Modelle, Methoden und Anwendungen. 2. Auflage. Springer : Berlin et al. 2009.

Galton, Francis: Family Likeness in Stature. Proceedings of the Royal Society of London 1886, Vol. 40, pp. 42-73.

Greene, William H.: Econometric Analysis. Seventh Edition. Prentice Hall : Upper Saddle River 2011.

Gujarati, Damodar N.: Essentials of Econometrics. Fourth Edition. McGraw-Hill : New York et al. 2009.

Koop, Gary: Introduction to Econometrics. Wiley : Chichester 2007.

Pearson, Karl; Lee, Alice: On the Laws of Inheritance in Man. Biometrika 1903, Vol. 2, Num. 4, pp. 357-462.

Studenmund, A. H.: Using Econometrics. A Practical Guide. Sixth Edition. Pearson Addison Wesley : Boston et al. 2010.

Wooldridge, Jeffrey M.: Introductory Econometrics. A Modern Approach. Fifth Edition. Gengage Learning Custom Publishing: 2011.