Chapitre 2 : Régression linéaire simple (RLS)

Économétrie (ECON0212)

Natalia Bermúdez

HEC Liège

October 2026

Recap — Analyse de données

Wooclap

lien de participation (code : EFAIRJX)

Aujourd’hui — on commence l’économétrie ✌️

• Introduction au modèle de régression linéaire simple et à l’estimation par moindres carrés ordinaires (MCO).

• Application empirique : taille de la classe et performance des élèves.

• Gardez à l’esprit que nous cherchons à découvrir des relations causales.

Plan du cours

1. Introduction I : l’intuition derrière la droite de régression
2. Introduction II : formalisation modèle de régression linéaire simple
3. Estimation par moindres carrés ordinaires (MCO)
4. Le modèle de régression linéaire simple (et hypothèses)
5. Estimation en Stata
6. Propriétés algébriques de l’estimateur des MCO

Taille de la classe et performance des élèves

Quelles politiques conduisent à une amélioration de l’apprentissage des élèves ?

• La réduction de la taille des classes est au cœur des débats politiques depuis des décennies.
• Des classes plus petites pourraient permettre aux enseignants de consacrer davantage de temps à chaque élève, mais leur mise en place est coûteuse.

Application : données d’un célèbre article de Joshua Angrist et Victor Lavy (1999)

• Obtenues du cours de Raj Chetty et Greg Bruich

• Contexte

  • Classes d’élèves de 10-11 ans des écoles élémentaires publiques juives en Israël en 1991

• Données

  • Résultats aux tests nationaux qui mesurent les compétences en mathématiques et en lecture (hébreu). Les scores bruts sont échelonnés de 1 à 100.
  • Caractéristiques des classes/écoles.

Exercice 1 : découvrir les données

1. Ouvrir la base grade5.dta qui se trouve dans le dossier exercice de ce chapitre (sur LOLA).

2. Examiner les données :

   • Quelle est l’unité (l’entité) d’observation, c’est-à-dire à quoi correspond chaque ligne ?
   • Combien d’observations y a-t-il ?
   • Regardez la base. Quelles variables avons-nous ? À quoi correspondent les variables avgmath et avgverb ?

3. Avez-vous un a priori sur la relation réelle (linéaire) entre la taille des classes et les résultats des élèves ? Que feriez-vous pour obtenir un premier aperçu ?

Taille de la classe et performance des élèves — scatter plot

• Suggère une association plutôt positive.
• Comment pouvons-nous visualiser cette relation plus clairement ?

Taille de la classe et performance des élèves — binned scatter plot

Score moyen par taille de classe.

Taille de la classe et performance des élèves — droite de régression

Concentrons-nous sur les résultats en mathématiques !

Comment résumer (et visualiser) la relation entre les deux variables ?

• Une possibilité : tracer une droite qui résume au mieux le nuage de points.

• Mais quelle droite choisir ?

- Celle-ci est horizontale : elle suppose que le score moyen en mathématiques ne varie pas avec la taille de la classe. 😩

Taille de la classe et performance des élèves — droite de régression

Tracer une droite qui résume au mieux le nuage de points.

• Celle-ci ?
• Un peu mieux ! Elle a une pente et une ordonnée à l’origine 😐
• Il nous faut une règle de décision !
• 🎯 À vous de trouver la meilleure droite !

Plan du cours

1. Introduction I : l’intuition derrière la droite de régression
2. Introduction II : formalisation modèle de régression linéaire simple
3. Estimation par moindres carrés ordinaires (MCO)
4. Le modèle de régression linéaire simple (et hypothèses)
5. Estimation en Stata
6. Propriétés algébriques de l’estimateur des MCO

Régression linéaire simple — formalisation

Nous nous intéressons à la relation entre deux variables :

• Une variable expliquée (y)
  • Également appelée variable dépendante, variable expliquée, variable de résultat, variable prédite, variable endogène :
    • Score moyen en mathématiques

• Une variable explicative (x)
  • Également appelée variable indépendante ou régresseur, variable prédictive, variable exogène, variable de contrôle :
    • Taille de la classe

• Pour chaque classe i (c.-à-d. chaque observation), nous observons à la fois x_i et y_i.

Régression linéaire simple — formalisation

• Pour estimer le modèle de régression, on a besoin de données.

• Échantillon aléatoire de n observations :
  • (x_1, y_1) \longleftarrow Observation 1
  • (x_2, y_2) \longleftarrow Observation 2
  • \cdots
  • (x_n, y_n) \longleftarrow Observation n

• De manière équivalente : \{ (x_i, y_i) : i = 1, \cdots, n \}

Régression linéaire simple — formalisation

• Nous cherchons à résumer la relation entre x et y à l’aide d’une droite (pour l’instant).

• L’équation d’une telle droite, avec une ordonnée à l’origine b_0 et une pente b_1, est : \widehat{y}_i = b_0 + b_1 x_i

• \widehat{y}_i est la valeur prédite (prédiction) de y pour l’observation i, à partir de cette droite (c.-à-d. de notre modèle).

Mais comment choisir b_0 et b_1 pour que la droite représente au mieux les données ?

Différents noms utilisés de façon interchangeable :

• y : variable dépendante, variable expliquée, variable de réponse, variable prédite, régressande ;
• x : variable indépendante, variable explicative, variable de contrôle, variable prédictive, régresseur (le terme covariable est aussi utilisé pour x).

Les termes « variable dépendante » et « variable indépendante » sont fréquemment utilisés en économétrie.

[Rappel] Qu’est-ce qu’une droite ?

Régression linéaire simple : résidus

• Si tous les points étaient sur la droite, alors \widehat{y}_i = y_i :

• Une prédiction parfaite ! Il n’y a pas d’erreur de prédiction, le modèle explique parfaitement les observations.

Régression linéaire simple : résidus

• Si tous les points étaient sur la droite, alors \widehat{y}_i = y_i :

• Une prédiction parfaite ! Il n’y a pas d’erreur de prédiction, le modèle explique parfaitement les observations.

Régression linéaire simple : résidus

• Si tous les points étaient sur la droite, alors \widehat{y}_i = y_i.

• Dans la plupart des cas, la variable dépendante (y) n’est pas parfaitement expliquée par la variable indépendante choisie (x) :

\widehat{y}_i \neq y_i

• L’écart entre la valeur observée et la valeur prédite \Rightarrow résidu

• Pour chaque observation i, on note ce résidu \hat{e}_i :

\hat{e}_i = y_i - \widehat{y}_i

• Les données réelles peuvent donc être écrites comme prédiction + résidu :

y_i = \widehat y_i + \hat{e}_i = b_0 + b_1 x_i + \hat{e}_i

Le résidu est l’écart vertical entre le point observé et la droite. Il est positif lorsque le point se trouve au-dessus de la droite et négatif lorsqu’il se trouve en dessous.

Il ne faut pas confondre le résidu \hat{e}_i, calculé à partir d’une droite ajustée, avec le terme d’erreur e_i du modèle de population. Ce dernier représente les autres facteurs qui affectent y et sera introduit ultérieurement.

Le résidu mesure ce que la droite ne parvient pas à reproduire pour une observation donnée.

Régression linéaire simple : résidus

• Les données réelles peuvent donc être écrites comme prédiction + résidu :

y_i = \widehat y_i + \hat{e}_i = b_0 + b_1 x_i + \hat{e}_i

Le résidu est l’écart vertical entre le point observé et la droite. Il est positif lorsque le point se trouve au-dessus de la droite et négatif lorsqu’il se trouve en dessous.

Il ne faut pas confondre le résidu \hat{e}_i, calculé à partir d’une droite ajustée, avec le terme d’erreur e_i du modèle de population. Ce dernier représente les autres facteurs qui affectent y et sera introduit ultérieurement.

Le résidu mesure ce que la droite ne parvient pas à reproduire pour une observation donnée.

Régression linéaire simple : graphiquement

Régression linéaire simple : graphiquement

Régression linéaire simple : le terme d’erreur

• Le modèle économétrique vise à expliquer y en fonction de x (\rightarrow observé) :

y_i = \beta_0 + \beta_1 x_i + e_i

• Mais x n’est généralement pas le seul facteur qui explique y.

• On regroupe dans le terme d’erreur e_i tous les autres facteurs qui affectent y_i :

y_i = \underbrace{\beta_0 + \beta_1 x_i}_{\text{partie expliquée par } x_i} + \underbrace{e_i}_{\text{autres facteurs}}

• Exemple : … e_i peut inclure les caractéristiques de l’enseignant, les capacités de l’élève, son environnement familial, etc.

Régression linéaire simple : graphiquement

Comment choisir la droite qui représente le mieux nos données ? Quel critère de minimisation pouvons-nous utiliser ?

Plan du cours

1. Introduction I : l’intuition derrière la droite de régression
2. Introduction II : formalisation modèle de régression linéaire simple
3. Estimation par moindres carrés ordinaires (MCO)
4. Le modèle de régression linéaire simple (et hypothèses)
5. Estimation en Stata
6. Propriétés algébriques de l’estimateur des MCO

Estimation par Moindres Carrés Ordinaires (MCO)

En anglais : Ordinary Least Squares (OLS).

• Les résidus de signes différents (+/-) s’annulent ; nous considérons donc les résidus au carré : \forall i \in [1, n], \quad \hat{e}_i^2 = (y_i - \widehat y_i)^2 = (y_i - b_0 - b_1 x_i)^2

• Choisir (b_0, b_1) de manière à ce que \sum_{i=1}^n \hat{e}_i^2 = \hat{e}_1^2 + \dots + \hat{e}_n^2 soit aussi petit que possible, i.e. : \min_{b_0, b_1} \sum_{i=1}^n \hat{e}_i^2 \qquad \text{ou} \qquad \min_{b_0, b_1} \sum_{i=1}^n (y_i - b_0 - b_1 x_i)^2

Objectif de la diapo : passer de l’idée « trouver la meilleure droite » à un critère précis.

• Rappel : pour une droite candidate (b_0, b_1), la valeur prédite est \hat y_i = b_0 + b_1 x_i, et le résidu \hat e_i = y_i - \hat y_i est la distance verticale entre le point et la droite.
• Pourquoi ne pas minimiser la somme des résidus ? Les résidus positifs (points au-dessus de la droite) et négatifs (en dessous) se compensent. Beaucoup de droites très mauvaises ont une somme de résidus égale à zéro.
• Pourquoi le carré ?
  • le signe disparaît ;
  • les grandes residues sont pénalisées plus fortement que les petites ;
  • la fonction est dérivable, ce qui donne une solution analytique (contrairement à la valeur absolue).
• Le critère : parmi toutes les droites possibles, on choisit le couple (b_0, b_1) qui rend la somme des carrés des résidus (SCR) la plus petite possible. C’est ce que signifie « moindres carrés ».
• Le graphique : la droite verte est la droite MCO. Aucune autre droite ne donne une SCR plus petite sur ces données. Pour l’intuition, montrer du doigt quelques résidus (distances verticales, pas perpendiculaires).
• Transition : diapo suivante, on résout ce problème de minimisation. On obtient b_1 = \frac{\text{Cov}(x,y)}{\text{Var}(x)} et b_0 = \bar y - b_1 \bar x.
• Question possible : « Pourquoi des distances verticales ? » Parce qu’on cherche à prédire y à partir de x : l’erreur qui nous intéresse porte sur y.

Estimation par Moindres Carrés Ordinaires (MCO)

Moindres Carrés Ordinaires (MCO) :

• MCO : méthode d’estimation consistant à minimiser la somme des résidus au carré.
• Fournit des solutions uniques à ce problème de minimisation.
• Alors, quelles sont les formules pour b_0 (constante) et b_1 (pente) ?

• Dans le cas où nous n’avons qu’une seule variable indépendante :

Pente : \quad b_1 = \dfrac{\operatorname{cov}(x,y)}{\operatorname{var}(x)} = \dfrac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})} {\sum_{i=1}^n (x_i-\bar{x})^2}

Constante : \quad b_0 = \bar{y} - b_1\bar{x}

• Démonstration : résolution du problème de la minimisation de la somme des carrés des résidus. Cf. Wooldridge, André et Beine (2018), annexe 2A¹ et vidéo.

b_1 est le ratio entre la covariance échantillonnale entre x et y et la variance échantillonnale de x.

1. Wooldridge, J. M., André et Beine (2018). Introduction à l’économétrie. Chapitre 2, annexe 2A.

Moindres Carrés Ordinaires (MCO) — interprétation

Pour l’instant, supposons que les variables dépendante (y) et indépendante (x) sont numériques.

Ordonnée à l’origine (b_0) : valeur prédite de y (\widehat{y}) lorsque x = 0 (ou constante).

Pente (b_1) : le changement prédit, en moyenne, dans la valeur de y associé à une augmentation d’une unité de x . \frac{\Delta y}{\Delta x} = b_1

I.e., de combien la variable dépendante change-t-elle si la variable indépendante augmente d’une unité ?

• Les unités de x sont importantes pour l’interprétation de b_1 : elles affectent sa magnitude, mais pas son signe.
• Il faut donc toujours être explicite sur l’unité de mesure de x.

Moindres Carrés Ordinaires (MCO) — interprétation causale ?

⚠️ Nous utilisons le terme « associé », en évitant clairement d’interpréter b_1 comme l’impact causal de x sur y.

Pour faire une telle affirmation, certaines conditions spécifiques doivent être remplies.

(Voir chapitre « Causalité » !)

Plan du cours

1. Introduction I : l’intuition derrière la droite de régression
2. Introduction II : formalisation modèle de régression linéaire simple
3. Estimation par moindres carrés ordinaires (MCO)
4. Le modèle de régression linéaire simple (et hypothèses)
5. Estimation en Stata
6. Propriétés algébriques de l’estimateur des MCO

[Définition] Modèle de la régression linéaire simple

Modèle économétrique (RAPPEL !)

y_i = \beta_0 + \beta_1 x_i + e_i

• y_i : variable dépendante / expliquée / de résultat
• x_i : variable indépendante / explicative / régresseur / covariable
• e_i : terme d’erreur / inobservé

Chemin de pensée

1. Intuition

« Ajuster une droite aux données »

2. Estimation par MCO

Choisir b_0 et b_1 qui minimisent la somme des carrés des résidus

3. Hypothèses du modèle

Sur le modèle de population : y_i = \beta_0 + \beta_1 x_i + e_i

4. Propriétés des estimateurs MCO

Algébriques (aujourd’hui) \quad\longrightarrow\quad Statistiques (chapitre 5)

Les coefficients b_0 et b_1 peuvent être calculés sans imposer les hypothèses sur le terme d’erreur. Ces hypothèses sont nécessaires pour étudier les propriétés statistiques des estimateurs MCO et leur interprétation.

[Hypothèse 1] Linéarité dans les paramètres

[H1] Le modèle est linéaire dans les paramètres :

y_i = \beta_0 + \beta_1 x_i + e_i

👉 y est une combinaison linéaire des paramètres \beta_0, \beta_1.

⚠️ x peut être transformé : il n’existe aucune restriction sur la forme que doit prendre x.

✅ Linéaire dans les paramètres	❌ Non linéaire dans les paramètres
y_i = \beta_0 + \beta_1 \sqrt{x_i} + e_i	y_i = \beta_0 + x_i^{\beta_1} + e_i
y_i = \beta_0 + \beta_1 x_i^2 + e_i	y_i = \beta_0 + \exp(\beta_1 x_i) + e_i
\log y_i = \beta_0 + \beta_1 \log x_i + e_i	y = 1/ (\beta_0 + \beta_1 x) + u

Relations non linéaires dans les données ?

• Nous pouvons prendre en compte les relations non linéaires dans les régressions.

• On peut, par exemple, ajouter un terme d’ordre supérieur comme ceci : y_i = \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + e_i

• C’est alors une régression linéaire multiple (prochain cours !).

Linéarité dans les paramètres \neq relation linéaire entre x et y

[Hypothèse 2] Échantillon aléatoire

Le modèle décrit une relation dans la population :

y_i = \beta_0 + \beta_1 x_i + e_i

Mais nous n’observons qu’un échantillon de n observations :

\{(x_i,y_i): i=1,\ldots,n\}

[H2] Échantillon aléatoire : les observations (x_i,y_i) sont indépendantes et identiquement distribuées (i.i.d.).

• Indépendantes : l’observation d’un individu ne dépend pas de celle d’un autre.
• Identiquement distribuées : toutes les observations proviennent de la même population.

[Hypothèse 3] Espérance conditionnelle nulle

y_i = \beta_0 + \beta_1 x_i + e_i

• Avec une constante \beta_0, on peut supposer que l’erreur a une moyenne nulle : E(e)=0

[H3] Quelle que soit la valeur de x, l’erreur a une espérance conditionnelle nulle : E(e \mid x) = 0

Autrement dit, les facteurs non observés contenus dans e ne varient pas systématiquement, en moyenne, avec x.

Hypothèse bien plus forte que d’avoir e et x non corrélées (i.e. E(ex) = 0) : on fait l’hypothèse que les 2 variables ne sont pas linéairement reliées (mais il peut y avoir une relation non linéaire entre x et u).

Et si E(e \mid x) \neq 0 ?

\textrm{salaire}_i = \beta_0 + \beta_1 \,\textrm{éducation}_i + e_i

• Il faut réfléchir à ce qui peut être contenu dans e_i : ambition, capacités, santé, conditions du marché du travail local, etc.

• L’hypothèse E(e \mid x)=0 implique que, quel que soit le niveau d’éducation :

E(e \mid \textrm{décrocheur scolaire}) = E(e \mid \textrm{diplômé d'un master}) = 0

• À l’inverse, E(e \mid x)\neq0 signifie que certains facteurs contenus dans e sont systématiquement liés au niveau d’éducation.
  • Ex: si l’ambition influence le salaire et est liée au niveau d’éducation, alors E(e\mid x)\neq0.
• L’hypothèse E(e\mid x)=0 garantit que les estimateurs MCO sont non biaisés !

[Recap Hypothèses] Régression linéaire simple

y_i = \beta_0 + \beta_1 x_i + e_i

• [H1] Modèle linéaire dans ses paramètres.

• [H2] Échantillon aléatoire : \{(x_i, y_i) : i = 1, \cdots, n\} où les (x_i, y_i) sont i.i.d.

• [H3] Moyenne conditionnelle nulle : E(e \mid x) = 0.

• [H4] Variabilité de x : x ne doit pas être constant dans l’échantillon (x_i \neq c).

  • Sans variation de x, on ne peut pas estimer la relation entre x et y.

Sous les hypothèses H1–H4, les estimateurs MCO (\beta_0) et (\beta_1) sont sans biais. E(b_0)=\beta_0 \qquad\text{et}\qquad E(b_1)=\beta_1

Par « propriétés statistiques satisfaisantes », on entend que les estimateurs MCO ont des propriétés souhaitables lorsqu’on considère des échantillons répétés.

En particulier, sous ces hypothèses, ils sont non biaisés :

E(b_0)=\beta_0, \qquad E(b_1)=\beta_1.

Cela ne signifie pas que b_0=\beta_0 et b_1=\beta_1 dans un échantillon donné, mais qu’en moyenne, les estimateurs sont égaux aux vrais paramètres.

Une 5ᵉ hypothèse : vers le théorème de Gauss-Markov

• [H5] Homoscédasticité : Var(e \mid x) est constante (ne dépend pas de x).

[H1]-[H5] ensemble forment le théorème de Gauss-Markov : sous ces 5 hypothèses, l’estimateur MCO est BLUE (Best Linear Unbiased Estimator).

Lien avec les propriétés statistiques :

• Sans biais (\mathbb{E}(b_0)=\beta_0, \mathbb{E}(b_1)=\beta_1) : déjà garanti par [H1]-[H4].

• Efficace (variance minimale parmi tous les estimateurs linéaires non biaisés) : nécessite en plus [H5].

• À suivre au chapitre 5 …

On ne détaille pas encore [H5] ici, seulement son rôle dans le théorème de Gauss-Markov. La définition formelle, les exemples de quand l’hypothèse est peu plausible, et les conséquences de l’hétéroscédasticité seront vus au chapitre 5.

Plan du cours

1. Introduction I : l’intuition derrière la droite de régression
2. Introduction II : formalisation modèle de régression linéaire simple
3. Estimation par moindres carrés ordinaires (MCO)
4. Le modèle de régression linéaire simple (et hypothèses)
5. Estimation en Stata
6. Propriétés algébriques de l’estimateur des MCO

MCO (OLS) avec Stata

• En Stata, les régressions OLS sont estimées à l’aide de la fonction regress (reg).

• Voici comment cela fonctionne :

regress dependent_variable independent_variable

Taille de la classe et performance des élèves

Estimons le modèle suivant par MCO : \textrm{average math score}_i = \beta_0 + \beta_1 \, \textrm{class size}_i + e_i

/* import data */
use "https://www.dropbox.com/s/wwp2cs9f0dubmhr/grade5.dta?dl=1", replace
collapse (mean) avgmath_cs=avgmath avgverb_cs=avgverb, by(classize)

/* OLS regression of average maths score on class size */
regress avgmath_cs classize

Moindres Carrés Ordinaires (MCO) : prédiction

Cela implique (sans l’indice _i par simplicité) :

\begin{aligned} \widehat y &= b_0 + b_1 x \\ \widehat{\text{average math score}} &= b_0 + b_1 \cdot \text{class size} \\ \widehat{\text{average math score}} &= 61.11 + 0.19 \cdot \text{class size} \end{aligned}

Moindres Carrés Ordinaires (MCO) : prédiction

Quel est le score moyen prédit pour une classe de 15 élèves ?

\begin{aligned} \widehat{\text{average math score}} &= 61.11 + 0.19 \cdot 15 \\ \widehat{\text{average math score}} &= 63.98 \end{aligned}

Exercice 2 : régression par MCO

Après avoir agrégé les données au niveau de la taille de la classe avec le code suivant :

collapse (mean) avgmath_cs=avgmath avgverb_cs=avgverb, by(classize)

1. Régresser le score moyen en lecture (verbal) (variable dépendante) sur la taille de la classe (variable indépendante). Interpréter les coefficients.

2. Calculer les coefficients OLS b_0 et b_1 de la régression précédente en utilisant les formules vues plus haut. (Indice : vous devez utiliser les commandes corr et summarize.)

3. Quel est le score de lecture moyen prédit quand la taille de la classe est égale à 0 ? (est-ce que ce chiffre a du sens ?!)

4. Quel est le score de lecture moyen prédit quand la taille de la classe est égale à 30 ?

Plan du cours

1. Introduction I : l’intuition derrière la droite de régression
2. Introduction II : formalisation modèle de régression linéaire simple
3. Estimation par moindres carrés ordinaires (MCO)
4. Le modèle de régression linéaire simple (et hypothèses)
5. Estimation en Stata
6. Propriétés algébriques de l’estimateur des MCO

Propriétés de l’estimateur MCO

• L’estimateur MCO possède des propriétés algébriques de base.
  • Ces propriétés ne dépendent pas d’hypothèses concernant les propriétés statistiques de y, x ou e.

À partir de l’estimation par MCO, nous pouvons calculer :

Valeur prédite : \widehat y_i = b_0 + b_1 x_i

Résidus (estimés) : \hat e_i = y_i - b_0 - b_1 x_i = y_i - \bar y - b_1 (x_i - \bar x)

Droite de régression : \widehat y = b_0 + b_1 x

Attention à ne pas confondre les résidus et le terme d’erreur.

Propriétés algébriques de l’estimateur MCO : Prédictions et résidus

1. La somme ou moyenne des résidus est 0. \begin{aligned} \frac{1}{n} \sum_{i=1}^n \hat{e}_i &= \frac{1}{n} \sum_{i=1}^n (y_i - \widehat y_i) \\ &= \bar{y} - \frac{1}{n} \sum_{i=1}^n \widehat{y}_i = 0 \end{aligned}

2. Covariance entre la variable indépendante et résidus est 0. \sum_{i=1}^n x_i \hat e_i = 0 \operatorname{cov}(x,\hat e) = \frac{1}{n}\sum_{i=1}^n (x_i-\bar x)\hat e_i = \frac{1}{n}\sum_{i=1}^n x_i\hat e_i =0.

3. Le point (\bar{x}, \bar{y}) est situé sur la droite de régression. \bar{y}= b_0 + b_1 \bar{x}

4. La moyenne de \widehat{y}_i est égale à \bar{y}, d’après (1). \begin{aligned} \frac{1}{n} \sum_{i=1}^n \widehat{y}_i &= \frac{1}{n} \sum_{i=1}^n (b_0 + b_1 x_i) \\ &= b_0 + b_1 \bar{x} = \bar{y} \end{aligned}

5. Covariance entre la prediction et les résidus est 0, d’après (1) et (2). \begin{aligned} \operatorname{cov}(\widehat y_i, \hat{e}_i) &= \operatorname{cov}( b_0 + b_1 x_i, \hat{e}_i) \\ &= b_1 \operatorname{cov}(x_i, \hat{e}_i) = 0 \end{aligned} car \operatorname{cov}(a + cx, y) = c \, \operatorname{cov}(x, y).

Qualité d’ajustement (Goodness of Fit)

• Au niveau individuel i : y_i = \widehat y_i + \hat{e}_i. On en déduit la décomposition suivante :

SCT = SCE + SCR Variation totale = Expliquée par le modèle + Non expliquée par le modèle

• Cette décomposition repose sur les propriétés algébriques des MCO (#1 et #4) :

\Rightarrow Ces deux propriétés découlent des conditions du premier ordre du problème de minimisation des MCO.

En développant le carré, un terme croisé apparaît :

2\sum_{i=1}^n \hat e_i(\hat y_i-\bar y).

Ce terme est nul car \hat y_i=b_0+b_1x_i :

\sum_i \hat e_i(\hat y_i-\bar y) = (b_0-\bar y)\sum_i\hat e_i + b_1\sum_i x_i\hat e_i =0.

Les deux propriétés utilisées découlent des conditions du premier ordre du problème de minimisation MCO.

Qualité d’ajustement (Goodness of Fit)

SCT = SCE + SCR Variation totale = Expliquée par le modèle + Non expliquée par le modèle

• SCT = \textrm{Somme des Carrés Totaux} = \sum_{i=1}^n (y_i - \bar y)^2
  • Mesure le degré de dispersion des y_i dans l’échantillon.

• SCE = \textrm{Somme des Carrés Expliqués} = \sum_{i=1}^n (\widehat y_i - \bar y)^2
  • Mesure le degré de dispersion des \hat y_i dans l’échantillon.

• SCR = \textrm{Somme des Carrés des Résidus} = \sum_{i=1}^n \hat e_i^2

Qualité d’ajustement (Goodness of Fit) : coefficient de détermination (ou R^2)

• Le R^2 mesure l’adéquation du modèle aux données.

• Fraction de la variation de y qui est expliquée par x au sein de l’échantillon.

R^2 = \frac{\text{Variance expliquée}}{\text{Variance totale}} = \frac{SCE}{SCT} = 1 - \frac{SCR}{SCT} \in [0, 1]

avec SCE = \sum_{i=1}^n (\widehat y_i - \bar y)^2 et SCT = \sum_{i=1}^n (y_i - \bar y)^2.

• R^2 proche de 1 indique un très haut pouvoir explicatif du modèle.
• R^2 proche de 0 indique un très faible pouvoir explicatif du modèle.

• Interprétation : un R^2 de 0.5, par exemple, signifie que la variation de x « explique » 50 % de la variation de y.

On considère les cas où SCT \neq 0, ce qui est vrai sauf dans des cas dénués d’intérêt (variable constante).

Qualité d’ajustement (Goodness of Fit) & causalité

• Interprétation : un R^2 de 0.5, par exemple, signifie que la variation de x « explique » 50 % de la variation de y.

• ⚠️ Un R^2 faible NE signifie PAS que le modèle est inutile !

  • Rappel : l’économétrie s’intéresse aux mécanismes causaux, et pas uniquement aux prédictions !

• ⚠️ Le R^2 n’indique PAS si la relation est causale !

Exercice 3 : R^2 et qualité d’ajustement

1. Régresser avgmath_cs sur classize. Quel est le R^2 ?

2. Calculer la valeur prédite de avgmath_cs (appelez-la avgmath_cs_pred) et le résidu (residu). Quelle est la valeur moyenne du résidu ?

3. Calculer la variance expliquée et la variance totale pour cette régression. En déduire le R^2.

4. Calculer le carré de la corrélation entre classize et avgmath_cs. Quelle propriété relie le R^2 et la corrélation dans une régression univariée ?

5. Répéter la question 1 pour avgverb_cs. Pour quelle matière la variance de la taille de la classe explique-t-elle le plus la variance du score des étudiants ?

Concepts à retenir

1. Comment écrire le modèle de régression simple.

2. Le problème de minimisation dont l’estimateur des MCO est une solution.

3. Les hypothèses statistiques de base du modèle.

4. Les propriétés algébriques de l’estimateur des MCO.

5. Le concept du R^2, ainsi que les notions de SCT (somme des carrés totaux), SCE (somme des carrés expliqués) et SCR (somme des carrés des résidus).

Où en sommes-nous de notre quête de la causalité ?

✅ Comment gérer les données ? Ouvrez-les, ordonnez-les, visualisez-les…

🚧 Comment résumer une relation entre plusieurs variables ? Régression linéaire simple… à suivre

❌ Qu’est-ce que la causalité ?

❌ Comment faire si nous n’observons qu’une partie de la population ?

❌ Nos résultats sont-ils uniquement dus au hasard ?

❌ Comment trouver de l’exogénéité en pratique ?

À la semaine prochaine !

Contact

natalia.bermudez@uliege.be

Un grand merci à Malka Guillot pour avoir partagé les supports de ce cours, ainsi qu’à Florian Oswald et à toute l’équipe de ScPoEconometrics pour leur livre et leurs ressources.