Chapitre 4 : Régression linéaire multiple (RLM)

Économétrie (ECON0212)

Natalia Bermúdez

HEC Liège

October 2026

Aujourd’hui — Régression Linéaire Multiple

Au programme

• Plusieurs variables explicatives dans le modèle
• Le biais de variable omise
• Interprétation : variables quantitatives et variables indicatrices
• Le piège de la collinéarité parfaite
• Le R^2 ajusté

Point de départ : taille de la classe et performance des élèves

• Données d’Angrist et Lavy (1999) : classes de CM2 en Israël.
• Avec une régression linéaire simple (chapitre 2), la taille de la classe était positivement associée aux scores en mathématiques et en lecture.

Rappel rapide du chapitre 2 : y_i = \beta_0 + \beta_1 x_i + e_i, estimateurs MCO b_0 et b_1. Aujourd’hui on garde exactement la même logique (MCO), mais avec plusieurs régresseurs. Notation (comme Wooldridge, chap. 3) : x_{ij} = valeur de la variable j pour l’observation i.

Régression simple : taille de la classe et score en maths

regress avgmath classize

\widehat{\text{score}}_i = 57.79 + \color{#5b2c74}{0.32}\times \text{taille}_i

Une classe avec un élève de plus est associée, en moyenne, à un score plus élevé de 0,32 point. Rappeler : chaque point est une classe (pas un élève). N = 2 019 classes.

Un résultat surprenant

• Chapitre 2 (Régression simple) : un élève de plus dans la classe est associé à +0.32 point en maths.

• Chapitre 3 (STAR project - traitement aléatoire ) : « être assigné à une petite classe » était aléatoire, et il augmentait les scores (environ +9 points en maths en maternelle).

Comment réconcilier les deux ? La régression simple n’est pas une expérience aléatoire : les grandes et les petites classes diffèrent peut-être par autre chose que leur taille (par exemple, des caractéristiques observables et non observables).

• Ex. La localisation : les grandes classes sont plus fréquentes dans les villes riches, les petites dans les régions rurales plus pauvres (plus d’élèves défavorisés). Elle peut influencer à la fois la taille des classes et les scores.

Lien avec le chapitre 3 : dans STAR, l’assignation aléatoire garantit que les petites et les grandes classes sont comparables en moyenne (pas de biais de sélection). Ici, rien ne garantit que les classes de tailles différentes sont comparables. Faire deviner la variable confondante à la salle avant de passer à la diapo suivante.

Un facteur confondant : l’origine sociale des élèves

La localisation n’est pas observée, mais disadvantaged (% d’élèves issus de milieux défavorisés, plus élevé dans les régions pauvres) en mesure une dimension clé. Est-il lié à la fois à x et à y ?

Lien avec x (taille de la classe)

👉 Plus de défavorisés \rightarrow classes plus petites.

Lien avec y (score en maths)

👉 Plus de défavorisés \rightarrow scores plus faibles.

Un facteur confondant est lié à la fois à x et à y. Ici : - défavorisés ↑ ⇒ taille de la classe ↓ (lien avec x) ; - défavorisés ↑ ⇒ score ↓ (lien avec y). Donc les petites classes ont de moins bons scores en partie à cause de la composition sociale : la régression simple attribue cet effet à la taille de la classe.

Vers la régression multiple

On veut l’effet de la taille de la classe sur le score en contrôlant pour le % d’élèves défavorisés.

\Rightarrow On inclut les deux variables comme régresseurs :

\text{score}_i = \beta_0 + \beta_1\, \text{taille}_i + \beta_2\, \text{défavorisés}_i + e_i

• \beta_1 : relation entre taille et score à % de défavorisés donné, c’est-à-dire purgée de l’effet de disadvantaged.
• C’est une régression linéaire multiple.

Plan du cours

1. Le modèle de régression linéaire multiple (RLM)
2. Le biais de variable omise
3. Variables quantitatives et variables indicatrices
4. R^2 ajusté

Le modèle de régression linéaire multiple

Objectif : enrichir le modèle pour prendre en compte les facteurs qui sont simultanément liés à y_i et à x_{i1}.

Dans la population, on suppose la relation linéaire :

y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \dots + \beta_k x_{ik} + e_i

• y_i : variable dépendante (ex. score moyen en maths de la classe i)
• x_{i1}, \dots, x_{ik} : les k variables explicatives (ex. taille de la classe, % de défavorisés).
• \beta_0 : constante ; \beta_1, \dots, \beta_k : les k pentes \Rightarrow k+1 paramètres inconnus.
• e_i : terme d’erreur, regroupe tous les facteurs non inclus dans le modèle.
• Le modèle est linéaire dans les paramètres (comme au chapitre 2).

Wooldridge, chap. 3 : modèle (3.6). Rappel : avec la régression simple, \beta_1 n’est causal que si tous les autres facteurs dans e sont non corrélés avec x (hypothèse E(e\mid x)=0). La RLM permet de sortir explicitement de e certains facteurs observables corrélés avec x. Ne pas confondre : \beta_j (paramètres, inconnus) et b_j (estimateurs, calculés sur l’échantillon) — même convention qu’au chapitre 2.

Estimation de la RLM par MCO

Comme au chapitre 2, on choisit les estimateurs b_0, b_1, \dots, b_k qui MINIMISENT LA SOMME DES CARRÉS DES RÉSIDUS :

\min_{b_0, b_1, \dots, b_k} \; \sum_{i=1}^n \hat e_i^2 = \sum_{i=1}^n \big(y_i - b_0 - b_1 x_{i1} - \dots - b_k x_{ik}\big)^2

• Le problème est plus complexe : k+1 paramètres \Rightarrow k+1 estimateurs (b_0, b_1, \dots, b_k), obtenus à partir de k+1 conditions du premier ordre.
• Il n’y a plus de formule « simple » du type \text{cov}/\text{var} pour chaque pente : Stata résout le système pour nous.

On obtient ensuite, comme avant :

• les valeurs prédites : \widehat y_i = b_0 + b_1 x_{i1} + \dots + b_k x_{ik}
• les résidus : \hat e_i = y_i - \widehat y_i

Wooldridge, chap. 3 (équations 3.12–3.13). Les k+1 conditions du premier ordre sont : \sum_i \hat e_i = 0 et \sum_i x_{ij}\,\hat e_i = 0 pour j = 1,\dots,k. Ce sont les mêmes propriétés algébriques qu’au chapitre 2 : les résidus sont de moyenne nulle et non corrélés avec chaque régresseur. La solution générale s’écrit en algèbre matricielle (b = (X'X)^{-1}X'y), pas au programme ici.

Interprétation : le cas k=2

y_i = \beta_0 + \textcolor{red}{\beta_1} x_{i1} + \beta_2 x_{i2} + e_i

Étape 1. On régresse x_{i1} sur x_{i2} (et une constante), et on garde le résidu \color{#1a7a3d}{\hat r_{i1}} :

x_{i1} = \gamma_0 + \gamma_1 x_{i2} + r_{i1}, \qquad \textcolor{#1a7a3d}{\hat r_{i1}} = x_{i1} - \hat\gamma_0 - \hat\gamma_1 x_{i2}

\color{#1a7a3d}{\hat r_{i1}} = la partie de x_{i1} qui n’est pas expliquée par x_{i2}.

Étape 2. L’estimateur MCO de \textcolor{red}{\beta_1} dans la régression multiple est :

\textcolor{red}{b_1} = \frac{\sum_{i=1}^n \textcolor{#1a7a3d}{\hat r_{i1}}\, y_i}{\sum_{i=1}^n \textcolor{#1a7a3d}{\hat r_{i1}}^2}

\Rightarrow \textcolor{red}{b_1} est la pente de la régression simple de y_i sur \textcolor{#1a7a3d}{\hat r_{i1}} : \;y_i = \alpha_0 + \beta_1 \textcolor{#1a7a3d}{\hat r_{i1}} + v_i.

Wooldridge, chap. 3, interprétation « partialling out » (éq. 3.22) — vérifié : c’est correct. Points de notation à souligner : - x_{i1} (observation i, variable 1), pas x_{1i}. - On écrit b_1 (l’estimateur), pas \beta_1, dans la formule : \beta_1 est le paramètre de population. - La régression auxiliaire « y_i sur \hat r_{i1} » est une régression d’échantillon : on ne l’écrit pas avec \beta_0, \beta_1 du modèle. Sa pente vaut exactement b_1 ; sa constante vaut \bar y (car \hat r_{i1} est de moyenne nulle), pas b_0. Vérifié sur nos données : régresser avgmath sur le résidu de classize après disadvantaged donne exactement 0,0717, comme la régression multiple. Intuition : on « nettoie » x_1 de tout ce qui est expliqué par x_2, puis on regarde comment y varie avec ce qui reste.

Le théorème de Frisch–Waugh–Lovell

Le résultat précédent se généralise à chaque variable explicative x_j :

\textcolor{red}{b_j} = \frac{\sum_{i=1}^n \hat r_{ij}\, y_i}{\sum_{i=1}^n \hat r_{ij}^{\,2}}, \qquad j = 1, \dots, k

où \hat r_{ij} est le résidu de la régression de x_j sur toutes les autres variables explicatives (et une constante).

• Théorème de Frisch–Waugh–Lovell : \textcolor{red}{b_j} mesure la relation entre y et x_j une fois que l’on a retiré (“netting out”) de x_j, la variation expliquée par les autres variables du modèle.
• C’est ce qui justifie l’interprétation « en maintenant les autres régresseurs constants », au sens statistique.

• La constante s’obtient ensuite par : \textcolor{red}{b_0 = \bar y - b_1 \bar x_1 - b_2 \bar x_2 - \dots - b_k \bar x_k}

Corrections par rapport à l’ancienne version de la diapo : - l’indice de la somme est j (et non k, qui est le nombre de régresseurs) ; - le résidu \hat r_{ij} vient d’une régression auxiliaire avec ses propres coefficients (\hat\gamma), pas avec les b du modèle principal ; - la constante utilise \bar x_1, \dots, \bar x_k. Wooldridge (chap. 3) appelle cela l’interprétation « partialling out » ; le nom du théorème (Frisch–Waugh–Lovell) est classique. Comme \sum_i \hat r_{ij} = 0, on peut aussi écrire b_j = \sum_i \hat r_{ij}(y_i - \bar y) / \sum_i \hat r_{ij}^2 : c’est exactement la formule de pente de la régression simple du chapitre 2, appliquée à \hat r_{ij}. \Rightarrow la droite (le plan) de régression passe par le point moyen (\bar x_1, \dots, \bar x_k, \bar y).

Interprétation (k=2): toutes choses égales par ailleurs

\widehat y = b_0 + b_1 x_1 + b_2 x_2 \quad\Longrightarrow\quad \Delta \widehat y = b_1\, \Delta x_1 + b_2\, \Delta x_2

Si x_2 est maintenu constant (\Delta x_2 = 0) :

• Constante b_0 : valeur prédite de y quand tous les régresseurs valent 0.
• Pente b_j : variation prédite de y associée à une augmentation d’une unité de x_j, en maintenant tous les autres régresseurs constants.
  • Effet marginal sur la valeur prédite, ou une interprétation «toutes choses égales par ailleurs» (TCEPA, ceteris paribus). \Delta \widehat y = b_1\, \Delta x_1 \quad\Longrightarrow\quad b_1 = \textcolor{red}{\frac{\Delta\widehat y}{\Delta x_1}}

⚠️ Attention : seuls les régresseurs inclus sont maintenus constants. Les facteurs non inclus (dans e_i) peuvent encore être corrélés avec x_j et biaiser l’estimation \rightarrow biais de variable omise .

Wooldridge, chap. 3 : interprétation « ceteris paribus » des coefficients de la régression multiple. La régression multiple permet de faire « comme si » on maintenait x_2 fixe, même si les données ne viennent pas d’une expérience où x_2 est fixé. Lien causal : b_j s’interprète comme un effet causal seulement si, conditionnellement aux régresseurs inclus, les facteurs dans e ne varient pas systématiquement avec x_j (E(e \mid x_1, \dots, x_k) = 0, hypothèse MLR.4 de Wooldridge). C’est une version « conditionnelle » de l’argument de randomisation du chapitre 3.

Une nuance dans l’interprétation : les formes non linéaires

La RLM permet aussi de modéliser une relation non linéaire. Exemple (Wooldridge, éq. 3.4) : consommation et revenu des ménages.

\text{cons}_i = \beta_0 + \beta_1\, \text{inc}_i + \beta_2\, \text{inc}_i^2 + e_i

• Un seul facteur observé (le revenu \rightarrow inc), mais deux régresseurs : x_{i1} = \text{inc}_i et x_{i2} = \text{inc}_i^2.
  • Trois paramètres, estimés par MCO. Le modèle reste linéaire dans les paramètres.

• ⚠️ L’interprétation TCEPA ne s’applique pas : on ne peut pas faire varier inc en gardant inc² constant !

• L’effet marginal (ex. propension marginale à consommer) dépend du revenu : \textcolor{red}{\frac{\Delta \text{cons}}{\Delta \text{inc}}} \approx \beta_1 + 2\,\beta_2\, \text{inc}

Source : Wooldridge, André et Beine (2018), chap. 3, éq. (3.4) et commentaire qui suit. D’où vient l’approximation : c’est la dérivée de \beta_0 + \beta_1 \text{inc} + \beta_2 \text{inc}^2 par rapport à inc, soit \beta_1 + 2\beta_2\,\text{inc} (Wooldridge, annexe A). Pour une petite variation \Delta\text{inc}, \Delta\text{cons} \approx (\beta_1 + 2\beta_2\,\text{inc})\,\Delta\text{inc}. Lien avec le chapitre 2 : c’est l’exemple « ajouter x^2 » de l’hypothèse H1 (linéarité dans les paramètres \neq relation linéaire entre x et y) — on avait annoncé qu’il s’agissait d’une régression multiple. Si \beta_2 < 0 : la propension marginale à consommer diminue avec le revenu (rendements décroissants). La relation atteint un maximum en \text{inc}^* = -\beta_1 / (2\beta_2). Wooldridge note la notation u pour l’erreur ; ici on garde e, comme dans tout le cours. Message à dire à l’oral : la définition des régresseurs compte autant que leur choix ; les formes fonctionnelles seront approfondies au chapitre 6.

Application : taille de la classe et milieu social

regress avgmath classize disadvantaged

\widehat{\text{score}}_i = 69.94 + 0.07\,\text{taille}_i - 0.34\,\text{défav}_i

• b_0 = 69.94 : score prédit pour une classe de 0 élève et 0 % de défavorisés (pas d’interprétation concrète).

• b_1 = 0.07 : à % de défavorisés constant, un élève de plus est associé, en moyenne, à +0.07 point en maths.

• b_2 = -0.34 : à taille de classe constante, une hausse de 1 point de pourcentage de défavorisés est associée, en moyenne, à −0.34 point en maths.

Syntaxe Stata : regress y x1 x2 ... (variable dépendante en premier).

Aparté à faire à l’oral (pas de diapo) : pourcentage (%) vs. point de pourcentage (ppt). Exemple : la part de défavorisés passe de 10 % à 25 %. - Variation en points de pourcentage : 25 − 10 = 15 ppt. - Variation en pourcentage : (25 − 10)/10 = 150 %. Ici disadvantaged est mesuré en %, donc « +1 unité » = +1 point de pourcentage. Les deux notions impliquent des magnitudes très différentes : toujours préciser laquelle on utilise.

Rappel : cet aparté (% vs ppt) sera retravaillé en TP, dans l’exercice sur la régression multiple.

Pourquoi b_1 a-t-il changé ?

	Régression simple	Régression multiple
Coefficient de classize	0.32	0.07
disadvantaged inclus ?	non	oui

• Le coefficient de la taille de la classe chute de 0.32 à 0.07 quand on contrôle pour le % de défavorisés.
• C’était attendu : une partie de l’association positive venait du fait que les grandes classes comptent moins d’élèves défavorisés (en pourcentage).
• La régression simple attribuait à la taille de la classe un effet qui venait en partie de la composition sociale :
  • Les grandes classes, qui comptent moins d’élèves défavorisés, auraient obtenu de meilleurs scores même si elles avaient été plus petites.

\rightarrow Formalisons ce mécanisme : le biais de variable omise.

Plan du cours

1. Le modèle de régression linéaire multiple (RLM)
2. Le biais de variable omise
3. Variables quantitatives et variables indicatrices
4. R^2 ajusté

Biais de variable omise (Omitted Variable Bias, OVB)

Variable omise (z) : variable qui affecte y, qui est corrélée avec x, mais qui n’est pas incluse dans la régression. Elle se retrouve alors dans le terme d’erreur.

Trois régressions :

1. « Vrai » modèle (régression multiple) : \;y_i = \beta_0 + \beta_1 x_i + \textcolor{#d90502}{\beta_2 z_i} + e_i

2. Modèle estimé (régression simple, z omise) : \;\widehat y_i = \tilde b_0 + \tilde b_1 x_i

3. Variable omise sur le régresseur : \widehat z_i = \tilde\delta_0 + \textcolor{#DE9854}{\tilde\delta_1 x_i}

E(\tilde b_1 \mid x, z) = \beta_1 + \underbrace{\color{#d90502}{\beta_2} \times \color{#DE9854}{\tilde\delta_1}}_{\text{biais de variable omise}}

Notation alignée sur Wooldridge, chap. 3 (section sur le biais de variable omise) : le tilde (\tilde b_1) désigne l’estimateur de la régression simple (avec z omise), pour le distinguer de b_1 dans la régression multiple. \tilde\delta_1 est la pente de l’échantillon dans la régression de z sur x : \tilde\delta_1 = \sum_i (x_i - \bar x) z_i / \sum_i (x_i - \bar x)^2. Hypothèse utilisée : E(e \mid x, z) = 0 dans le vrai modèle.

[Démonstration] Biais de variable omise

L’estimateur de la régression simple est (chapitre 2) : \;\tilde b_1 = \sum_{i=1}^n (x_i - \bar x)\, y_i \,\big/ \sum_{i=1}^n (x_i - \bar x)^2

On remplace y_i par le vrai modèle y_i = \beta_0 + \beta_1 x_i + \beta_2 z_i + e_i. Comme \sum_i (x_i - \bar x) = 0 et \sum_i (x_i - \bar x) x_i = \sum_i (x_i - \bar x)^2 :

\tilde b_1 = \beta_1 + \textcolor{#d90502}{\beta_2}\, \underbrace{\frac{\sum_{i=1}^n (x_i - \bar x)\, z_i}{\sum_{i=1}^n (x_i - \bar x)^2}}_{=\ \textcolor{#DE9854}{\tilde\delta_1}} + \frac{\sum_{i=1}^n (x_i - \bar x)\, e_i}{\sum_{i=1}^n (x_i - \bar x)^2}

On prend l’espérance conditionnellement aux x_i et aux z_i. Sous l’hypothèse E(e_i \mid x, z) = 0 (H3 du chapitre 2, mais avec deux régresseurs), le dernier terme s’annule:

E(\tilde b_1 \mid x, z) = \beta_1 + \textcolor{#d90502}{\beta_2}\, \textcolor{#DE9854}{\tilde\delta_1} \qquad\Longrightarrow\qquad \text{Biais} = \textcolor{blue}{E(\tilde b_1 \mid x, z) - \beta_1} = \color{#d90502}{\beta_2}\, \textcolor{#DE9854}{\tilde\delta_1}

Démonstration à faire au tableau pas à pas. Points clés : - \sum_i (x_i - \bar x)\beta_0 = 0 ; - \sum_i (x_i - \bar x)\beta_1 x_i = \beta_1 \sum_i (x_i - \bar x)^2, d’où le \beta_1 seul ; - le terme en z est exactement la pente de la régression de z sur x. Pas de biais si \beta_2 = 0 (z n’affecte pas y) ou si \tilde\delta_1 = 0 (z non corrélée avec x dans l’échantillon).

Biais de variable omise : le signe du biais

\text{Biais} = \underbrace{\color{#d90502}{\beta_2}}_{\text{pente de la régression de } y \text{ sur } z \text{ (à } x \text{ donné)}} \times \underbrace{\color{#DE9854}{\tilde\delta_1}}_{\text{pente de la régression de } z \text{ sur } x}

	\color{#DE9854}{\tilde\delta_1} > 0	\color{#DE9854}{\tilde\delta_1} < 0
\color{#d90502}{\beta_2} > 0	biais positif	biais négatif
\color{#d90502}{\beta_2} < 0	biais négatif	biais positif

• Si z est observée : on obtient la magnitude du biais (mais alors on l’inclut dans la régression !).
• En pratique, z est souvent inobservée : on peut quand même raisonner sur le signe du biais.

Exemple

Salaire et années d’études. Variable omise : les capacités (ability). Elles augmentent le salaire (\color{#d90502}{\beta_2} > 0) et les personnes plus capables font en moyenne plus d’études (\color{#DE9854}{\tilde\delta_1} > 0) \Rightarrow biais positif.

Wooldridge, chap. 3, tableau du signe du biais (Table 3.2 dans l’édition anglaise). Exemple classique de Wooldridge : salaire, éducation, capacités (abil). « Biais vers le haut » = E(\tilde b_1) > \beta_1. Faire réfléchir la salle sur d’autres variables omises possibles (motivation, milieu familial, réseau).

Biais de variable omise : notre exemple

(1) Régression simple (z omise) :

\widehat{\text{score}} = 57.79 + \tilde b_1\,\text{taille}, \tilde b_1 = 0.317

(2) Régression multiple :

\widehat{\text{score}} = 69.94 + b_1\,\text{taille} + \textcolor{#d90502}{b_2}\,\text{défav}

b_1 = 0.072, \quad \color{#d90502}{b_2 = -0.340}

(3) Variable omise sur x :

\widehat{\text{défav}} = 35.78 + \textcolor{#DE9854}{\tilde\delta_1}\,\text{taille}

\textcolor{#DE9854}{\tilde\delta_1 = -0.724}

Interprétation du biais :

• \textcolor{#d90502}{b_2} < 0 : plus de défavorisés \Rightarrow scores plus faibles.
• \textcolor{#DE9854}{\tilde\delta_1} < 0 : les grandes classes ont moins de défavorisés.
• \Rightarrow biais = (-) \times (-) > 0.

\underbrace{0.317}_{\tilde b_1} = \underbrace{0.072}_{b_1} + \underbrace{(-0.340)}_{\color{#d90502}{b_2}} \times \underbrace{(-0.724)}_{\textcolor{#DE9854}{\tilde\delta_1}}

La régression simple surestimait l’association entre taille de la classe et score.

Dans l’échantillon, la relation \tilde b_1 = b_1 + b_2\,\tilde\delta_1 est une identité exacte (Wooldridge, chap. 3, éq. 3.23), pas seulement une approximation : vérifié sur nos données, 0,0717 + (−0,3396)(−0,7239) = 0,3175. Lien avec l’inférence causale : même b_1 = 0.07 n’est pas forcément causal — d’autres variables omises (richesse de la commune, qualité des enseignants…) peuvent encore biaiser l’estimation. C’est pour cela qu’Angrist et Lavy utilisent la règle de Maïmonide (on y reviendra).

Exercice 1

On utilise maintenant le score en lecture (avgverb) comme variable dépendante.

1. Ouvrir la base grade5.dta dans Stata.

2. Régresser avgverb sur classize et disadvantaged. Interpréter les coefficients et les comparer avec ceux obtenus pour les maths. Comparer ensuite le coefficient de classize avec celui de la régression simple (sans disadvantaged).

3. Quelles autres variables disponibles pourrait-on ajouter ? Estimer la régression avec ces variables et discuter le signe et la magnitude des coefficients.

4. On contrôle maintenant pour religious au lieu de disadvantaged. Quel est le signe du biais de variable omise lié à religious dans la régression simple ? Calculer sa magnitude et l’interpréter. (Indice : régresser religious sur classize pour obtenir \tilde\delta_1.)

Plan du cours

1. Le modèle de régression linéaire multiple (RLM)
2. Le biais de variable omise
3. Variables quantitatives et variables indicatrices
4. R^2 ajusté

Variables quantitatives et variables qualitatives

Jusqu’ici, les régresseurs étaient quantitatifs : « +1 unité » a un sens.

• Discrète : l’ensemble des valeurs possibles est fini ou dénombrable (on peut les énumérer). Ex. : taille de la classe \in \{1, 2, 3, \dots\}.
• Continue : X peut prendre n’importe quelle valeur d’un intervalle. Ex. : revenu, durée, % d’élèves défavorisés

Mais certaines variables sont qualitatives (ex. catégorielles) : type de classe (small), type d’école, région, religion, genre…

• Variables indicatrices (dummy), qui valent 1 si une condition est vraie et 0 sinon. Une indicatrice est une variable discrète binaire (valeurs 0 et 1).

⚠️ Le codage numérique d’une variable catégorielle est arbitraire (ex. school : 1 = centre-ville, 2 = rural, 3 = périurbain, 4 = urbain). « +1 unité » n’a pas de sens !

Point de rigueur : « discret » et « catégoriel » ne sont pas synonymes. - Une variable discrète quantitative (nombre d’enfants, taille de la classe) a des valeurs ordonnées et des écarts qui ont un sens : on peut l’utiliser telle quelle. - Une variable catégorielle n’a que des étiquettes ; son codage en entiers est une convention. On la transforme en indicatrices. - Une indicatrice 0/1 est à la fois discrète et la représentation naturelle d’une catégorie à deux modalités. Wooldridge, chap. 7 (variables binaires).

Variable indicatrice : interprétation

\text{score}_i = \beta_0 + \beta_1\, \text{taille}_i + \beta_2\, \text{religieuse}_i + e_i

religious = 1 si l’école est religieuse, 0 sinon. regress avgmath classize religious :

• b_0 = 61.31 : score prédit dans une école non religieuse avec une classe de 0 élève.
• b_1 = 0.23 : à statut religieux constant, un élève de plus est associé, en moyenne, à +0.23 point.
• b_2 = -3.78 : à taille de classe constante, les écoles religieuses ont en moyenne un score inférieur de 3.78 points à celui des écoles non religieuses.
• b_0 + b_2 : score prédit dans une école religieuse avec une classe de 0 élève.

\rightarrow Le coefficient d’une indicatrice est une différence de moyennes par rapport à la catégorie de référence (religious = 0). Démonstrations : voir l’annexe.

Wooldridge, chap. 7 : le coefficient d’une variable binaire est un « décalage d’ordonnée à l’origine » (intercept shift) entre les deux groupes, à valeurs égales des autres régresseurs. Les démonstrations (espérances conditionnelles) sont en annexe à la fin du chapitre.

Variable indicatrice : graphiquement

Deux droites parallèles (même pente b_1), décalées verticalement de b_2.

J’ai vérifié le graphique de l’ancienne version : il était correct (deux droites parallèles, pente b_1, écart vertical b_2, ordonnée à l’origine b_0 pour les écoles non religieuses). Ici il est redessiné en français et avec les couleurs du cours. Comme b_2 < 0, la droite des écoles religieuses est en dessous. Les lignes pointillées entre 0 et 5 sont une extrapolation (la plus petite classe a 5 élèves) : elles servent seulement à visualiser b_0 et b_0 + b_2.

Pas de collinéarité parfaite

Condition : aucun régresseur ne peut être une combinaison linéaire exacte des autres (ni de la constante). Sinon, les MCO ne peuvent pas séparer leurs effets.

Exemple : le piège des indicatrices. On crée is_religious et is_notreligious et on les met toutes les deux dans la régression :

gen is_religious    = religious == 1
gen is_notreligious = religious == 0
reg avgmath is_religious is_notreligious classize

Pour chaque école : is_religious + is_notreligious = 1 = la constante.

\Rightarrow collinéarité parfaite : Stata supprime automatiquement une variable (omitted).

⚠️ Règle : avec G catégories, on inclut G-1 indicatrices. La catégorie omise est la référence ; les coefficients se lisent par rapport à elle.

Wooldridge, chap. 3 (hypothèse MLR.3 : pas de collinéarité parfaite) et chap. 7 (« dummy variable trap »). Distinguer : collinéarité parfaite (relation exacte, l’estimation est impossible) vs. régresseurs fortement corrélés (l’estimation est possible mais imprécise — on y reviendra avec les écarts-types). Conséquence pratique : il faut au moins n \geq k+1 observations. Dans Stata, i.school crée automatiquement les indicatrices et omet une catégorie de référence ; c.school traite la variable comme continue (à éviter pour une variable catégorielle). Toujours vérifier quelle catégorie a été omise.

Exercice 2 : le piège des indicatrices

Données star_data.dta (chapitre 3). Supprimer les observations avec des valeurs manquantes.

1. Créer trois indicatrices : small (petite classe), regular (classe normale) et regular_plus (classe normale + aide). Que vaut small + regular + regular_plus pour chaque élève ?

2. Régresser math sur small, regular et regular_plus. Que se passe-t-il ? Quelle est la catégorie de référence ?

3. Comparer avec regress math i.star. Les résultats sont-ils cohérents ?

Plan du cours

1. Le modèle de régression linéaire multiple (RLM)
2. Le biais de variable omise
3. Variables quantitatives et variables indicatrices
4. R^2 ajusté

R^2 et R^2 ajusté

Comme au chapitre 2 : \;R^2 = \dfrac{SCE}{SCT} = 1 - \dfrac{SCR}{SCT} \in [0, 1]

• Le R^2 augmente toujours (ou reste constant) quand on ajoute un régresseur, même inutile.
• Un R^2 faible ne veut pas dire que le modèle est mauvais, et ne dit rien sur l’interprétation causale des coefficients.

Le R^2 ajusté pénalise l’ajout de régresseurs :

\bar R^2 = 1 - \frac{n-1}{n-k-1}\,\frac{SCR}{SCT} = 1 - \frac{n-1}{n-k-1}\,(1 - R^2)

où n = nombre d’observations et k = nombre de régresseurs (hors constante).

Wooldridge, chap. 6 (section sur le R^2 ajusté). Exemple : régression simple R^2 = 0.047, régression multiple avec disadvantaged R^2 = 0.247 (\bar R^2 = 0.246, quasi identique car n = 2019 est grand).

[Propriétés] R^2 ajusté

\bar R^2 = 1 - \frac{n-1}{n-k-1}(1-R^2)

1. Le R^2 ajusté est toujours inférieur ou égal au R^2 :

   \bar R^2 \leq R^2

2. Que se passe-t-il lorsqu’on ajoute une variable explicative ?

   • Le R^2 ne peut pas diminuer, même si la nouvelle variable apporte très peu d’information.
   • Le \bar R^2 tient compte du nombre de variables explicatives :
     • Il augmente si la nouvelle variable améliore suffisamment l’ajustement.
     • Il diminue si l’amélioration est trop faible

Le R² ajusté peut être négatif.

L’ajout d’un régresseur entraîne une pénalité liée à la perte d’un degré de liberté. Pour que le R² ajusté augmente, le gain d’ajustement doit compenser cette pénalité.

Exercice 3 : récapitulatif (révision à la maison)

On utilise les données STAR (star_data.dta) pour réviser les points précédents.

1. Garder les élèves de 2^e année (grade). Régresser math sur i.school (regarder d’abord tab school). Interpréter les coefficients. Quelle est la catégorie de référence ? Quelle pourrait être une variable omise ?

2. Calculer la part d’élèves bénéficiant d’un repas gratuit (lunch = “free”) par school. Qu’observez-vous ? Ajouter lunch à la régression précédente. Comment les coefficients changent-ils ?

3. Régresser math sur i.star, puis ajouter gender, ethnicity, lunch, degree, experience et school. Comme STAR est une expérience aléatoire, le coefficient de star devrait-il beaucoup changer ? Qu’en concluez-vous sur la randomisation ?

4. Quel est le R^2 ajusté de cette dernière régression ? Comment l’interpréter ?

Lien avec le chapitre 3 (question 3) : si l’assignation est vraiment aléatoire, la taille de la classe n’est pas corrélée avec les caractéristiques des élèves (\tilde\delta_1 \approx 0), donc ajouter des contrôles ne devrait presque pas changer le coefficient de star — c’est la formule du biais de variable omise en action. Les solutions sont dans le do-file des TP (exercices/5-regression-multivariee.do).

Annexe

Variable indicatrice : démonstrations

Annexe Variable indicatrice : b_0 et b_1

\widehat{\text{score}} = b_0 + b_1\, \text{taille} + b_2\, \text{religieuse}

Constante. Pour une école non religieuse avec une classe de taille 0 : \widehat{\text{score}}(\text{religieuse} = 0,\ \text{taille} = 0) = b_0 + b_1 \times 0 + b_2 \times 0 = b_0

Pente de la taille. À statut religieux R \in \{0,1\} fixé, comparons une classe de taille n_1 + 1 et une classe de taille n_1 : \widehat{\text{score}}(R,\ n_1 + 1) - \widehat{\text{score}}(R,\ n_1) = \big[b_0 + b_1 (n_1 + 1) + b_2 R\big] - \big[b_0 + b_1 n_1 + b_2 R\big] = b_1

\Rightarrow b_1 = variation prédite du score associée à un élève de plus, à statut religieux constant (la même pour les deux types d’écoles).

← Retour à la diapositive « Variable indicatrice : interprétation »

Annexe Variable indicatrice : b_2

À taille de classe T fixée, comparons une école religieuse et une école non religieuse :

\widehat{\text{score}}(\text{religieuse} = 1,\ T) = b_0 + b_1 T + b_2

\widehat{\text{score}}(\text{religieuse} = 0,\ T) = b_0 + b_1 T

\widehat{\text{score}}(1,\ T) - \widehat{\text{score}}(0,\ T) = b_2

\Rightarrow b_2 = différence de score prédit entre écoles religieuses et non religieuses, à taille de classe constante.

Et b_0 + b_2 = score prédit dans une école religieuse avec une classe de taille 0.

← Retour à la diapositive « Variable indicatrice : interprétation »

Version « population » de ces résultats, sous E(e \mid \text{taille}, \text{religieuse}) = 0 : \beta_2 = E(\text{score} \mid \text{religieuse} = 1, \text{taille}) - E(\text{score} \mid \text{religieuse} = 0, \text{taille}). Wooldridge, chap. 7.