Variables aléatoires, fonction de répartition, loi des grands nombres, théorème central limite

La fonction de répartition, notée F, associe à chaque réel x la probabilité que la variable soit inférieure ou égale à x. Trois propriétés la caractérisent : elle est croissante au sens large sur l'ensemble des réels ; elle est continue à droite en tout point ; elle tend vers 0 quand x tend vers moins l'infini et vers 1 quand x tend vers plus l'infini. Toute fonction qui les vérifie est la fonction de répartition d'une variable aléatoire. Pour une variable à densité f, F(x) est l'intégrale de f de moins l'infini à x : F est continue, sans saut, et F' = f là où f est continue ; celle d'une variable discrète progresse par paliers à chaque valeur possible.

L'espérance est linéaire : pour deux variables aléatoires X et Y et deux nombres a et b, l'espérance de a multiplié par X plus b multiplié par Y vaut a multiplié par l'espérance de X, plus b multiplié par l'espérance de Y. Ce résultat vaut toujours, que X et Y soient indépendantes ou non — la linéarité de l'espérance ne demande aucune hypothèse d'indépendance.

La variance d'une somme se comporte différemment : la variance de X plus Y vaut la variance de X, plus la variance de Y, plus deux fois la covariance de X et Y. Si X et Y sont indépendantes, leur covariance est nulle, et la variance de la somme se réduit à la somme des variances ; si elles sont dépendantes, le terme de covariance ne disparaît pas et peut aussi bien augmenter que réduire la variance totale.

La variance se calcule par la formule de König-Huygens, V(X) = E((X − E(X))²) = E(X²) − E(X)², et se transforme ainsi par une application affine : E(aX + b) = a·E(X) + b et V(aX + b) = a²·V(X), l'écart type étant multiplié par |a|. Une translation déplace l'espérance sans changer la variance ; un changement d'échelle multiplie la variance par le carré du facteur.

L'inégalité de Markov s'applique à une variable aléatoire positive X d'espérance finie : pour tout nombre a strictement positif, la probabilité que X soit supérieure ou égale à a est majorée par l'espérance de X divisée par a. Elle ne demande de connaître que l'espérance, pas la loi complète de la variable.

L'inégalité de Bienaymé-Tchebychev, plus fine, majore la probabilité que X s'écarte de son espérance d'au moins un nombre epsilon strictement positif par la variance de X divisée par epsilon au carré. Elle utilise en plus l'information de dispersion apportée par la variance, ce qui donne en général une borne plus resserrée que celle de Markov, au prix de connaître cette variance.

La loi des grands nombres, version en probabilité, porte sur une suite de variables aléatoires indépendantes et de même loi, d'espérance finie. Elle énonce que la moyenne empirique calculée sur un échantillon de taille n se rapproche de l'espérance théorique commune, à mesure que n grandit indéfiniment : la probabilité que cette moyenne s'écarte de l'espérance d'une quantité fixée tend vers 0. Une démonstration usuelle s'appuie sur l'inégalité de Bienaymé-Tchebychev, ce qui suppose alors une variance finie.

Le théorème central limite porte sur une suite de variables aléatoires indépendantes, de même loi, et de variance finie. Sous ces trois hypothèses, la moyenne empirique d'un échantillon de taille n, centrée par l'espérance théorique et réduite par l'écart type théorique divisé par la racine de n, suit approximativement une loi normale centrée réduite lorsque n devient grand — quelle que soit la loi initiale des observations, discrète ou continue.

Distinguer les deux théorèmes en une phrase : la loi des grands nombres dit que la moyenne se rapproche de l'espérance, le théorème central limite dit à quelle vitesse et selon quelle loi — une loi normale, quelle que soit la loi de départ.