Théorème de Sanov

Le théorème de Sanov est un résultat de probabilités et statistique fondamentales démontré en 1957. Il établit un principe de grandes déviations pour la mesure empirique d'une suite de variables aléatoires i.i.d. dont la fonction de taux est la divergence de Kullback-Leibler.

Énoncé

Soient $X_{1},\dots ,X_{n}$ des variables indépendantes et identiquement distribuées à valeurs dans un espace mesurable $({\mathcal {X}},{\mathcal {T}})$ distribuées selon une loi $P_{X}\in {\mathcal {P}}$, où ${\mathcal {P}}$ désigne l'ensemble des mesures de probabilités sur $({\mathcal {X}},{\mathcal {T}})$. On munit l'espace ${\mathcal {P}}$ de la $\tau$-topologie, i.e. la topologie engendrée par les ensembles

$U(P,{\mathcal {A}},\varepsilon )=\{P'\in {\mathcal {P}}:|P'(A_{i})-P(A_{i})|<\varepsilon ,i=1,\dots ,k\}$

avec ${\mathcal {A}}=(A_{1},\dots ,A_{k})$ une partition de ${\mathcal {X}},P\in {\mathcal {P}}$ et $\varepsilon >0$.

On note $\mathbb {P} _{n}$ la mesure empirique de l'échantillon $X_{1},\dots ,X_{n}$, i.e. la mesure de probabilité discrète définie par

$\mathbb {P} _{n}(A)={\dfrac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A).$

La mesure empirique $\mathbb {P} _{n}$ vérifie le principe des grandes déviations dans ${\mathcal {P}}$ équipé de la $\tau$-topologie avec la fonction de Kullback-Leibler $d_{\mathrm {KL} }$. Autrement dit pour $\Gamma \subset {\mathcal {P}}$,

${\begin{aligned}\liminf _{n\to +\infty }{\frac {1}{n}}\log P_{X}(\mathbb {P} _{n}\in \Gamma )&\geq -\inf _{P\in \mathrm {Int} _{\tau }\Gamma }d_{\mathrm {KL} }(P||P_{X})\\\limsup _{n\to +\infty }{\frac {1}{n}}\log P_{X}(\mathbb {P} _{n}\in \Gamma )&\leq -\inf _{P\in \mathrm {Adh} _{\tau }\Gamma }d_{\mathrm {KL} }(P||P_{X})\end{aligned}}$

où $\mathrm {Int} _{\tau }\Gamma$ et $\mathrm {Adh} _{\tau }\Gamma$ désignent respectivement l'intérieur et l'adhérence de $\Gamma$ par rapport à la $\tau$-topologie.

L'intérêt de ce théorème réside dans le fait que si l'on choisit un ensemble $\Gamma \subset {\mathcal {P}}$ qui ne contient pas $P_{X}$, on pourra affirmer que la probabilité que la mesure empirique appartienne à cet ensemble est exponentiellement décroissante.

Démonstration

Plusieurs démonstrations de ce résultat ont été établies. Dembo et Zeitouni proposent dans un premier temps la démonstration du théorème de Sanov dans le cas d'un alphabet fini (théorème 2.1.10), i.e. quand $|{\mathcal {X}}|<+\infty$ puis généralisent dans le cas des espaces polonais (théorème 6.2.10). En 2006, Csiszár publie une preuve simple et autonome de ce résultat. Cet article s'appuie notamment sur les outils utilisés pour la démonstration dans le cas d'un alphabet fini et réussit à l'étendre à n'importe quel espace en utilisant l'équivalence de la définition de la distance de Kullback-Leibler, à savoir

$d_{\mathrm {KL} }(P||Q)=\sup _{(A_{1},\dots ,A_{k})\in \Pi }\sum _{i=1}^{k}P(A_{i})\log \left({\frac {P(A_{i})}{Q(A_{i})}}\right),$

où $\Pi$ est l'ensemble des partitions finies de ${\mathcal {X}}$. Cette équivalence est citée par Csiszár qui renvoie au livre de Pinsker.