Statistiques Exhaustives et Estimation dans Diverses Lois de Probabilité
Statistiques Exhaustives et Estimation dans Diverses Lois de Probabilité
1
Exercice3.
Soit 𝐗 𝟏 , … , 𝐗 𝐧 un n-échantillon issu de la loi exponentielle de moyenne θ.
1. Montrer que la statistique 𝐓(𝐗) = ∑𝐧𝐢=𝟏 𝐗 𝐢 est exhaustive et complète pour θ.
1 x
fX (θ) = e−θ 𝕝]𝟎,+∞[ (𝐱) = h(x)c(θ)exp[w(θ)t(x)]
θ
D’où la loi exponentielle appartient à une famille exponentielle et T(X) = ∑ni=1 t(Xi ) = ∑ni=1 Xi
est une statistique exhaustive complète pour le paramètre θ.
𝐗𝐧
2. Montrer que la statistique 𝐒(𝐗) = 𝐗 est libre.
𝟏 +⋯+𝐗 𝐧
∀i ∈ {1,2, … , n} , on a: FXi (θ) = FXi (xθ) ⟹ fXi (θ) = θfXi (xθ) = e−x 𝕝]𝟎,+∞[ (𝐱)
θ θ
Xi Xi
Donc ~ℇ(1) , la loi de ne dépend pas de θ (On dit que 𝛉 est un paramètre d’échelle).
θ θ
X1 Xn
Les Xi étant toutes indépendantes donc +⋯+ ~ℇ(n),
θ θ
Xn
Xn θ
Donc la loi de S(X) = X = X1 X ne dépend pas de θ ainsi S(X) est libre.
1 +⋯+Xn
θ
+⋯+ θn
𝐗𝐧
3. En déduire 𝐄 [𝐗 ].
𝟏 +⋯+𝐗 𝐧
On a Xn = S(X)T(X), or S(X) et T(X) sont indépendantes car une statistique libre est
indépendante de toute statistique exhaustive complète (Théorème de Basu), donc :
E(Xn ) θ 1
E(Xn ) = E(S(X))E(T(X)) ⟺ E(S(X)) = = =
E(T(X)) nθ n
Exercice4.
Soit X une variable aléatoire suivant une loi 𝓝(𝛍, 𝟏) et soit 𝐗 𝟏 , … , 𝐗 𝐧 un n-échantillon de
X.
1) Montrer que la variance empirique 𝐒𝐧𝟐 et l’étendue 𝐗 (𝐧) − 𝐗 (𝟏) sont des statistiques libres
pour le paramètre µ.
D’après le théorème de Fisher on a : (n − 1)Sn2~χ2 (n − 1) ne dépend pas de μ
D’où la loi de Sn2 ne dépend pas de μ donc 𝐒𝐧𝟐 est libre.
D’autre part on pose : 𝐙𝐢 = 𝐗 𝐢 − 𝛍~ 𝓝(𝟎, 𝟏) ne dépend pas de μ
(On dit que 𝛍 est un paramètre de position)
On a : Z(n) − Z(1) = X (n) − X (1) et la loi de Z(n) − Z(1) ne dépend pas de μ
donc 𝐗 (𝐧) − 𝐗 (𝟏) est libre.
2) Donner la loi de la moyenne empirique 𝐗 ̅ 𝐧 et montrer que cette statistique est exhaustive
complète pour µ.
̅n ~ 𝒩 (μ, 1 ), la loi 𝒩(μ, 1) appartient à une famille exponentielle, en effet :
X 𝑛
1 1
f X (x, μ) = exp [− (x − μ)2 ]
√2Π 2
1 1 μ2 x
= exp [− 2 x 2 ] exp [ 2 ] exp [nμ n] = h(x)c(μ)exp[w(μ)t(x)]
√2Π
X
D’où T(X) = ∑ni=1 t(Xi ) = ∑ni=1 𝑛i = ̅
X n est une statistique exhaustive complète pour µ.
3) Retrouver l’indépendance de 𝐗 ̅ 𝐧 et 𝐒𝐧𝟐 .
D’après le théorème de Basu (une statistique exhaustive complète est indépendante de toute
statistique libre), ̅
Xn et Sn2 sont indépendantes.
2
Exercice5.
Soit 𝐗 = (𝐗 𝟏 , … , 𝐗 𝐧 ) un échantillon aléatoire issu d’une loi de densité
(𝐤 + 𝟏)𝐱 𝐤
𝐟(𝐱, 𝛉) = 𝕝]𝟎,𝛉] (𝐱)
𝛉𝐤+𝟏
𝐨ù 𝛉 > 𝟎 est un paramètre inconnu et le paramètre k>-1 est connu.
1- Déterminer un estimateur 𝛉 ̂ du paramètre 𝛉 par la méthode du maximum de vraisemblance et
étudier ses propriétés.
L’estimateur θ̂ du paramètre θ par la méthode du maximum de vraisemblance est la valeur de θ qui
maximise la fonction de vraisemblance 𝐿(x1 , … , xn , θ)
On a:
n n
(k + 1)n
L(x1 , … , xn , θ) = ∏ f(xi , θ) = n(k+1) ∏ xik 𝕝[x(n),+∞[ (θ) ≤ L(x1 , … , xn , x (n) )
θ
i=1 i=1
D’où
θ̂ = X (n)
est un estimateur du paramètre θ par la méthode du maximum de vraisemblance (EMV).
On a besoin de la loi de θ̂ pour calculer son espérance.
On cherche sa fonction de répartition Fθ̂ puis on la dérive pour obtenir sa fdp fθ̂ .
Fθ̂ (𝑥) = 𝑃(X(n) ≤ 𝑥) = 𝑃(X1 ≤ 𝑥, … , Xn ≤ 𝑥)
𝑛
=∏ni=1 𝑃(Xi ≤ 𝑥) = (𝑃(X1 ≤ 𝑥)) (les Xi sont indépendantes et identiquement distribuées) (iid).
𝑛
= (FX1 (𝑥))
𝑛−1
D’où fθ̂ (𝑥) = 𝑛 (FX1 (𝑥)) 𝑓X1 (𝑥)
Or
0 si x < 0
k+1
FX1 (x) = {( x ) si 0 ≤ x ≤ θ
θ
1 si x > θ
Donc
𝑥 (𝑛−1)(𝑘+1) (k + 1)x k 𝑛(k + 1)x 𝑛(𝑘+1)−1
fθ̂ (𝑥) = 𝑛 ( ) 𝕝]0,θ] (x) = 𝕝]0,θ] (x)
𝜃 θk+1 θ𝑛(𝑘+1)
On pose m=n(k+1) -1
Alors
(m + 1)x m
fθ̂ (𝑥) = 𝕝]0,θ] (x)
θm+1
et
θ (m θ
+ 1)x m m + 1 x m+2 m+1
̂
E(θ) = ∫ x dx = [ ] = θ (∗)
0 θm+1 θm+1 m + 2 0 m + 2
E(θ̂ ) ≠ 𝜃 donc l’estimateur θ̂ est biaisé.
2 2
𝑉𝑎𝑟θ̂ = E (θ̂ ) − (E(θ̂ ))
θ 𝜃
2 (m + 1)x m 𝑚 + 1 x m+3 𝑚+1 2
E (θ̂ ) = ∫ 𝑥 2 𝑑𝑥 = [ ] = 𝜃 (∗∗)
0 θm+1 θm+1 𝑚 + 3 0 𝑚 + 3
m+1 2 m+1 m+12 n(k+1)
Varθ̂ = θ −( θ) = (m+3)(m+2)2 θ2 = (n(k+1) θ2 .
m+3 m+2 +2)(n(k+1) +1)2
̂𝟏 de 𝛉.
2- En déduire un estimateur sans biais 𝛉
𝑚+2 ̂
L’estimateur θ̂1 = θ
est sans biais pour 𝜃.
𝑚+1
3- Déterminer un estimateur 𝛉̂𝟐 du paramètre 𝛉 par la méthode des moments et étudier ses
propriétés.
On a d’après (∗) :
θ (k
+ 1)x k k+1
E(X) = ∫ x dx = θ
0 θk+1 k+2
3
k+2
⟹θ= E(X) = g(E(X))
k+1
k+2
⟹ θ̂ 2 = g(X
̅) = ̅
X est un estimateur du paramètre θ par la méthode des moments (EMM).
k+1
k+2 k+2
E(θ̂ 2 ) = ̅) =
𝐸(X 𝐸(X) = 𝜃
k+1 k+1
Donc l’estimateur θ̂ 2 est sans biais pour 𝜃.
k+2 2 k + 2 2 VarX k+2 2 k+1 1
Varθ̂ 2 = ( ̅=(
) VarX ) =( ) 2 θ2 = θ2
k+1 k+1 n k + 1 n(k + 3)(k + 2) n(k + 1)(k + 3)
̂ 𝟏 et 𝛉
4- Comparer au sens de l’EMQ les estimateurs 𝛉 ̂𝟐 .
Les estimateurs θ̂1 et θ̂ 2 étant non biaisés donc pour les comparer au sens de l’EMQ il suffit de comparer
leur variance.
m+2 2 m+2 2 m+1 1
̂
Varθ1 = ( ̂
) Varθ = ( ) θ2 = θ2
m+1 m + 1 (m + 3)(m + 2)2 n(k + 1)(n(k + 1) + 2)
1
et Varθ̂ 2 = n(k+1)(k+3) θ2
1 1
Varθ̂1 − Varθ̂ 2 = θ2 − θ2
n(k + 1)(n(k + 1) + 2) n(k + 1)(k + 3)
θ2 θ2 (1 − n)(k + 1) θ2 (1 − n)
= [k + 3 − n(k + 1) − 2] = = <0
n(k + 1) n(k + 1) n
D’où l’estimateur θ̂1 est meilleur que θ̂ 2 au sens de l’EMQ.
Exercice6.
Soit X une variable aléatoire, modélisant la durée de vie d’un certain équipement, ayant pour
densité de probabilité :
𝟏 √𝐱
𝐟𝛉 (𝐱) = 𝐞𝐱𝐩 (− ) 𝕝 ∗ (𝐱)
𝟐𝛉√𝐱 𝛉 ℝ+
Donc fθ appartient à une famille de type exponentielle et Y= ∑𝑛𝑖=1 √x𝑖 une statistique exhaustive
complète pour θ.
2. Établir que Y suit une loi gamma dont on précisera les paramètres.
√x
Logfθ (x) = −Logθ − Log2√x −
θ
∂ 1 √x
Logfθ (x) = − + 2
∂θ θ θ
D’où :
2
1 √X √X 1 √X 1
I1 (θ) = E [(− + ) ] = 𝑉𝑎𝑟 = Car E( 2 ) =
θ θ2 θ2 θ2 θ θ
Donc
n 1
In (θ) = 2 =
θ BCR
et
VarT = BCR
D’où T est efficace donc T est l’unique ESBVM pour θ
Exercice7.
On considère le modèle d’échantillonnage 𝐗 𝟏 , … , 𝐗 𝐧 de taille n associé à la famille de lois de
Poisson 𝓟 = {𝓟(𝛉), 𝛉 > 𝟎 }.
1. ̂𝐧 de 𝛉?
Calculer l'estimateur du maximum de vraisemblance 𝛉
5
θx
Pθ (X1 = x) = e−θ , x∈ℕ
x!
Soit x = (x1 , … , xn ) ∈ ℕn
n n
θ∑i=1 xi
L(x, θ) = ∏ Pθ (X = xi ) = e−nθ
∏ni=1 xi !
i=1
n n n
6
On a :
E( 𝕝{X1=0} ) = P(X1 = 0) = e−θ
Donc 𝕝{X1=0} est un ESB pour 𝑒 −𝜃
Exercice8.
Soit 𝐗 une variable aléatoire de loi de densité
𝐚 𝐚−𝟏
𝐟𝛉 (𝐱) = 𝐱 𝕀]𝟎,𝛉[ (𝐱),
𝛉𝐚
𝐚 𝐞𝐭 𝛉 𝐝𝐞𝐮𝐱 𝐩𝐚𝐫𝐚𝐦è𝐭𝐫𝐞𝐬 𝐩𝐨𝐬𝐢𝐭𝐢𝐟𝐬
I. 1. Calculer l’espérance et la variance de X
θ θ
a a−1 a θ a a x a+1 a
E(X) = ∫ x a x dx = a ∫ x dx = a [ ] = θ
0 θ θ 0 θ a+1 0 a+1
θ θ
a a−1 a θ a+1 a x a+2 a
E(X 2 )
=∫ a xx2dx = a ∫ x dx = a [ ] = θ2
0 θ θ 0 θ a + 2 0
a + 2
a a 2 a
⟹ VarX = E(X 2 )−[E(X)]2 = θ2 − [ θ] = θ2
a+2 a+1 (a + 2)(a + 1)2
2. soit 𝐗 𝟏 , … , 𝐗 𝐧 un n-échantillon issu d’une population de même loi que la loi de X.
Donner une statistique exhaustive pour (𝐚, 𝛉).
On a :
𝑛 𝑛 𝑎−1
a𝑛
fθ (x1 , … , xn ) = ∏ fθ (x𝑖 ) = na (∏ x𝑖 ) 𝕀]0,θ[ (x(𝑛) ) = g (a,θ) (T(𝑥))ℎ(𝑥)
θ
𝑖=1 𝑖=1
a𝑛
Avec ℎ(𝑥) = 1 et g (a,θ) ((𝑡1 , 𝑡2 )) = θna 𝑡1𝑎−1 𝕀]0,θ[ (𝑡2 )
Donc d’après le théorème de factorisation la statistique T(𝑋) = (∏𝑛𝑖=1 X𝑖 , X(𝑛) ) est exhaustive pour
(a, θ).
II. On suppose a connu et 𝛉 inconnu. Exercice 3 avec k+1=a
𝐚 (𝐤+𝟏)𝐱 𝐤
𝐟𝛉 (𝐱) = 𝛉𝐚 𝐱 𝐚−𝟏 𝕀]𝟎,𝛉[ (𝐱) même loi que l’ex3 avec k+1=a (𝐟(𝐱, 𝛉) = 𝕝]𝟎,𝛉] (𝐱))
𝛉𝐤+𝟏
̂𝟏 pour 𝛉. Est-il biaisé ? Calculer sa variance.
1. Déterminer l’estimateur des moments 𝛉
2. Déterminer l’estimateur du maximum de vraisemblance 𝛉 ̂𝟐 pour 𝛉. Est-il biaisé ? Si oui en
̂ 𝟑 pour 𝛉. Calculer sa variance.
déduire un estimateur sans biais 𝛉
7
̂𝟏 et 𝛉
3. Comparer au sens de l’erreur moyenne quadratique les 2 estimateurs 𝛉 ̂𝟑 . Lequel choisirez-
vous ?
III. On suppose 𝛉 connu et a inconnu.
1. Déterminer l’estimateur du maximum de vraisemblance 𝐓𝟏 pour a.
𝐚
𝐟𝐚 (𝐱) = 𝐚 𝐱 𝐚−𝟏 𝕀]𝟎,𝛉[ (𝐱)
𝛉
Soit x = (x1 , … , xn ) ∈ ]0, θ[𝑛
n n
an
L(x1 , … , xn , a) = ∏ f(xi , a) = na ∏ xi𝐚−𝟏
θ
i=1 i=1
n
On a :
+∞
−n n an −au n−1 nΓ(n − 1) +∞ an−1
E(T1 ) = E ( )=∫ e u du = a ∫ e−au un−2 du
n Xi u Γ(n) Γ(n) Γ(n − 1)
∑i=1 Ln 0 0
θ
nΓ(n − 1) an
E(T1 ) = a =
Γ(n) n−1
𝑛−1
Donc T2 = 𝑛 T1 =est un ESB pour a.
Ainsi d’après lehmann-scheffé
1−n
E[T2 /U] = T2 = Xi est l’ESBVM pour a.
∑n
i=1 Ln θ
5. Est-il efficace ?
8
n−1 2
𝐕𝐚𝐫T2 = ( ) 𝐕𝐚𝐫T1
n
2
+∞
−n n 2 an −au n−1
E(T12 ) = E (( ) )=∫ ( ) e u du
X u Γ(n)
∑ni=1 Ln i 0
θ
n2 Γ(n − 2) +∞ an−2 a2 n2
= a2 ∫ e−au un−3 du =
Γ(n) 0 Γ(n − 2) (n − 1)(n − 2)
D’où
a2 n2 1 1 a2 n2
𝐕𝐚𝐫T1 = ( − )=
(n − 1) n − 2 n − 1 (n − 1)2 (n − 2)
2
𝑛−1 a2
𝐕𝐚𝐫T2 = ( ) 𝐕𝐚𝐫T1 =
𝑛 (n − 2)
D’autre part :
2 n 2 n
∂ n Xi Xi 𝑛
𝐼𝑛 (𝑎) = 𝐸 [( LogL(X, a)) ] = E [(− − ∑ Ln ) ] = 𝑉𝑎𝑟 (− ∑ Ln ) = 2
∂a a θ θ a
i=1 i=1
a2
BCR = ≠ VarT2
n
T2 n’est pas efficace
Exercice9. Soit X le nombre annuel de sinistres d’une police d’assurance choisie au hasard dans
un portefeuille. On suppose que la loi de X est la loi de Poisson P(λ), 𝛌 > 𝟎, et que le
paramètre λ est lui-même une réalisation d’une v.a. Λ de loi Gamma𝚪(𝛂, 𝛃), 𝛂 , 𝛃 ∈ ℝ, qui est la
loi a priori du paramètre 𝛌.
Soit 𝐗 = (𝐗 𝟏 , … , 𝐗 𝐧 ) un échantillon aléatoire de X
1. Déterminer la loi a posteriori de 𝛌.
Soit f(x /λ) la vraisemblance de l’échantillon, on a :
n n
λ∑i=1 xi
f(x /λ) = ∏ Pλ (X = xi ) = e−nλ
∏ni=1 xi !
i=1
βα 1 Γ(∑ni=1 xi + α)
f(x) =
Γ(α) ∏ni=1 xi ! (n + β)∑ni=1 xi+α
Ainsi la loi à posteriori a pour expression :
9
n
(n + β)∑i=1 xi+α −(n+β)λ ∑n x +α−1
f(x , λ)
Π(λ/x) = = e λ i=1 i 𝕀]0,+∞[ (λ)
f(x) Γ(∑ni=1 xi + α)
Il s’agit d’une loi gamma de paramètres (∑ni=1 xi + α , n + β )
3. En déduire un estimateur pour𝛌.
Un estimateur pour λ est donné par :
∑ni=1 Xi + α
E(Π(λ/X)) =
n+β
10