Le problème a pour objet la mise en évidence de quelques propriétés de l'entropie de variables aléatoires discrètes ou à densité. La partie IV utilise dans un exemple, certaines des propriétés établies dans le problème.
On suppose que toutes les variables alétoires introduites dans le problème sont définies sur un meême espace probabilisé $(\Omega,{\cal A},P)$. La notation $\exp$ désigne la fonction exponentielle.
1. Soit $h$ la fonction de $]0,1[$ dans $\mathbb R$ définie par : $h(x)=-x\ln x-(1-x)\ln(1-x)$.
a) Montrer que la fonction $h$ est positive et concave sur $]0,1[$.
La positivité résulte d'une petite étude de signe sur $]0,1[$, quant à la concavité il suffit de se souvenir qu'une fonction deux fois dérivable est concave si sa dérivée seconde est négative. Ici on trouve $h''(x)=-\frac{1}{x}-\frac{1}{1-x}$ qui est négative sur $]0,1[$.
b) Montrer que $h$ est prolongeable en une fonction continue sur le segment $[0,1]$. Ce prolongement est-il de classe $C^1$ sur $[0,1]$?
En utilisant la limite classique $\lim_{x\to 0^+}x\ln(x)=0$, on montre facilement que $h$ admet une limite nulle en $0^+$ et en $0^-$ donc se prolonge en la fonction continue suivante $$h(x)=\begin{cases} 0\text{ si }x=0\\ -x\ln x-(1-x)\ln(1-x)\text{ si }x\in]0,1[\\ 0\text{ si }x=1 \end{cases}$$ Par contre une étude du taux d'accroissement $\frac{h(x)-h(0)}{x-0}$ nous montre qu'il n'a pas de limite finie en $0^+$, la fonction ainsi prolongée n'est donc par dérivable en $0$ donc ne peut pas être $C^1$ sur $[0,1]$.
2. Justifier pour tout réel $u>0$, l'inégalité : $\ln u\leq u-1$. Pour quelles valeurs de $u$ a-t-on : $\ln u=u-1$?
Le plus simple consiste à étudier la fonction $\varphi(u)=\ln(u)-u+1$ avec un tableau de variation et on trouvera au passage que $\ln u=u-1$ n'est possible que pour $u=1$.
3. Soit $d$ la fonction de $(]0,1[)^2$ dans $\mathbb R$ définie par : $d(x,y)=x\ln\left(\frac{y}{x}\right)+(1-x)\ln\left(\frac{1-y}{1-x}\right)$. Montrer que $d(x,y)\leq 0$ et préciser les couples $(x,y)$ de $(]0,1[)^2$ pour lesquels $d(x,y)=0$.
L'idée est d'exploiter la question 2 en faisant apparaître $\ln(u)-(u-1)$ qui est négatif et nul seulement lorsque $u=1$. Observons déjà cette première égalité $$\begin{align} d(x,y)&=x\ln\left(\frac{y}{x}\right)+(1-x)\ln\left(\frac{1-y}{1-x}\right)\\ &=x\left(\ln\left(\frac{y}{x}\right)-\left(\frac{y}{x}-1\right)+\left(\frac{y}{x}-1\right)\right)+(1-x)\left(\ln\left(\frac{1-y}{1-x}\right)-\left(\frac{1-y}{1-x}-1\right)+\left(\frac{1-y}{1-x}-1\right)\right)\\ &=x\left(\ln\left(\frac{y}{x}\right)-\left(\frac{y}{x}-1\right)\right)+(1-x)\left(\ln\left(\frac{1-y}{1-x}\right)-\left(\frac{1-y}{1-x}-1\right)\right) \end{align}$$ Grâce à 2. on voit que $d(x,y)$ est la somme de termes négatifs donc est négatif. D'autre part la somme de deux termes négatifs est nulle si et seulement si ces deux termes sont nuls, donc $d(x,y)=0$ équivaut à $$\ln\left(\frac{y}{x}\right)-\left(\frac{y}{x}-1\right)=\ln\left(\frac{1-y}{1-x}\right)-\left(\frac{1-y}{1-x}-1\right)=0$$ mais toujours d'après 2. ceci n'a lieu que quand $\frac{y}{x}=\frac{1-y}{1-x}=1$, c'est à dire $x=y$. Donc $d(x,y)=0$ si et seulement si $x=y$.
4. On considère trois fonctions $l$, $r$ et $f$ vérifiant les hypothèses suivantes :
a) Etablir pour tout couple $(x,y)$ de $\mathbb R^2$, l'inégalité : $l(x)-l(y)\leq l'(y)(x-y)$.
Commençons par le cas $x\leq y$. Par le théorème des accroissements finis il existe $c\in[x,y]$ tel que $l(x)-l(y)=l'(c)(x-y)$. Mais comme $l$ est concave, $l'$ est décroissante et donc $l'(c)\geq l'(y)$. Mais comme $x\leq y$ alors $x-y\leq 0$ et $(x-y)l'(c)\leq (x-y)l'(y)$ et l'inégalité recherchée suit. Pour le cas $x\geq y$ le raisonnement est analogue.
b) Montrer pour tout réel $y$, linégalité : $\int_{-\infty}^{+\infty}l(r(x))f(x)dx\leq l(y)+l'(y)\left(\int_{-\infty}^{+\infty}r(x)f(x)dx-y\right)$.
Il suffit de réécrire a) en remplaçant $x$ par $r(x)$ de sorte que $l(r(x))\leq l'(y)(r(x)-y)+l(y)$. Ensuite il ne reste plus qu'à multiplier par $f(x)$, d'utiliser la linéarité des intégrales convergentes et de ne pas oublier que $\int_{-\infty}^{+\infty}f(x)dx=1$.
c) En déduire l'inégalité : $\int_{-\infty}^{+\infty}l(r(x))f(x)dx\leq l\left(\int_{-\infty}^{+\infty}r(x)f(x)dx\right)$.
Il suffit de poser dans b), $y=\int_{-\infty}^{+\infty}r(x)f(x)dx$.
5. Soit $(x_n)_{n\in\mathbb N^*}$ une suite réelle et $(p_n)_{n\in\mathbb N^*}$ une suite de réels positifs ou nuls vérifiant $\sum_{n=1}^{+\infty}p_n=1$, telles que les séries $\sum_{n\geq 1}r(x_n)p_n$ et $\sum_{n\geq 1}l(r(x_n))p_n$ soient convergentes. Etablir l'inégalité : $\sum_{n\geq 1}l(r(x_n))p_n\leq l\left(\sum_{n\geq 1}r(x_n)p_n\right)$.
Il suffit de répéter l'argument développé dans b), mais au lieu de $x$, on écrit $x_n$ de sorte que $l(r(x_n))\leq l'(y)(r(x_n)-y)+l(y)$. Ensuite on multiplie par $p_n$ et enutilisant cette fois-ci la linéarité des séries convergentes et le fait que $\sum_{n\geq 1}p_n=1$ on a $\sum_{n\geq 1}l(r(x_n))p_n\leq l(y)+l'(y)\left(\sum_{n\geq 1}r(x_n)p_n-y\right)$. Enfin, comme dans c) on pose $y=\sum_{n\geq 1}r(x_n)p_n$.
On note $\cal F$ l'ensemble des fonctions $f$ définies et continues sur $\mathbb R$, à valeurs strictement positives, vérifiant $\int_{-\infty}^{+\infty}f(x)dx=1$ et telles que l'intégrale $\int_{-\infty}^{+\infty}f(x)\ln(f(x))dx$ soit convergente.
Pour toute variable aléatoire $X$ ayant pour densité un élément $f$ de $\cal F$, on définit l'entropie $H(X)$ de $X$ par : $$H(X)=-\int_{-\infty}^{+\infty}f(x)\ln(f(x))dx.$$
6. On note $Z$ une variable aléatoire qui suit la loi normale centrée réduite et $\varphi$ sa densité continue.
a) Justifier l'existence de l'entropie $H(Z)$ de $Z$ et la calculer.
Il faut se souvenir que la densité d'une Gaussienne centrée réduite est $f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ et vérifie $\int_\mathbb R\frac{1}{\sqrt{2\pi}}e^{-x^2/2}dx=1$ et que sa variance vérifie $V(Z)=1=\int_\mathbb Rx^2\frac{e^{-x^2/2}}{\sqrt{2\pi}}dx$. Par conséquent en invoquant la linéarité des intégrales convergentes on a $$\begin{align}H(Z)&=-\int_\mathbb R\frac{e^{-x^2/2}}{\sqrt{2\pi}}\left(-\ln(\sqrt{2\pi})-\frac{x^2}{2}\right)dx\\ &=\ln(\sqrt{2\pi})\int_\mathbb R\frac{e^{-x^2/2}}{\sqrt{2\pi}}dx+\frac{1}{2}\int_\mathbb Rx^2\frac{e^{-x^2/2}}{\sqrt{2\pi}}dx\\ &=\ln(\sqrt{2\pi})+\frac{1}{2}. \end{align}$$
b) Soit $(a,b)\in\mathbb R^*_+\times\mathbb R$ et $X$ une variable aléatoire qui admet pour densité un élément $f$ de $\cal F$. Montrer que la variable aléatoire $Y=aX+b$ admet une densité appartenant à $\cal F$ et que $H(Y)=H(X)+\ln(a)$.
Pour le premier point il suffit de se rappeler que si $X$ a pour densité $f$, $Y$ a pour densité $\frac{1}{a}f\left(\frac{x-b}{a}\right)$. Pour le calcul de l'entropie, on procède comme suit $$\begin{align} H(Y)&=-\int_\mathbb R\frac{1}{a}f\left(\frac{x-b}{a}\right)\ln\left(\frac{1}{a}f\left(\frac{x-b}{a}\right)\right)dx\\ &=-\int_\mathbb R\frac{1}{a}f\left(\frac{x-b}{a}\right)\left(-\ln(a)+\ln\left(f\left(\frac{x-b}{a}\right)\right)\right)dx \end{align}$$ puis à l'aide du changement de variable $y=\frac{x-b}{a}$ et la linéarité des intégrales convergentes $$\begin{align} H(Y)&=-\int_\mathbb Rf(y)\left(-\ln(a)+\ln\left(f(y)\right)\right)dy\\ &=\ln(a)\int_\mathbb Rf(y)dy-\int_\mathbb Rf(y)\ln(f(y))dy\\ &=\ln(a)+H(X). \end{align}$$
c) En déduire l'entropie d'une variable aléatoire suivant la loi normale d'espérance $\mu$ et d'écart-type $\sigma>0$.
Si $Y$ suit une loi ${\cal N}(\mu,\sigma)$ alors $\frac{Y-\mu}{\sigma}$ suit une loi ${\cal N}(0,1)$. Autrement dit, il existe une variable aléatoire $X$ qui suit une loi ${\cal N}(0,1)$ telle que $\frac{Y-\mu}{\sigma}=X$ ou encore $Y=\sigma X+\mu$. Il suit que l'entropie recherchée est $$H(Y)=H(\sigma X+\mu)=\ln(\sigma)+H(X)=\ln(\sigma)+\ln(\sqrt{2\pi})+\frac{1}{2}.$$
7. Dans cette question, on considère les couples $(f,g)$ de ${\cal F}^2$ pour lesquels l'intégrale $\int_{-\infty}^{+\infty}f(x)\ln\left(\frac{g(x)}{f(x)}\right)dx$ est convergente. On pose alors : $D(f,g)=-\int_{-\infty}^{+\infty}f(x)\ln\left(\frac{g(x)}{f(x)}\right)dx$.
a) Montrer que $D(f,g)\geq 0$.
Il faut utiliser I.2. $$f(x)\ln\left(\frac{g(x)}{f(x)}\right)\leq f(x)\left(\frac{g(x)}{f(x)}-1\right)=g(x)-f(x)$$ puis par croissance et linéarité des intégrales convergentes $$\int_{-\infty}^{+\infty}f(x)\ln\left(\frac{g(x)}{f(x)}\right)dx\leq \int_\mathbb R g(x)-f(x)dx=\int_\mathbb R g(x)dx-\int_\mathbb R f(x)dx=1-1=0$$ et l'inégalité suit.
b) On suppose que $D(f,g)=0$. Etablir l'égalité : $\int_{-\infty}^{+\infty}\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)dx=0$.
Il suffit de développer $\int_{-\infty}^{+\infty}\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)dx$ en utilisant la linéarité des intégrales convergentes sans oublier que $D(f,g)=0$ et $\int_\mathbb R f(x)dx=\int_\mathbb R g(x)dx=1$.
En déduire $f=g$.
On justifie sans mal que la fonction $\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)$ est continue sur $\mathbb R$ en se souvenant que $f$ et $g$ sont continues strictement positives. D'autre part d'après I.2. on montre que cette fonction est négative ou nulle. Or l'intégrale d'une fonction continue négative est nulle si et seulement si cette fonction est nulle. Ici $\int_{-\infty}^{+\infty}\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)dx=0$ donc la fonction sous le signe intégrale est nulle sur $\mathbb R$. Enfin grâce à la réponse de I.2. ceci ne peut avoir lieu que quand $\forall x\in\mathbb R,\frac{f(x)}{g(x)}=1$, c'est à dire $f=g$.
Pour afficher le fil des commentaires : Commentaires.
Pour poster un commentaire ou obtenir de l'aide : c'est ici!
L'insertion de formules suit la syntaxe LATEX. Toute formule doit être encadrée par des dollars : $\bf{\$formule\$}$. Par exemple $\bf{\$ u\_n \$}$ sera interprétée comme une formule et donnera $\bf{u_n}$. Voici quelques exemples pour ceux qui ne sont pas habitués :
Contacter l'auteur du site : frederic.millet @ math-sup.fr
