Cours et vidéos

Cours en ligne Vidéos classées

Concours corrigés

HECS
HECE

Programme de concours

HECS

Chaîne Youtube


Pour me soutenir



Autour du site

Auteur du site.

Corrigé HEC 2012

Le problème a pour objet la mise en évidence de quelques propriétés de l'entropie de variables aléatoires discrètes ou à densité. La partie IV utilise dans un exemple, certaines des propriétés établies dans le problème.

On suppose que toutes les variables alétoires introduites dans le problème sont définies sur un meême espace probabilisé $(\Omega,{\cal A},P)$. La notation $\exp$ désigne la fonction exponentielle.


PARTIE I. Quelques inégalités de concavité


1. Soit $h$ la fonction de $]0,1[$ dans $\mathbb R$ définie par : $h(x)=-x\ln x-(1-x)\ln(1-x)$.

a) Montrer que la fonction $h$ est positive et concave sur $]0,1[$.

Afficher

La positivité résulte d'une petite étude de signe sur $]0,1[$, quant à la concavité il suffit de se souvenir qu'une fonction deux fois dérivable est concave si sa dérivée seconde est négative. Ici on trouve $h''(x)=-\frac{1}{x}-\frac{1}{1-x}$ qui est négative sur $]0,1[$.

b) Montrer que $h$ est prolongeable en une fonction continue sur le segment $[0,1]$. Ce prolongement est-il de classe $C^1$ sur $[0,1]$?

Afficher

En utilisant la limite classique $\lim_{x\to 0^+}x\ln(x)=0$, on montre facilement que $h$ admet une limite nulle en $0^+$ et en $0^-$ donc se prolonge en la fonction continue suivante $$h(x)=\begin{cases} 0\text{ si }x=0\\ -x\ln x-(1-x)\ln(1-x)\text{ si }x\in]0,1[\\ 0\text{ si }x=1 \end{cases}$$ Par contre une étude du taux d'accroissement $\frac{h(x)-h(0)}{x-0}$ nous montre qu'il n'a pas de limite finie en $0^+$, la fonction ainsi prolongée n'est donc par dérivable en $0$ donc ne peut pas être $C^1$ sur $[0,1]$.

2. Justifier pour tout réel $u>0$, l'inégalité : $\ln u\leq u-1$. Pour quelles valeurs de $u$ a-t-on : $\ln u=u-1$?

Afficher

Le plus simple consiste à étudier la fonction $\varphi(u)=\ln(u)-u+1$ avec un tableau de variation et on trouvera au passage que $\ln u=u-1$ n'est possible que pour $u=1$.

3. Soit $d$ la fonction de $(]0,1[)^2$ dans $\mathbb R$ définie par : $d(x,y)=x\ln\left(\frac{y}{x}\right)+(1-x)\ln\left(\frac{1-y}{1-x}\right)$. Montrer que $d(x,y)\leq 0$ et préciser les couples $(x,y)$ de $(]0,1[)^2$ pour lesquels $d(x,y)=0$.

Afficher

L'idée est d'exploiter la question 2 en faisant apparaître $\ln(u)-(u-1)$ qui est négatif et nul seulement lorsque $u=1$. Observons déjà cette première égalité $$\begin{align} d(x,y)&=x\ln\left(\frac{y}{x}\right)+(1-x)\ln\left(\frac{1-y}{1-x}\right)\\ &=x\left(\ln\left(\frac{y}{x}\right)-\left(\frac{y}{x}-1\right)+\left(\frac{y}{x}-1\right)\right)+(1-x)\left(\ln\left(\frac{1-y}{1-x}\right)-\left(\frac{1-y}{1-x}-1\right)+\left(\frac{1-y}{1-x}-1\right)\right)\\ &=x\left(\ln\left(\frac{y}{x}\right)-\left(\frac{y}{x}-1\right)\right)+(1-x)\left(\ln\left(\frac{1-y}{1-x}\right)-\left(\frac{1-y}{1-x}-1\right)\right) \end{align}$$ Grâce à 2. on voit que $d(x,y)$ est la somme de termes négatifs donc est négatif. D'autre part la somme de deux termes négatifs est nulle si et seulement si ces deux termes sont nuls, donc $d(x,y)=0$ équivaut à $$\ln\left(\frac{y}{x}\right)-\left(\frac{y}{x}-1\right)=\ln\left(\frac{1-y}{1-x}\right)-\left(\frac{1-y}{1-x}-1\right)=0$$ mais toujours d'après 2. ceci n'a lieu que quand $\frac{y}{x}=\frac{1-y}{1-x}=1$, c'est à dire $x=y$. Donc $d(x,y)=0$ si et seulement si $x=y$.

4. On considère trois fonctions $l$, $r$ et $f$ vérifiant les hypothèses suivantes :

a) Etablir pour tout couple $(x,y)$ de $\mathbb R^2$, l'inégalité : $l(x)-l(y)\leq l'(y)(x-y)$.

Afficher

Commençons par le cas $x\leq y$. Par le théorème des accroissements finis il existe $c\in[x,y]$ tel que $l(x)-l(y)=l'(c)(x-y)$. Mais comme $l$ est concave, $l'$ est décroissante et donc $l'(c)\geq l'(y)$. Mais comme $x\leq y$ alors $x-y\leq 0$ et $(x-y)l'(c)\leq (x-y)l'(y)$ et l'inégalité recherchée suit. Pour le cas $x\geq y$ le raisonnement est analogue.

b) Montrer pour tout réel $y$, linégalité : $\int_{-\infty}^{+\infty}l(r(x))f(x)dx\leq l(y)+l'(y)\left(\int_{-\infty}^{+\infty}r(x)f(x)dx-y\right)$.

Afficher

Il suffit de réécrire a) en remplaçant $x$ par $r(x)$ de sorte que $l(r(x))\leq l'(y)(r(x)-y)+l(y)$. Ensuite il ne reste plus qu'à multiplier par $f(x)$, d'utiliser la linéarité des intégrales convergentes et de ne pas oublier que $\int_{-\infty}^{+\infty}f(x)dx=1$.

c) En déduire l'inégalité : $\int_{-\infty}^{+\infty}l(r(x))f(x)dx\leq l\left(\int_{-\infty}^{+\infty}r(x)f(x)dx\right)$.

Afficher

Il suffit de poser dans b), $y=\int_{-\infty}^{+\infty}r(x)f(x)dx$.

5. Soit $(x_n)_{n\in\mathbb N^*}$ une suite réelle et $(p_n)_{n\in\mathbb N^*}$ une suite de réels positifs ou nuls vérifiant $\sum_{n=1}^{+\infty}p_n=1$, telles que les séries $\sum_{n\geq 1}r(x_n)p_n$ et $\sum_{n\geq 1}l(r(x_n))p_n$ soient convergentes. Etablir l'inégalité : $\sum_{n\geq 1}l(r(x_n))p_n\leq l\left(\sum_{n\geq 1}r(x_n)p_n\right)$.

Afficher

Il suffit de répéter l'argument développé dans b), mais au lieu de $x$, on écrit $x_n$ de sorte que $l(r(x_n))\leq l'(y)(r(x_n)-y)+l(y)$. Ensuite on multiplie par $p_n$ et enutilisant cette fois-ci la linéarité des séries convergentes et le fait que $\sum_{n\geq 1}p_n=1$ on a $\sum_{n\geq 1}l(r(x_n))p_n\leq l(y)+l'(y)\left(\sum_{n\geq 1}r(x_n)p_n-y\right)$. Enfin, comme dans c) on pose $y=\sum_{n\geq 1}r(x_n)p_n$.


PARTIE II. Entropie dans le cas continu


On note $\cal F$ l'ensemble des fonctions $f$ définies et continues sur $\mathbb R$, à valeurs strictement positives, vérifiant $\int_{-\infty}^{+\infty}f(x)dx=1$ et telles que l'intégrale $\int_{-\infty}^{+\infty}f(x)\ln(f(x))dx$ soit convergente.

Pour toute variable aléatoire $X$ ayant pour densité un élément $f$ de $\cal F$, on définit l'entropie $H(X)$ de $X$ par : $$H(X)=-\int_{-\infty}^{+\infty}f(x)\ln(f(x))dx.$$

6. On note $Z$ une variable aléatoire qui suit la loi normale centrée réduite et $\varphi$ sa densité continue.

a) Justifier l'existence de l'entropie $H(Z)$ de $Z$ et la calculer.

Afficher

Il faut se souvenir que la densité d'une Gaussienne centrée réduite est $f(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$ et vérifie $\int_\mathbb R\frac{1}{\sqrt{2\pi}}e^{-x^2/2}dx=1$ et que sa variance vérifie $V(Z)=1=\int_\mathbb Rx^2\frac{e^{-x^2/2}}{\sqrt{2\pi}}dx$. Par conséquent en invoquant la linéarité des intégrales convergentes on a $$\begin{align}H(Z)&=-\int_\mathbb R\frac{e^{-x^2/2}}{\sqrt{2\pi}}\left(-\ln(\sqrt{2\pi})-\frac{x^2}{2}\right)dx\\ &=\ln(\sqrt{2\pi})\int_\mathbb R\frac{e^{-x^2/2}}{\sqrt{2\pi}}dx+\frac{1}{2}\int_\mathbb Rx^2\frac{e^{-x^2/2}}{\sqrt{2\pi}}dx\\ &=\ln(\sqrt{2\pi})+\frac{1}{2}. \end{align}$$

b) Soit $(a,b)\in\mathbb R^*_+\times\mathbb R$ et $X$ une variable aléatoire qui admet pour densité un élément $f$ de $\cal F$. Montrer que la variable aléatoire $Y=aX+b$ admet une densité appartenant à $\cal F$ et que $H(Y)=H(X)+\ln(a)$.

Afficher

Pour le premier point il suffit de se rappeler que si $X$ a pour densité $f$, $Y$ a pour densité $\frac{1}{a}f\left(\frac{x-b}{a}\right)$. Pour le calcul de l'entropie, on procède comme suit $$\begin{align} H(Y)&=-\int_\mathbb R\frac{1}{a}f\left(\frac{x-b}{a}\right)\ln\left(\frac{1}{a}f\left(\frac{x-b}{a}\right)\right)dx\\ &=-\int_\mathbb R\frac{1}{a}f\left(\frac{x-b}{a}\right)\left(-\ln(a)+\ln\left(f\left(\frac{x-b}{a}\right)\right)\right)dx \end{align}$$ puis à l'aide du changement de variable $y=\frac{x-b}{a}$ et la linéarité des intégrales convergentes $$\begin{align} H(Y)&=-\int_\mathbb Rf(y)\left(-\ln(a)+\ln\left(f(y)\right)\right)dy\\ &=\ln(a)\int_\mathbb Rf(y)dy-\int_\mathbb Rf(y)\ln(f(y))dy\\ &=\ln(a)+H(X). \end{align}$$

c) En déduire l'entropie d'une variable aléatoire suivant la loi normale d'espérance $\mu$ et d'écart-type $\sigma>0$.

Afficher

Si $Y$ suit une loi ${\cal N}(\mu,\sigma)$ alors $\frac{Y-\mu}{\sigma}$ suit une loi ${\cal N}(0,1)$. Autrement dit, il existe une variable aléatoire $X$ qui suit une loi ${\cal N}(0,1)$ telle que $\frac{Y-\mu}{\sigma}=X$ ou encore $Y=\sigma X+\mu$. Il suit que l'entropie recherchée est $$H(Y)=H(\sigma X+\mu)=\ln(\sigma)+H(X)=\ln(\sigma)+\ln(\sqrt{2\pi})+\frac{1}{2}.$$

7. Dans cette question, on considère les couples $(f,g)$ de ${\cal F}^2$ pour lesquels l'intégrale $\int_{-\infty}^{+\infty}f(x)\ln\left(\frac{g(x)}{f(x)}\right)dx$ est convergente. On pose alors : $D(f,g)=-\int_{-\infty}^{+\infty}f(x)\ln\left(\frac{g(x)}{f(x)}\right)dx$.

a) Montrer que $D(f,g)\geq 0$.

Afficher

Il faut utiliser I.2. $$f(x)\ln\left(\frac{g(x)}{f(x)}\right)\leq f(x)\left(\frac{g(x)}{f(x)}-1\right)=g(x)-f(x)$$ puis par croissance et linéarité des intégrales convergentes $$\int_{-\infty}^{+\infty}f(x)\ln\left(\frac{g(x)}{f(x)}\right)dx\leq \int_\mathbb R g(x)-f(x)dx=\int_\mathbb R g(x)dx-\int_\mathbb R f(x)dx=1-1=0$$ et l'inégalité suit.

b) On suppose que $D(f,g)=0$. Etablir l'égalité : $\int_{-\infty}^{+\infty}\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)dx=0$.

Afficher

Il suffit de développer $\int_{-\infty}^{+\infty}\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)dx$ en utilisant la linéarité des intégrales convergentes sans oublier que $D(f,g)=0$ et $\int_\mathbb R f(x)dx=\int_\mathbb R g(x)dx=1$.

En déduire $f=g$.

Afficher

On justifie sans mal que la fonction $\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)$ est continue sur $\mathbb R$ en se souvenant que $f$ et $g$ sont continues strictement positives. D'autre part d'après I.2. on montre que cette fonction est négative ou nulle. Or l'intégrale d'une fonction continue négative est nulle si et seulement si cette fonction est nulle. Ici $\int_{-\infty}^{+\infty}\left(\ln\left(\frac{g(x)}{f(x)}\right)+1-\frac{g(x)}{f(x)}\right)f(x)dx=0$ donc la fonction sous le signe intégrale est nulle sur $\mathbb R$. Enfin grâce à la réponse de I.2. ceci ne peut avoir lieu que quand $\forall x\in\mathbb R,\frac{f(x)}{g(x)}=1$, c'est à dire $f=g$.

Pour afficher le fil des commentaires : Commentaires.


Pour poster un commentaire ou obtenir de l'aide : c'est ici!




Formulaire

L'insertion de formules suit la syntaxe LATEX. Toute formule doit être encadrée par des dollars : $\bf{\$formule\$}$. Par exemple $\bf{\$ u\_n \$}$ sera interprétée comme une formule et donnera $\bf{u_n}$. Voici quelques exemples pour ceux qui ne sont pas habitués :

Contacter l'auteur du site : frederic.millet @ math-sup.fr