8. Dans cette question, $N$ désigne un entier supérieur ou égal à 2.
Soit $X$ une variable aléatoire à valeurs dans $[\![1,N]\!]$. On pose pour tout $k$ de $[\![1,N]\!]$ : $p_k=P([X=k])$.
L'entropie $H(X)$ de $X$ est définie par : $H(X)=-\sum_{k=1}^Np_k\ln(p_k)$.
S'il existe un entier $k$ de $[\![1,N]\!]$ tel que $p_k=0$, on pose par convention : $p_k\ln(p_k)=0$.
On note $h_N$ la fonction de $(]0,1[)^N$ dans $\mathbb R$ définie par : $h_N(x)=H_N(x_1,\dots,x_N)=-\sum_{k=1}^Nx_k\ln(x_k)$.
a) Calculer en tout point $x$ de $(]0,1[)^N$, le gradiant $\nabla h_N(x)$ et la matrice Hessienne $\nabla^2h_N(x)$ de $h_N$.
On trouve $$\nabla h_N(x)=(-\ln(x_1)-1,\dots,-\ln(x_N)-1)$$ et $$\nabla^2 h_N(x)=\begin{pmatrix} \frac{-1}{x_1} & 0 & \dots & 0\\ 0 &\frac{-1}{x_2} & \dots & 0\\ \vdots & \dots & \ddots & \vdots\\ 0 &\dots &\dots & \frac{-1}{x_N} \end{pmatrix}$$
b) Montrer que pour l'optimisation de $h_N$ sous la contrainte $\sum_{k=1}^Nx_k=1$, il existe un unique point critique $x^*$ que l'on précisera.
La contrainte étant $\sum_{k=1}^Nx_i=1$, $\nabla h_N(x^*)$ doit appartenir à l'ensemble $Vect(\nabla(\sum_{k=1}^Nx_k))=Vect\left(\begin{pmatrix}1\\ \vdots\\ 1\end{pmatrix}\right)$. Par conséquent on a $\ln(x_1^*)-1=\dots=\ln(x_N^*)-1$ soit encore $x_1^*=\dots=x_N^*$. Mais sous la contrainte $\sum_{k=1}^Nx_i=1$, on en déduit que $x^*=(1/N,\dots,1/N)$.
c) En utilisant la question 5 ou l'égalité de Taylor-Lagrange à l'ordre 1, montrer que $h_N$ admet en $x^*$ un maximum global sous la contrainte $\sum_{k=1}^Nx_k=1$.
On utilise l'égalité de Taylor à l'ordre 1. Pour $x=(x_1,\dots,x_N)\in]0,1[^N$ vérifiant $\sum_kx_k=1$, il existe $c=(c_1,\dots,c_N)\in]0,1[^N$ vérifiant $\sum_kc_k=1$ tel que $$h_N(x)-h_N(x^*)=\begin{pmatrix}x_1-\frac{1}{N} & \dots & x_N-\frac{1}{N}\end{pmatrix}\nabla^2h_N(c)\begin{pmatrix}x_1-\frac{1}{N} \\ \dots \\ x_N-\frac{1}{N}\end{pmatrix}=-\sum_{k=1}^N(x_k-\frac{1}{N})^2\frac{1}{c_k}.$$ Le terme de droite étant négatif, on en déduit que $h_N(x)\leq h_N(x^*)$ ce qui prouve le résultat.
d) Parmi les variables aléatoires à valeurs dans $[\![1,N]\!]$, quelle est la loi de celles qui ont la plus grande entropie?
L'étude précédente nous suggère que la loi uniforme sur $[\![1,N]\!]$ maximise l'entropie. Cependant l'étude exclu le cas où il y a une probabilité nulle pour l'un des $p_k$. Pour lever ce problème observons que si $X$ suit une loi uniforme sur $[\![1,N]\!]$ alors $H(X)=-\sum_{k=1}^N\frac{1}{N}\ln\left(\frac{1}{N}\right)=\ln(N)$. Si maintenant $Y$ est une variable aléatoire telle que $p_i=0$ et $p_k>0$ pour $k\in[\![1,N]\!]\backslash\{i\}$, par le même calcul $H(Y)$ vaut au maximum $\ln(N-1)$ et ne peut égaler $H(X)$. Un argument analogue montre que la loi uniforme permet également de majorer l'entropie d'une loi qui annulerait plusieurs $p_k$. Par conséquent la loi uniforme maximise bien l'entropie dans tous les cas de figures.
On note $\cal S$ l'ensemble des suites réelles strictement positives $(p_n)_{n\in \mathbb N^*}$ telles que $\sum_{n=1}^{+\infty}p_n=1$.
Soit $X$ une variable aléatoire à valeurs dans $\mathbb N^*$ vérifiant pour tout $n$ de $\mathbb N^*$, $P([X=n])=p_n$ avec $(p_n)_{n\in\mathbb N^*}\in{\cal S}$. On appelle entropie de $X$, le réel $H(X)$ défini sous réserve de convergence de la série $\sum_{n\geq 1}p_n|\ln(p_n)|$, par : $$H(X)=\sum_{n=1}^{+\infty}p_n|\ln(p_n)|$$
9. Soit $(p_n)_{n\in\mathbb N^*}$ une suite de $\cal S$ telle que la série $\sum_{n\geq 1}np_n$ est convergente.
a) Justifier l'existence d'un entier $n_0$ tel que, pour tout entier $n\geq n_0$, on a : $\sqrt{p_n}|\ln(p_n)|\leq 1$.
Puisque la série $\sum_{n\geq 1}np_n$ converge, on en déduit que la suite $(np_n)$ converge vers 0. Par conséquent $np_n=o(1)$ c'est à dire $p_n=o(1/n)$ donc $(p_n)$ tend vers $0$. Or par croissance comparée $\lim_{0^+}\sqrt x\ln(x)=0$ d'où $\lim_{+\infty}\sqrt{p_n}|\ln(p_n)|=0$ et donc on peut trouver un $n_0$ vérifiant la condition demandée.
b) Etablir pour tout $n\geq n_0$ tel que $p_n\leq \frac{1}{n^3}$, l'inégalité : $p_n|\ln(p_n)|\leq\frac{1}{n^{3/2}}$.
Cela vient de $$p_n|\ln(p_n)|=\sqrt{p_n}\sqrt{p_n}|\ln(p_n)|\leq\sqrt{p_n}\leq\sqrt{\frac{1}{n^3}}.$$
c) En déduire que pour tout $n\geq n_0$, on a : $p_n|\ln(p_n)|\leq\max\left\lbrace\frac{1}{n^{3/2}},3p_n\ln n\right\rbrace$.
Soit $p_n\leq\frac{1}{n^3}$ et dans ce cas $p_n|\ln(p_n)|\leq\frac{1}{n^{3/2}}$, soit $p_n>\frac{1}{n^3}$ et dans ce cas $\ln(p_n)>-3\ln(n)$ donc $p_n|\ln(p_n)|<\!3p_n\ln(n)$. Donc en faisant la synthèse $p_n|\ln(p_n)|\leq\max\left\lbrace\frac{1}{n^{3/2}},3p_n\ln n\right\rbrace$.
d) Montrer que la série $\sum_{n\geq 1}p_n|\ln(p_n)|$ est convergente.
La série $\sum_{n\geq 1}\frac{1}{n^{3/2}}$ est une série de Riemann convergente. D'autre part comme $\ln(n)\leq n$ pour $n\geq 1$, comme $\sum_{n\geq 1}np_n$ converge, par comparaison $\sum_{n\geq 1}p_n\ln(n)$ converge également. On en déduit que $\sum_{n\geq 1}\max\left\lbrace\frac{1}{n^{3/2}},3p_n\ln n\right\rbrace$ converge et par comparaison que $\sum_{n\geq 1}p_n|\ln(p_n)|$ est convergente.
Que peut-on en conclure sur l'entropie d'une variable aléatoire à valeurs dans $\mathbb N^*$ possédant une espérance?
L'espérance est donnée par $\sum_{n\geq 1}np_n$, l'existence de l'espérance revient à dire que cette série converge. Or on vient de montrer que la convergence de cette série implique la convergence de la série de l'entropie. Donc l'existence d'une espérance implique l'existence de l'entropie.
10. Soit $\theta$ un réel de $]0,1[$ et $(p_n)_{n\in\mathbb N^*}$ la suite de $\cal S$ définie par : pour tout $n$ de $\mathbb N^*$, $p_n=\theta(1-\theta)^{n-1}$.
Soit $X$ une variable aléatoire à valeurs dans $\mathbb N^*$ qui vérifie pour tout $n$ de $\mathbb N^*$, $P([X=n])=p_n$.
a) Reconnaître la loi de $X$; préciser son espérance, puis calculer son entropie.
On reconnaît le loi géométrique de paramètre $\theta$ et donc d'espérance $1/\theta$. Pour l'entropie on utilise la linéarité des intégrales convergentes et la définition de l'espérance $$\begin{align} H(X)&=\sum_{k\geq 1}\theta(1-\theta)^{k-1}|\ln(\theta(1-\theta)^{k-1})|\\ &=-\sum_{k\geq 1}\theta(1-\theta)^{k-1}\ln(\theta(1-\theta)^{k-1})\\ &=-\ln(\theta)\sum_{k\geq 1}\theta(1-\theta)^{k-1}-\ln(1-\theta)\sum_{k\geq 1}(k-1)\theta(1-\theta)^{k-1}\\ &=-\ln(\theta)\sum_{k\geq 1}\theta(1-\theta)^{k-1}-\ln(1-\theta)\sum_{k\geq 1}k\theta(1-\theta)^{k-1}+\ln(1-\theta)\sum_{k\geq 1}\theta(1-\theta)^{k-1}\\ &=-\ln(\theta)-\ln(1-\theta)E(X)+\ln(1-\theta)\\ &=-\ln(\theta)-\frac{\ln(1-\theta)}{\theta}+\ln(1-\theta). \end{align}$$
b) Ecrire une fonction Pascal d'en-tête function X($\theta$ : real) : integer; permettant de simuler $X$.
c) Soit $Y$ une variable aléatoire à valeurs dans $\mathbb N^*$ ayant une espérance égale à celle de $X$. Pour tout $n$ de $\mathbb N^*$, on pose : $q_n=P([Y=n])$. On suppose que $(q_n)_{n\in\mathbb N^*}\in{\cal S}$ et que la série $\sum_{n\geq 1}q_n\ln\left(\frac{p_n}{q_n}\right)$ est convergente. Etablir l'égalité : $H(Y)-H(X)=\sum_{n=1}^{+\infty}q_n\ln\left(\frac{p_n}{q_n}\right)$.
Par linéarité des series convergentes et le fait que $X$ et $Y$ ont même espérance $$\begin{align} \sum_{n=1}^{+\infty}q_n\ln\left(\frac{p_n}{q_n}\right)&=\sum_{n=1}^{+\infty}q_n\ln(p_n)-\sum_{n=1}^{+\infty}q_n\ln(q_n)\\ &=\sum_{n=1}^{+\infty}q_n\ln(\theta(1-\theta)^{n-1})+H(Y)\\ &=\ln(\theta)\sum_{n=1}^{+\infty}q_n+\ln(1-\theta)\sum_{n=1}^{+\infty}(n-1)q_n+H(Y)\\ &=\ln(\theta)+\ln(1-\theta)\sum_{n=1}^{+\infty}nq_n-\ln(1-\theta)\sum_{n=1}^{+\infty}q_n+H(Y)\\ &=\ln(\theta)+\ln(1-\theta)E(Y)-\ln(1-\theta)+H(Y)\\ &=\ln(\theta)+\ln(1-\theta)E(X)-\ln(1-\theta)+H(Y)\\ &=\ln(\theta)+\ln(1-\theta)\frac{1}{\theta}-\ln(1-\theta)+H(Y)\\ &=-H(X)+H(Y). \end{align}$$
d) Déterminer le signe de $H(Y)-H(X)$. Conclusion.
D'après I.5. et la concavité de $\ln$ on a $$H(Y)-H(X)=\sum_{n=1}^{+\infty}q_n\ln\left(\frac{p_n}{q_n}\right)\leq\ln\left(\sum_{n=1}^{+\infty}q_n\frac{p_n}{q_n}\right)=\ln(1)=0.$$ Donc à espérance fixée, la loi géométrique est la loi qui maximise l'entropie.
11. Soit $(X_n)_{n\in\mathbb N^*}$ une suite de variables aléatoires à valeurs réelles, définies sur $(\Omega,{\cal A},P)$, qui converge en probabilité vers une variables aléatoire $X$.
a) Montrer que pour tout $n$ de $\mathbb N^*$, l'application $Z_n$ définie sur $\Omega$ par $Z_n:\omega\mapsto \exp(X_n(\omega))$ est une variable aléatoire. De même, on note $Z$ la variable aléatoire $Z:\omega\mapsto\exp(X(\omega))$.
L'application $\exp$ est continue donc $Z_n$ est une variable aléatoire.
Soit $\epsilon$ et $\alpha$ deux réels strictement positifs.
b) Justifier l'existence d'un réel $s$ tel que $P([|X|\geq s])<\alpha$.
On observe que pour $n\in\mathbb N$, $[|X|\geq n+1]\subset[|X|\geq n]$ donc la suite d'évènements $([|X|\geq n])$ est décroissante. On a donc $$\lim_{n\to+\infty}P([|X|\geq n])=P(\cap_{n\in\mathbb N}[|X|\geq n])=P(\emptyset)=0.$$ Par conséquent pour tout $\alpha>0$, il existe $s\in\mathbb N$ tel que $P([|X|\geq s])<\alpha$.
c) Soit $K_1,K_2$ et $K_3$ trois éléments de $\cal A$. Montrer que $P(K_1\cup K_2\cup K_3)\leq P(K_1)+P(K_2)+P(K_3)$; en déduire l'inégalité : $P([|Z_n-Z|\geq\epsilon])\leq P([|X|\geq s])+P([|X_n-X|]\geq 1)+P([|X_n-X|\geq\epsilon\exp(-1-s)])$.
On a que $$\begin{align} P(K_1\cup K_2\cup K_3)&=P(K_1)+P(K_2\cup K_3)-P(K_1\cap (K_2\cup K_3))\\ &\leq P(K_1)+P(K_2\cup K_3)\\ &\leq P(K_1)+P(K_2)+P(K_3)-P(K_2\cap K_3)\\ &\leq P(K_1)+P(K_2)+P(K_3), \end{align}$$ d'où le premier point. Pour le second point, soit $\omega\in\Omega$ un évènement donné vérifiant $|Z_n(\omega)-Z(\omega)|\geq\epsilon$. Un tel $\omega$ appartient soit à $[|X|\geq s]\cup [|X_n-X|\geq 1]$, soit il vérifie le contraire c'est à dire $|X(\omega)|<\! s$ et $|X_n(\omega)-X(\omega)|<\!1$. Examinons la seconde situation. Grâce au théorème des accroissements finis, il existe un réel $c$ compris entre $X(\omega)$ et $X_n(\omega)$ tel que $$\epsilon\leq|Z_n(\omega)-Z(\omega)|=|e^{X_n(\omega)}-e^{X(\omega)}|\leq e^c|X_n(\omega)-X(\omega)|.$$ Or $c$ est compris entre $X(\omega)$ et $X_n(\omega)$, donc soit $X_n(\omega)\leq c\leq X(\omega)\leq s\leq s+1$ car $|X(\omega)|\leq s$, ou bien soit $X(\omega)\leq c\leq X_n(\omega)\leq X(\omega)+1\leq s+1$ car $|X(\omega)|\leq s$ et $|X_n(\omega)-X(\omega)|\leq 1$. Par conséquent $c\leq s+1$ et $$|X_n(\omega)-X(\omega)|\geq \epsilon \exp(-(1+s)).$$ On a donc montré l'inclusion suivante $$[|Z_n-Z|\geq\epsilon]\subset [|X|\geq s]\cup [|X_n-X|\geq 1]\cup[|X_n-X|\geq \epsilon \exp(-(1+s))].$$ En utilisant le résultat préliminaire, l'inégalité suit.
d) Conclure.
Comme $X_n$ converge en probabilité vers $X$, il existe $n_0$ tel que pour $n\geq n_0$, $P([|X_n-X|]\geq 1)<\alpha$ et $P([|X_n-X|\geq\epsilon\exp(-1-s)])<\alpha$ donc $P(|Z_n-Z|\geq \epsilon)<\!3\alpha$. Il suit que pour tout $\epsilon>0$, $\lim_{+\infty}P(|Z_n-Z|\geq \epsilon)$, c'est à dire que $Z_n$ converge en loi vers $Z$.
On considère une succession de courses hippiques entre $N$ chevaux participants $(N\geq 2)$ numérotés $1,2,\dots,N$. Pour tout $n$ de $\mathbb N^*$, on note $G_n$ la variables aléatoire égale au numéro du cheval gagnant de la n-ième course.
On suppose que les variables élatoires $G_1,G_2,\dots,G_n,\dots$ à valeurs dans $[\![1,N]\!]$, sont définies sur $(\Omega,{\cal A},P)$, mutuellement indépendantes et de même loi. On suppose qu'il n'y a qu'un seul gagnant par course.
On pose pour tout $k$ de $[\![1,N]\!]$ et pour tout $n$ de $\mathbb N^*$ : $p_k=P([G_n=k])$ avec $0<\! p_k<\! 1$.
Pour tout $k$ de $[\![1,N]\!]$, on note $c_k$ ($c_k>1$) la cote du cheval $k$; ainsi un parieur qui a misé un montant $m_k$ sur le cheval $k$ perdra sa mise quelque soit l'issue de la course, mais recevra la somme de $m_kc_k$ si le cheval $k$ est gagnant. On suppose que les cotes $c_1,c_2,\dots,c_N$ sont fixes au cours du temps.
A l'occasion de la première course, un parieur dispose d'une somme monétaire $r_0>0$ qu'il souhaite répartir en totalité entre $N$ chevaux dans les proportions respectives $f_1,f_2,\dots,f_N$, où pour tout $k$ de $[\![1,N]\!]$, $0<\! f_k<\! 1$. A l'issue de cette première course, le parieur dispose d'une somme monétaire $R_1=r_0M_1$ avec $M_1>0$.
A l'occasion de la deuxième course, ce parieur réinvestit en totalité la somme $R_1$ entre les $N$ chevaux dans les mêmes proportions $f_1,f_2,\dots,f_N$. A l'issue de cette deuxième course, le parieur dispose d'une somme monétaire $R_2=R_1M_2$ avec $M_2>0$ et ainsi de suite...
La richesse monétaire $R_n$ acquise au terme de $n$ courses est donc : $R_n=r_0\prod_{i=1}^nM_i$.
On définit pour tout $n$ de $\mathbb N^*$, le taux de rendement moyen des paris par : $T_n=\left(\frac{R_n}{r_0}\right)^{1/n}-1$.
12. a) Justifier que $(M_n)_{n\in\mathbb N^*}$ est une suite de variables aléatoires indépendantes, à valeurs strictement positives et de même loi.
Puisque les chevaux gagnent de manière indépendantes et de même loi à chaque course, la suite $(M_n)$ est indépendante et de même loi. D'autre part comme le joueur mise sur tous les chevaux à chaque course, les $M_n$ sont nécessairement strictement positives.
b) On suppose que la variable aléatoire $\ln(M_1)$ admet une espérance $E(\ln(M_1))$ et une variance $V(\ln(M_1))$. Montrer que la suite de variables aléatoires $(T_n)_{n\in\mathbb N^*}$ converge en probabilité vers une variable certaine $\tau$ que l'on exprimera en fonction de $E(\ln(M_1))$. Le réel $\tau$ est le taux de rendement asymptotique des paris.
On observe d'abord que comme $M_n$ est strictement positive $$T_n=\exp\left(\frac{1}{n}\sum_{i=1}^n\ln(M_i)\right)-1.$$ Or les $\ln(M_n)$ étant indépendants de même loi admettent une espérance et une variance, la loi faible des grands nombres nous dit que $\frac{1}{n}\sum_{i=1}^n\ln(M_i)$ converge en probabilité vers $E(\ln(M_i))$. Enfin on a vu en 11.d. que ceci implique que $\exp\left(\frac{1}{n}\sum_{i=1}^n\ln(M_i)\right)$ converge également en probabilité vers $e^{E(\ln(M_1))}$ et donc que $T_n$ converge en probabilité vers $\tau=e^{E(\ln(M_1))}-1$.
13. La stratégie du parieur consiste à choisir les proportions $f_1,f_2,\dots,f_N$ qui maximiseraient $\tau$. On rappelle que les proportions $f_1,f_2,\dots,f_N$ sont constantes au cours du temps.
a) Montrer que : $\tau=\exp\left(\sum_{k=1}^Np_k\ln(f_kc_k)\right)-1$.
On a que $$E(\ln(M_1))=\sum_{k=1}^N\ln(f_kc_k)P(M_1=f_kc_k)=\sum_{k=1}^N\ln(f_kc_k)p_k$$ et on injecte ceci dans l'expression de $\tau$.
b) En déduire la stratégie optimale du parieur et la valeur optimale de $\tau$ associée à ses paris.
Il faut maximiser la quantité $\sum_{k=1}^Np_k\ln(f_kc_k)$ en n'oubliant pas la contrainte $\sum_{k=1}^Nf_k=1$. En faisant l'étude sous cette contrainte, on trouve un point critique pour $\frac{f_1}{p_1}=\dots=\frac{f_N}{p_N}$. Or si on note $\lambda=\frac{f_1}{p_1}$, on a $\lambda p_k=f_k$ et en sommant sur $k$ on trouve $\lambda=1$. Ensuite à l'aide d'un développement de Taylor à l'ordre 1, on montre qu'en ce point critique on a un maximum (même stratégie de preuve que plus haut dans le sujet). Il suit que la stratégie optimale consiste à prendre $f_k=p_k$. On en déduit alors que que la valeur optimale de $\tau$ est $$\exp\left(\sum_{k=1}^Np_k\ln(p_kc_k)\right)-1$$
c) On suppose dans cette question que $\sum_{k=1}^N\frac{1}{c_k}=1$. Montrer que $\sum_{k=1}^Np_k\ln(p_kc_k)\geq 0$.
On suit la même stratégie que la question 7.a). D'après I.2. on a que $$p_k\ln\left(\frac{1}{p_kc_k}\right)\leq p_k\left(\frac{1}{p_kc_k}-1\right)=\frac{1}{c_k}-p_k$$ donc en sommant $$\sum_{k=1}^Np_k\ln\left(\frac{1}{p_kc_k}\right)\leq \sum_{k=1}^N\frac{1}{c_k}-\sum_{k=1}^Np_k=1-1=0.$$ Il ne reste alors plus qu'à multiplier par -1.
Dans quel cas le parieur ne dispose-t-il d'aucune stratégie lui permettant de s'assurer un taux de rendement asymptotique optimal strictement positif?
Grâce à l'inégalité de concavité du logarithme et le fait que $\sum_{k=1}^Np_k=1$, on a $$\sum_{k=1}^Np_k\ln(p_kc_k)\leq \ln\left(\sum_{k=1}^Np_k^2c_k\right).$$ Par conséquent si $\sum_{k=1}^Np_k^2c_k<\!1$, la somme est strictement négative et le taux de rendement optimal n'est jamais strictement positif.
Pour afficher le fil des commentaires : Commentaires.
Pour poster un commentaire ou obtenir de l'aide : c'est ici!
L'insertion de formules suit la syntaxe LATEX. Toute formule doit être encadrée par des dollars : $\bf{\$formule\$}$. Par exemple $\bf{\$ u\_n \$}$ sera interprétée comme une formule et donnera $\bf{u_n}$. Voici quelques exemples pour ceux qui ne sont pas habitués :
Contacter l'auteur du site : frederic.millet @ math-sup.fr
