Fiche de cours
Chaine de Markov - Distribution invariante
Les chaines de Markov apparaissent dans divers domaines (Biologie, Physique, Economie, Informatique,...) afin de prévoir le futur et estimer les évolutions possibles à partir d'une situation initiale.
Propriétés :
Soit $(X_k)$ une chaine de Markov et $p_{ij}$ la probabilité de passer de l'état $i$ à l'état $j$. On suppose que la chaine contient $n$ états.
La matrice de transition de cette chaine de Markov est une matrice de dimension $n \times n$ qui vaut
$P = \left ( \begin{array}{cc} p_{1,1} & .. & p_{1,n} \\ .&&.\\ p_{n,1} & .. & p_{n,n} \end{array} \right )$.
La probabilité de transition $p_{ij}^{(n)}$ est la probabilité de passer de l'état $i$ à l'état $j$ en $n$ étapes et est le terme $ij$ dans la matrice $P^n$.
Soit $\Pi_0$ la matrice de l'état initial,
A la $n$ieme transition on a $\Pi_n$ tel que $\Pi_n = \Pi_0 \times P^n$.
Si $P^n$ converge, alors la distribution de probabilité est stationnaire, notée $\Pi$, et vérifie $\Pi = \Pi P$. Elle ne dépend donc pas de l'état initial.
Exemple :
On considère un pays proche de l'équateur dont le temps est &agra