Fiche de cours
Chaîne de Markov - Première notion
Une chaîne de Markov est un processus aléatoire portant sur un nombre fini d'états, avec des probabilités de transition sans mémoire.
On se propose à travers un exemple d'illustrer les premières notions d'introduction aux chaînes de Markov : déterminer si une situation est une chaine de Markov, déterminer une matrice de transition et le graphe pondéré des états ainsi que la matrice de l'état initial.
Exemple :
Esope le chat n'a que trois activités chaque jour : Manger, Dormir et Jouer. Ses journées sont semblables et indépendantes. Toutes les minutes il peut soit changer d'activité soit continuer celle en cours mais sans que ses activités précédentes de la journée n'influent sur sa décision.
Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute suivante.
Quand il se réveille, il a 1 chance sur 2 qu'il aille manger et 1 sur 2 qu'il aille jouer.
Le repas ne dure qu'une minute.
Après avoir mangé, il a 3 chances sur 10 de jouer et 7 sur 10 de dormir.
Il y a 8 chances sur 10 qu'il dorme la minute après avoir joué.
On suppose qu'Esope dorme initialement.
On souhaite former une chaine de Markov à parti