The exit path of a Markov chain with rare transitions

Olivier.Catoni@ens.fr /*/ Raphael.Cerf@math.u-psud.fr

Abstract

We study the exit path from a general domain after the last visit to a set of a Markov chain with rare transitions. We prove several large deviation principles for the law of the succession of the cycles visited by the process (the cycle path), the succession of the saddle points gone through to jump from cycle to cycle on the cycle path (the saddle path) and the succession of all the points gone through (the exit path). We estimate the time the process spends in each cycle of the cycle path and how it decomposes into the time spent in each point of the exit path. We describe a systematic method to find the most likely saddle paths. We apply these results to the reversible case of the Metropolis dynamics. We give in appendix the corresponding large deviation estimates in the non homogeneous case, which are corollaries of already published works by Catoni (1992) and Trouvé (1992, 1996a).

Résumé

Nous étudions le chemin de sortie d'une chaîne de Markov à transitions rares après son dernier passage par un sous domaine d'un domaine quelconque. Nous établissons des estimées de grandes déviations pour la suite des cycles visités par le processus, la suite des points selle qu'il emprunte et la suite de tous les états constituant le support du chemin de sortie. Nous estimons aussi le temps passé en chaque cycle et sa répartition entre ses différents états. Nous décrivons une méthode systématique pour déterminer les suites de points selle les plus probables, et traitons plus en détail le cas particulier des dynamiques de Metropolis réversibles. Nous donnons en appendice des estimées de grandes déviations correspondant au cas plus général des chaînes non homogènes, qui s'obtiennent comme corollaires de travaux antérieurs de Catoni (1992) et Trouvé (1992, 1996a).