Cadenas de Markov
Una Cadena de Markov es un proceso estocástico a tiempo discreto sobre un espacio de estados S y de modo que si , entonces:
A esta propiedad se la conoce como propiedad de Markov.
Se dice que una Cadena de Markov es homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es, para todo y para cualesquiera :
Si para alguna pareja de estados y para algún tiempo la propiedad no se cumple entonces diremos que la Cadena de Markov es no homogénea.
Sean i, j dos estados de una Cadena de Markov. La probabilidad de ir del estado i al estado j del tiempo n al n+1
.
Cuando la cadena es homogénea, esta probabilidad se denota por
Teniendo las probabilidades de transición en un paso, si variamos los índices i, j, sobre el espacio de estados S, obtenemos la matriz de probabilidades de transición en un paso:
La matriz anterior es una matriz estocástica, pues verifica que y además
Similarmente se define la matriz de probabilidades de transición en n pasos
donde la entrada pij(n) representa la probabilidad de pasar del estado i al j en n pasos. Es claro que P(n)=Pn
Se dice que una distribución de probabilidad es estacionaria para una Cadena de Markov con matriz de probabilidades de transición P si . Significa que si una variable aleatoria inicial tiene una distribución 
entonces la distribución después de n pasos también es , es decir, esta distribución no cambia con el paso del tiempo.
Para encontrar una posible distribución estacionaria de una cadena con matriz P, un método consiste en resolver el sistema de ecuaciones:
A esta propiedad se la conoce como propiedad de Markov.
Se dice que una Cadena de Markov es homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es, para todo y para cualesquiera :
Si para alguna pareja de estados y para algún tiempo la propiedad no se cumple entonces diremos que la Cadena de Markov es no homogénea.
Sean i, j dos estados de una Cadena de Markov. La probabilidad de ir del estado i al estado j del tiempo n al n+1
.
Cuando la cadena es homogénea, esta probabilidad se denota por
Teniendo las probabilidades de transición en un paso, si variamos los índices i, j, sobre el espacio de estados S, obtenemos la matriz de probabilidades de transición en un paso:
La matriz anterior es una matriz estocástica, pues verifica que y además
Similarmente se define la matriz de probabilidades de transición en n pasos
donde la entrada pij(n) representa la probabilidad de pasar del estado i al j en n pasos. Es claro que P(n)=Pn
Se dice que una distribución de probabilidad es estacionaria para una Cadena de Markov con matriz de probabilidades de transición P si . Significa que si una variable aleatoria inicial tiene una distribución entonces la distribución después de n pasos también es , es decir, esta distribución no cambia con el paso del tiempo.
Para encontrar una posible distribución estacionaria de una cadena con matriz P, un método consiste en resolver el sistema de ecuaciones: