Definition: stochastische Prozesse
In den Übergangsmatrizen stochastischer Prozesse sind stets relative 
Häufigkeiten oder Wahrscheinlichkeiten für die Übergänge eingetragen. 
• Für jedes Element gilt  .
• Die Übergangsmatrix ist immer quadratisch.
• Die Spaltensumme beträgt immer 1.
Eine solche quadratische Matrix heißt stochastische Matrix.