Markovproces

Een stochastisch proces ${\displaystyle (X_{t},\,t\in T)}$ heet markovproces, als het de markoveigenschap heeft, wat inhoudt dat voor alle ${\displaystyle n,\ t_{1}<t_{2}<\ldots <t_{n}}$ en ${\displaystyle c_{1},c_{2},\ldots ,c_{n}}$ geldt:

${\displaystyle P(X_{t_{n}}=c_{n}|X_{t_{1}}=c_{1},X_{t_{2}}=c_{2},\ldots ,X_{t_{n-1}}=c_{n-1})}$${\displaystyle =P(X_{t_{n}}=c_{n}|X_{t_{n-1}}=c_{n-1})}$

De verzameling ${\displaystyle T}$ heet parameterruimte en het waardenbereik ${\displaystyle X(T)}$ toestandsruimte.

Het proces beschrijft de toestand ${\displaystyle X_{t}}$ van een systeem op het tijdstip ${\displaystyle t.}$ De markoveigenschap luidt in woorden: de voorwaardelijke kans om het systeem op een tijdstip ${\displaystyle t_{n}}$ aan te treffen in de toestand ${\displaystyle c_{n},}$ gegeven de toestanden waarin het systeem zich op een willekeurig aantal voorgaande tijdstippen bevond, is alleen afhankelijk van de toestand ${\displaystyle c_{n-1}}$ op het laatst gegeven tijdstip.

Men onderscheidt markovprocessen met

• discrete parameterruimte, meestal als discrete tijd aangeduid
• continue parameterruimte

en

• eindige toestandsruimte
• aftelbaar oneindige toestandsruimte
• overaftelbare toestandsruimte

Een markovproces in discrete tijd en met eindige toestandsruimte heet een markovketen. Ook als de toestandsruimte niet eindig is, maar wel aftelbaar en discreet spreekt men wel van een markovketen. Zelfs wordt wel ieder markovproces in discrete tijd als keten aangeduid.