Markov chain(마르코프 연쇄; markov process)

Markov chain은 마르코프 연쇄, Markov process로 불린다.

이것은 이산시간 확률과정이라고 표현할 수 있다.

(여기서 확률과정이라는 것은 어떤 사건이 발생할 확률이 변화하는 과정이다.)

 

마르코프 특성은 과거 상태에와 현재 상태가 있을 때, 미래 상태는 과거 상태와 독립적으로 현재 상태에 의해서 결정된다는 것이다.

 

상태 변이 확률은 어떤 상태에서 다음 단계의 상태로 변화할 때의 확률을 말한다.

간단한 markov process 예시