سلسلة ماركوف

عملية ماركوف هي عملية عشوائية تحقق خاصية ماركوف (التي تُوصف أحيانًا بأنها " انعدام الذاكرة "). بعبارة أبسط، هي عملية يمكن التنبؤ بنتائجها المستقبلية بناءً على حالتها الراهنة فقط، والأهم من ذلك، أن هذه التنبؤات لا تقل دقة عن تلك التي يمكن إجراؤها بمعرفة تاريخ العملية بالكامل. ^{[ 5 ]} بعبارة أخرى، إذا كانت الحالة الراهنة للنظام مشروطة بحالته الحالية، فإن حالته المستقبلية وحالته السابقة مستقلتان .

سلسلة ماركوف هي نوع من عمليات ماركوف، إما أن يكون لها فضاء حالة منفصل أو مجموعة مؤشرات منفصلة (غالبًا ما تمثل الزمن)، ولكن التعريف الدقيق لسلسلة ماركوف يختلف. ^{[ 6 ]} على سبيل المثال، من الشائع تعريف سلسلة ماركوف على أنها عملية ماركوف في زمن منفصل أو متصل مع فضاء حالة قابل للعد (وبالتالي بغض النظر عن طبيعة الزمن)، ^{[ 7 ] [ 8 ] [ 9 ] [ 10 ]} ولكن من الشائع أيضًا تعريف سلسلة ماركوف على أنها ذات زمن منفصل في فضاء حالة قابل للعد أو متصل (وبالتالي بغض النظر عن فضاء الحالة). ^{[ 6 ]}

يجب تحديد فضاء حالة النظام ومؤشر معلمات الزمن. يوضح الجدول التالي نظرة عامة على الحالات المختلفة لعمليات ماركوف لمستويات مختلفة من عمومية فضاء الحالة لكل من الزمن المتقطع والمستمر:

تجدر الإشارة إلى عدم وجود اتفاق نهائي في الأدبيات العلمية حول استخدام بعض المصطلحات التي تدل على حالات خاصة من عمليات ماركوف. عادةً ما يُستخدم مصطلح "سلسلة ماركوف" للإشارة إلى عملية ذات مجموعة زمنية منفصلة، ​​أي سلسلة ماركوف ذات الزمن المنفصل (DTMC) [ ^{11 ] ،} ولكن بعض المؤلفين يستخدمون مصطلح "عملية ماركوف" للإشارة إلى سلسلة ماركوف ذات الزمن المستمر (CTMC) دون ذكرها صراحةً ^{[ 12 ] [ 13 ] [ 14 ]} . إضافةً إلى ذلك، توجد امتدادات أخرى لعمليات ماركوف يُشار إليها بهذا الاسم، ولكنها لا تندرج بالضرورة ضمن أي من هذه الفئات الأربع (انظر نموذج ماركوف ). علاوةً على ذلك، ليس بالضرورة أن يكون مؤشر الزمن ذا قيمة حقيقية؛ فكما هو الحال مع فضاء الحالة، توجد عمليات يمكن تصورها تنتقل عبر مجموعات مؤشرات ذات بنيات رياضية أخرى. لاحظ أن سلسلة ماركوف ذات الزمن المستمر في فضاء الحالة العام عامة لدرجة أنه لا يوجد لها مصطلح محدد.

على الرغم من أن معيار الزمن عادةً ما يكون منفصلاً، فإن فضاء حالة سلسلة ماركوف لا يخضع لأي قيود متفق عليها عمومًا: إذ يمكن أن يشير المصطلح إلى عملية على أي فضاء حالة. ^{[ 15 ]} مع ذلك، تستخدم العديد من تطبيقات سلاسل ماركوف فضاءات حالة محدودة أو قابلة للعد ، والتي تتميز بتحليل إحصائي أبسط. إلى جانب معياري الزمن وفضاء الحالة، توجد العديد من الاختلافات والتوسعات والتعميمات الأخرى (انظر قسم الاختلافات ). ولتبسيط الأمر، يركز معظم هذا المقال على حالة الزمن المنفصل وفضاء الحالة المنفصل، ما لم يُذكر خلاف ذلك.

تُسمى تغيرات حالة النظام بالانتقالات. وتُسمى الاحتمالات المرتبطة بتغيرات الحالة المختلفة باحتمالات الانتقال. تتميز العملية بفضاء الحالة، ومصفوفة الانتقال التي تصف احتمالات انتقالات محددة، وحالة ابتدائية (أو توزيع ابتدائي) عبر فضاء الحالة. اصطلاحًا، نفترض أن جميع الحالات والانتقالات الممكنة مُدرجة في تعريف العملية، لذا توجد دائمًا حالة تالية، ولا تنتهي العملية.

تتضمن العملية العشوائية المتقطعة نظامًا يكون في حالة معينة في كل خطوة، وتتغير هذه الحالة عشوائيًا بين الخطوات. غالبًا ما تُعتبر الخطوات لحظات زمنية، ولكن يمكن أن تشير أيضًا إلى المسافة الفيزيائية أو أي قياس منفصل آخر. رسميًا، الخطوات هي أعداد صحيحة أو طبيعية ، والعملية العشوائية هي تمثيل لهذه الأعداد بالحالات. تنص خاصية ماركوف على أن التوزيع الاحتمالي الشرطي للنظام في الخطوة التالية (وفي الواقع في جميع الخطوات اللاحقة) يعتمد فقط على الحالة الحالية للنظام، وليس على حالته في الخطوات السابقة.

بما أن النظام يتغير عشوائياً، فمن المستحيل عموماً التنبؤ بدقة بحالة سلسلة ماركوف عند نقطة معينة في المستقبل. مع ذلك، يمكن التنبؤ بالخصائص الإحصائية لمستقبل النظام. وفي العديد من التطبيقات، تُعد هذه الخصائص الإحصائية هي المهمة.

لنفترض أن هناك محفظة نقود تحتوي على خمس عملات معدنية بقيمة 25 سنتًا (ربع دولار)، وخمس عملات معدنية بقيمة 10 سنتات (عشرة سنتات)، وخمس عملات معدنية بقيمة 5 سنتات (خمسة سنتات). تُسحب العملات المعدنية عشوائيًا من المحفظة واحدة تلو الأخرى وتوضع على طاولة. إذا${\displaystyle X_{n}}$يمثل القيمة الإجمالية للعملات المعدنية الموضوعة على الطاولة بعد n عملية سحب، مع${\displaystyle X_{0}=0}$ثم التسلسل${\displaystyle \{X_{n}:n\in \mathbb {N} \}}$ليست عملية ماركوف .

لفهم سبب ذلك، لنفترض أنه في عمليات السحب الست الأولى، تم سحب جميع العملات الخمسة من فئة الخمسة سنتات وربع دولار. وبالتالي${\displaystyle X_{6}=\$0.50}$إذا لم نكن نعلم فقط${\displaystyle X_{6}}$ولكن إذا أخذنا القيم السابقة أيضًا، فسنتمكن من تحديد العملات التي تم سحبها، وسنعلم أن العملة التالية لن تكون من فئة النيكل؛ لذلك يمكننا تحديد ذلك.${\displaystyle X_{7}\geq \$0.60}$باحتمالية 1. ولكن إذا لم نكن نعرف القيم السابقة، فسنعتمد فقط على القيمة${\displaystyle X_{6}}$قد نخمن أننا سحبنا أربع عملات من فئة عشرة سنتات وعملتين من فئة خمسة سنتات، وفي هذه الحالة سيكون من الممكن بالتأكيد سحب عملة أخرى من فئة خمسة سنتات تاليًا. وبالتالي، فإن تخميناتنا حول${\displaystyle X_{7}}$تتأثر بمعرفتنا بالقيم السابقة${\displaystyle X_{6}}$.

مع ذلك، من الممكن نمذجة هذا السيناريو كعملية ماركوف. بدلاً من تعريف${\displaystyle X_{n}}$لتمثيل القيمة الإجمالية للعملات المعدنية الموجودة على الطاولة، يمكننا تعريف${\displaystyle X_{n}}$لتمثيل عدد أنواع العملات المختلفة على الطاولة. على سبيل المثال،${\displaystyle X_{6}=1,0,5}$يمكن تعريف هذا النموذج الجديد بأنه يمثل الحالة التي يوجد فيها ربع دولار واحد، وصفر من فئة العشرة سنتات، وخمسة من فئة الخمسة سنتات على الطاولة بعد ست عمليات سحب متتالية.${\displaystyle 6\times 6\times 6=216}$الحالات الممكنة، حيث تمثل كل حالة عدد العملات المعدنية من كل نوع (من 0 إلى 5) الموجودة على الطاولة. (لا يمكن الوصول إلى جميع هذه الحالات في غضون 6 سحوبات).

لنفترض أن نتيجة السحب الأول هي الحالة${\displaystyle X_{1}=0,1,0}$احتمالية تحقيق${\displaystyle X_{2}}$الأمر يعتمد الآن${\displaystyle X_{1}}$على سبيل المثال، الدولة${\displaystyle X_{2}=1,0,1}$هذا غير ممكن. بعد السحب الثاني، يعتمد السحب الثالث على العملات التي تم سحبها حتى الآن، ولكن ليس فقط على العملات التي تم سحبها في الحالة الأولى (حيث تمت إضافة معلومات مهمة احتماليًا إلى السيناريو). وبهذه الطريقة، فإن احتمالية${\displaystyle X_{n}=i,j,k}$تعتمد الدولة بشكل حصري على نتيجة${\displaystyle X_{n-1}=\ell ,m,p}$ولاية.

سلسلة ماركوف ذات الزمن المتقطع هي سلسلة من المتغيرات العشوائية X ₁ ، X ₂ ، X ₃ ، ... مع خاصية ماركوف ، أي أن احتمال الانتقال إلى الحالة التالية يعتمد فقط على الحالة الحالية وليس على الحالات السابقة:

${\displaystyle \Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),}$إذا كانت كلا الاحتمالين الشرطيين محددين جيدًا، أي إذا${\displaystyle \Pr(X_{1}=x_{1},\ldots ,X_{n}=x_{n})>0.}$

تشكل القيم الممكنة لـ X _i مجموعة قابلة للعد S تسمى فضاء الحالة للسلسلة.

إذا كانت مساحة الحالة محدودة ، فيمكن تمثيل توزيع احتمالية الانتقال بواسطة مصفوفة تسمى مصفوفة الانتقال، حيث يكون العنصر ( i , j ) من P مساويًا لـ

${\displaystyle p_{ij}=\Pr(X_{n+1}=j\mid X_{n}=i).}$

بما أن مجموع كل صف من P يساوي واحدًا وجميع العناصر غير سالبة، فإن P عبارة عن مصفوفة عشوائية يمنى .

سلسلة ماركوف ذات الزمن المستمر${\displaystyle (X_{t})_{t\geq 0}}$يُعرَّف هذا النظام بفضاء حالة محدود أو قابل للعد S ، ومصفوفة معدل انتقال Q ذات أبعاد مساوية لأبعاد فضاء الحالة، وتوزيع احتمالي أولي مُعرَّف على فضاء الحالة. بالنسبة لـ i  ≠ j ، تكون العناصر q_{_ij} غير سالبة وتصف معدل انتقال العملية من الحالة i إلى الحالة j . يتم اختيار العناصر q_{_ii} بحيث يكون مجموع كل صف من مصفوفة معدل الانتقال مساويًا للصفر، بينما تكون جميع مجاميع صفوف مصفوفة احتمال الانتقال في سلسلة ماركوف (المنفصلة) مساوية للواحد. 

توجد ثلاثة تعريفات متكافئة لهذه العملية. ^{[ 45 ]}

تعريف متناهي الصغر

يترك${\displaystyle X_{t}}$ليكن المتغير العشوائي الذي يصف حالة العملية عند الزمن t ، ولنفترض أن العملية في الحالة i عند الزمن t . إذن، بمعرفة${\displaystyle X_{t}=i}$،${\displaystyle X_{t+h}=j}$مستقل عن القيم السابقة${\displaystyle \left(X_{s}:s<t\right)}$، وعندما تؤول قيمة h إلى الصفر لجميع قيم j وجميع قيم t ، $${\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),}$$ أين${\displaystyle \delta _{ij}}$هي دالة كرونكر دلتا ، باستخدام رمز الحرف الصغير o .${\displaystyle q_{ij}}$يمكن اعتبارها مقياسًا لمدى سرعة حدوث الانتقال من i إلى j .

إن تعريف عمليات ماركوف في الزمن المستمر مع فضاء الحالة العام هو أكثر تعقيدًا من الناحية التقنية مما سبق.

عملية ماركوف ذات الزمن المستمر${\displaystyle X=(X_{t})_{t\geq 0}}$هي عملية عشوائية مُكيَّفة للترشيح${\displaystyle \mathbb {F} =({\mathcal {F}}_{t})_{t\geq 0}}$بقيم في فضاء بولندي مضغوط محليًا${\displaystyle (S,{\mathcal {B}}(S))}$(مثال،${\displaystyle (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$وهذا الأخير يضمن بشكل أساسي أن التوقعات المشروطة لـ${\displaystyle X_{t}}$هي منتظمة ، وهذا يعني ببساطة أنها تتصرف "بشكل جيد". ثم${\displaystyle X}$يُطلق عليها اسم عملية ماركوف ، إذا كانت تحقق خاصية ماركوف ، أي لجميع${\displaystyle t\geq s\geq 0}$و${\displaystyle A\in {\mathcal {B}}(S)}$^{[ 5 ]}

${\displaystyle P(X_{t}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{s})}$.

علاوة على ذلك،${\displaystyle X}$يُطلق عليه اسم متجانس زمنيًا ، إذا كان يحقق خاصية ماركوف الضعيفة لجميع${\displaystyle t,s\geq 0}$:

${\displaystyle P(X_{t+s}\in A\mid {\mathcal {F}}_{s})=P(X_{t}\in A\mid X_{0}=x)|_{x=X_{s}}=:P_{t}(X_{s},A)}$.

الوظيفة${\displaystyle (t,x,A)\mapsto P_{t}(x,A)}$هي ما يسمى بدالة الانتقال لـ${\displaystyle X}$و${\displaystyle (P_{t})_{t\geq 0}}$شبه المجموعة الانتقالية للعملية. دوال الانتقال هي تعميمات لمصفوفات الانتقال المستخدمة في الحالة ذات فضاء الحالة المحدود.

بصورة أكثر تجريدًا، يمكن أيضًا تعريف عمليات ماركوف أو بناؤها بالعكس: ليكن${\displaystyle (P_{t})_{t\geq 0}}$أن تكون شبه مجموعة انتقالية، أي

1. ${\displaystyle P_{t}}$نواة ماركوف للجميع${\displaystyle t\geq 0}$،
2. ${\displaystyle P_{t+s}(x,A)=\int _{S}P_{t}(y,A)P_{s}(x,dy)\quad \forall t,s\geq 0,x\in \mathbb {R} ,A\in {\mathcal {B}}(S)}$(معادلة تشابمان-كولموغوروف)،
3. ${\displaystyle P_{0}(x,\cdot )=\delta _{x}}$،

أين${\displaystyle \delta _{x}}$هو مقياس ديراك في${\displaystyle x}$، و${\displaystyle X:\Omega \times [0,\infty )\to S}$. ثم${\displaystyle X}$هي عملية ماركوف متجانسة فيما يتعلق بالترشيح الطبيعي${\displaystyle \mathbb {F} ^{X}=(\sigma (X_{s}:0\leq s\leq t))_{t\geq 0}}$، إن كان ذلك للجميع${\displaystyle 0\leq t_{1}<...<t_{n}}$،${\displaystyle A_{1},...,A_{n}\in {\mathcal {B}}(S)}$مقياس الاحتمالية الأساسي${\displaystyle P}$يرضي

${\displaystyle P(X_{t_{1}}\in A_{1},...,X_{t_{n}}\in A_{n}\mid X_{0}=x)=\int _{A_{1}}...\int _{A_{n-1}}P_{t_{n}-t_{n-1}}(x_{n-1},A_{n})\cdots P_{t_{1}}(x,dx_{1})}$.

أو، إذا لم يكن هناك مقياس احتمالي${\displaystyle P}$إذا تم تحديد ذلك، فإن المعادلة أعلاه تحدد مقياسًا${\displaystyle P^{x}:=P(\cdot \mid X_{0}=x)}$على${\displaystyle \sigma (X_{s}:s\geq 0)}$والتي بموجبها العملية${\displaystyle X}$بدأ في${\displaystyle x}$هي عملية ماركوف بحكم تصميمها.

بمعنى آخر، يمكن تعريف عمليات ماركوف إما كعمليات عشوائية${\displaystyle X}$على فضاء احتمالي مُصفّى، أو بشكل غير مباشر من حيث شبه مجموعة انتقالية (أي احتمالات انتقال العملية)، مما يُنشئ فضاءً احتماليًا يكون فيه${\displaystyle X}$يمتلك خاصية ماركوف.

بما أن الدورية خاصيةٌ للفئة، فإذا كانت سلسلة ماركوف غير قابلة للاختزال، فإن جميع حالاتها لها نفس الدورة. وعلى وجه الخصوص، إذا كانت إحدى الحالات غير دورية، فإن سلسلة ماركوف بأكملها تكون غير دورية. ^{[ 50 ]}

إذا كانت سلسلة ماركوف المحدودة غير قابلة للاختزال، فإن جميع الحالات تكون متكررة موجبة، ولها توزيع ثابت فريد يُعطى بواسطة${\displaystyle \pi _{i}=1/E[T_{i}]}$.

يُقال إن الحالة i هي حالة إرجودية إذا كانت غير دورية ومتكررة إيجابياً. بعبارة أخرى، تكون الحالة i إرجودية إذا كانت متكررة، ولها دورة تساوي 1، ولها متوسط ​​زمن تكرار محدود.

إذا كانت جميع الحالات في سلسلة ماركوف غير القابلة للاختزال إرجودية، فإن السلسلة تُسمى إرجودية. أو بعبارة أخرى، يوجد عدد صحيح ما${\displaystyle k}$بحيث تكون جميع إدخالات${\displaystyle M^{k}}$إيجابي.

يمكن إثبات أن سلسلة ماركوف غير القابلة للاختزال ذات الحالة المحدودة تكون إرجودية إذا كانت لها حالة غير دورية.

إن سلسلة ماركوف التي تحتوي على أكثر من حالة واحدة وانتقال واحد فقط لكل حالة إما أنها غير قابلة للاختزال أو غير دورية، وبالتالي لا يمكن أن تكون إرجودية.

إذا كانت سلسلة ماركوف ذات توزيع ثابت، فيمكن تحويلها إلى نظام ديناميكي يحافظ على القياس : ليكن فضاء الاحتمال هو${\displaystyle \Omega =\Sigma ^{\mathbb {N} }}$، أين${\displaystyle \Sigma }$هي مجموعة جميع حالات سلسلة ماركوف. لنفترض أن جبر سيجما على فضاء الاحتمالية مُوَلَّد بواسطة مجموعات الأسطوانات. ولنفترض أن مقياس الاحتمالية مُوَلَّد بواسطة التوزيع الثابت، وانتقال سلسلة ماركوف.${\displaystyle T:\Omega \to \Omega }$كن عامل وردية:${\displaystyle T(X_{0},X_{1},\dots )=(X_{1},\dots )}$وبالمثل، يمكننا بناء نظام ديناميكي كهذا باستخدام${\displaystyle \Omega =\Sigma ^{\mathbb {Z} }}$بدلاً من ذلك. ^{[ 57 ]}

بما أن سلاسل ماركوف غير القابلة للاختزال ذات فضاءات الحالة المحدودة لها توزيع ثابت فريد، فإن البناء المذكور أعلاه لا لبس فيه بالنسبة لسلاسل ماركوف غير القابلة للاختزال.

في نظرية الإرجودية ، يُطلق على النظام الديناميكي الذي يحافظ على القياس اسم النظام الإرجودي إذا كانت أي مجموعة جزئية قابلة للقياس${\displaystyle S}$بحيث${\displaystyle T^{-1}(S)=S}$يشير إلى${\displaystyle S=\emptyset }$أو${\displaystyle \Omega }$(حتى مجموعة فارغة).

المصطلحات غير متسقة. بالنظر إلى سلسلة ماركوف ذات توزيع ثابت موجب تمامًا على جميع الحالات، فإن سلسلة ماركوف غير قابلة للاختزال إذا كان نظامها الديناميكي المقابل الذي يحافظ على القياس نظامًا إرجوديًا . ^{[ 52 ]}

في بعض الحالات، قد تمتلك العمليات التي تبدو غير ماركوفية تمثيلات ماركوفية، تُبنى بتوسيع مفهومي حالتي "الحالية" و"المستقبلية". على سبيل المثال، لنفترض أن X عملية غير ماركوفية. ثم نُعرّف عملية Y ، بحيث تُمثل كل حالة من حالات Y فترة زمنية من حالات X. رياضياً، يأخذ هذا الشكل التالي:

${\displaystyle Y(t)={\big \{}X(s):s\in [a(t),b(t)]\,{\big \}}.}$

إذا كانت Y تمتلك خاصية ماركوف، فإنها تمثل تمثيلاً ماركوفياً لـ X.

من الأمثلة على العمليات غير الماركوڤية ذات التمثيل الماركوفي سلسلة زمنية ذاتية الانحدار من رتبة أكبر من واحد. ^{[ 58 ]}

زمن الوصول هو الفترة الزمنية، بدءًا من مجموعة معينة من الحالات، وحتى وصول السلسلة إلى حالة أو مجموعة حالات معينة. يتوزع هذا الزمن وفقًا لتوزيع طوري. وأبسط أنواع هذا التوزيع هو توزيع انتقال واحد ذي توزيع أسي.

بالنسبة لعملية ماركوف العامة${\displaystyle X}$في الزمن المستمر (سلسلة ماركوف المستمرة أو عملية ذات فضاء حالة عام)، العملية العكسية${\displaystyle {\overleftarrow {X}}=(X_{T-t})_{t\in [0,T]}}$من وقت محدد${\displaystyle T>0}$هي مرة أخرى عملية ماركوف. وهذا يتبع مباشرة من خاصية ماركوف : بعبارة أخرى، يكون المستقبل والماضي مستقلين بمعلومية الحاضر. في حالة عكس الزمن، يتبادلان أدوارهما فقط. ومع ذلك، فإن العملية العكسية ليست متجانسة زمنيًا بشكل عام. إذا كان هناك وقت عشوائي ما${\displaystyle \tau }$(ليس بالضرورة وقت التوقف ) العملية المتوقفة${\displaystyle X^{\tau }=(X_{t\land \tau })_{t\geq 0}}$إذا كانت عملية ماركوف متجانسة زمنيًا، فإن العملية العكسية${\displaystyle {\overleftarrow {X^{\tau }}}=(X_{\tau -t\land \tau }1_{\{\tau <\infty \}})_{t\geq 0}}$وهو متجانس زمنياً مرة أخرى. ^{[ 60 ]}

لو${\displaystyle X}$إذا كانت سلسلة ماركوف الزمنية المستمرة، فبحسب مبرهنة كيلي${\displaystyle {\overleftarrow {X}}}$لها نفس التوزيع الثابت مثل العملية الأمامية.

تُعتبر السلسلة قابلة للانعكاس إذا كانت العملية المعكوسة مطابقة للعملية الأمامية (في التوزيع). وينص معيار كولموغوروف على أن الشرط اللازم والكافي لكي تكون سلسلة ماركوف قابلة للانعكاس هو أن يكون حاصل ضرب معدلات الانتقال حول حلقة مغلقة متساوياً في كلا الاتجاهين.

إحدى طرق إيجاد التوزيع الاحتمالي الثابت ، π ، لسلسلة ماركوف متصلة الزمن إرجودية، Q ، هي إيجاد سلسلة ماركوف المضمنة (EMC) أولًا . وبالمعنى الدقيق، فإن سلسلة ماركوف المضمنة هي سلسلة ماركوف منتظمة منفصلة الزمن، ويُشار إليها أحيانًا بعملية قفز . يُرمز لكل عنصر من عناصر مصفوفة احتمالية الانتقال بخطوة واحدة لسلسلة ماركوف المضمنة، S ، بالرمز s _{_ij} ، ويمثل الاحتمال الشرطي للانتقال من الحالة i إلى الحالة j . ويمكن إيجاد هذه الاحتمالات الشرطية عن طريق

${\displaystyle s_{ij}={\begin{cases}{\frac {q_{ij}}{\sum _{k\neq i}q_{ik}}}&{\text{if }}i\neq j\\0&{\text{otherwise}}.\end{cases}}}$

ومن هذا، يمكن كتابة S على النحو التالي

${\displaystyle S=I-\left(\operatorname {diag} (Q)\right)^{-1}Q}$

حيث I هي مصفوفة الوحدة و diag( Q ) هي المصفوفة القطرية التي تم تشكيلها عن طريق تحديد القطر الرئيسي من المصفوفة Q وتعيين جميع العناصر الأخرى إلى الصفر.

لإيجاد متجه توزيع الاحتمال الثابت، يجب علينا بعد ذلك إيجاد${\displaystyle \varphi }$بحيث

${\displaystyle \varphi S=\varphi ,}$

مع${\displaystyle \varphi }$كونه متجه صف، بحيث تكون جميع العناصر في${\displaystyle \varphi }$أكبر من صفر و${\displaystyle \|\varphi \|_{1}}$= 1. ومن هذا، يمكن إيجاد قيمة π على النحو التالي:

${\displaystyle \pi ={-\varphi (\operatorname {diag} (Q))^{-1} \over \left\|\varphi (\operatorname {diag} (Q))^{-1}\right\|_{1}}.}$

( قد تكون S دورية، حتى لو لم تكن Q كذلك. بمجرد إيجاد π ، ​​يجب تطبيعها إلى متجه وحدة .)

من العمليات الأخرى ذات الزمن المتقطع التي يمكن اشتقاقها من سلسلة ماركوف ذات الزمن المستمر، هيكل دلتا (δ-skeleton ) - وهي سلسلة ماركوف (ذات الزمن المتقطع) تتشكل من خلال رصد X ( t ) على فترات زمنية مقدارها δ وحدة زمنية. وتمثل المتغيرات العشوائية X (0)، X (δ)، X (2δ)، ... سلسلة الحالات التي يمر بها هيكل دلتا.   

تُستخدم نماذج ماركوف لنمذجة الأنظمة المتغيرة. وهناك أربعة أنواع رئيسية من النماذج، تعمم سلاسل ماركوف اعتمادًا على ما إذا كانت كل حالة متسلسلة قابلة للملاحظة أم لا، وما إذا كان سيتم تعديل النظام بناءً على الملاحظات التي تم إجراؤها:

مخطط برنولي هو حالة خاصة من سلسلة ماركوف حيث تحتوي مصفوفة احتمالية الانتقال على صفوف متطابقة، مما يعني أن الحالة التالية مستقلة حتى عن الحالة الحالية (بالإضافة إلى استقلالها عن الحالات السابقة). يُعرف مخطط برنولي الذي يحتوي على حالتين محتملتين فقط باسم عملية برنولي .

مع ذلك، تجدر الإشارة إلى أنه وفقًا لنظرية أورنستين للتماثل ، فإن كل سلسلة ماركوف غير دورية وغير قابلة للاختزال متماثلة مع مخطط برنولي؛ ^{[ 61 ]} وبالتالي، يمكن القول أيضًا أن سلاسل ماركوف هي "حالة خاصة" من مخططات برنولي. يتطلب التماثل عمومًا إعادة ترميز معقدة. بل إن نظرية التماثل أقوى قليلًا: فهي تنص على أن أي عملية عشوائية ثابتة متماثلة مع مخطط برنولي؛ وسلسلة ماركوف هي مجرد مثال واحد على ذلك.

عند استبدال مصفوفة ماركوف بمصفوفة التجاور لرسم بياني محدود ، يُطلق على الإزاحة الناتجة اسم سلسلة ماركوف طوبولوجية أو إزاحة فرعية من النوع المحدود . ^{[ 61 ]} ويمكن لمصفوفة ماركوف المتوافقة مع مصفوفة التجاور أن توفر مقياسًا للإزاحة الفرعية. العديد من الأنظمة الديناميكية الفوضوية متماثلة مع سلاسل ماركوف الطوبولوجية؛ ومن الأمثلة على ذلك: التشاكلات التفاضلية للمشعبات المغلقة ، ونظام بروهيه-ثو-مورس ، ونظام تشاكون ، والأنظمة السوفية ، والأنظمة الخالية من السياق، وأنظمة الترميز الكتلي . ^{[ 61 ]}

تُستخدم الأنظمة الماركوفية على نطاق واسع في الديناميكا الحرارية والميكانيكا الإحصائية ، كلما استُخدمت الاحتمالات لتمثيل تفاصيل النظام غير المعروفة أو غير المُنمذجة، إذا أمكن افتراض أن الديناميكيات ثابتة مع الزمن، وأنه لا حاجة لأخذ أي تاريخ ذي صلة في الاعتبار لم يُدرج بالفعل في وصف الحالة. ^{[ 62 ] [ 63 ]} على سبيل المثال، تعمل حالة ديناميكية حرارية وفقًا لتوزيع احتمالي يصعب أو يكلف الحصول عليه. لذلك، يمكن استخدام طريقة مونت كارلو لسلسلة ماركوف لسحب عينات عشوائيًا من صندوق أسود لتقريب التوزيع الاحتمالي للسمات على نطاق من الكائنات. ^{[ 63 ]}

تُستخدم سلاسل ماركوف في محاكاة QCD الشبكية . ^{[ 64 ]}

${\displaystyle {\ce {{E}+{\underset {Substrate \atop binding}{S<=>E}}{\overset {Catalytic \atop step}{S->E}}+P}}}$

حركية ميكايليس-مينتين . يرتبط الإنزيم (E) بالركيزة (S) وينتج الناتج (P). كل تفاعل هو انتقال حالة في سلسلة ماركوف.

شبكة التفاعلات هي نظام كيميائي يتضمن تفاعلات وأنواعًا كيميائية متعددة . تُعامل أبسط النماذج العشوائية لهذه الشبكات النظام كسلسلة ماركوف متصلة الزمن، حيث تمثل الحالة عدد جزيئات كل نوع، وتُنمذج التفاعلات كانتقالات محتملة في السلسلة. ^{[ 65 ]} تُعد سلاسل ماركوف وعمليات ماركوف المتصلة الزمن مفيدة في الكيمياء عندما تقترب الأنظمة الفيزيائية من خاصية ماركوف. على سبيل المثال، تخيل عددًا كبيرًا n من الجزيئات في محلول في الحالة A، حيث يمكن لكل منها أن يخضع لتفاعل كيميائي إلى الحالة B بمعدل متوسط ​​معين. لنفترض أن الجزيء هو إنزيم ، وتشير الحالات إلى كيفية طيه . تتبع حالة أي إنزيم سلسلة ماركوف، وبما أن الجزيئات مستقلة أساسًا عن بعضها البعض، فإن عدد الجزيئات في الحالة A أو B في أي وقت يساوي n ضعف احتمال وجود جزيء معين في تلك الحالة.

يمكن اعتبار نموذج حركية ميكايليس-مينتين الكلاسيكي لنشاط الإنزيم بمثابة سلسلة ماركوف، حيث يسير التفاعل في اتجاه معين في كل خطوة زمنية. ورغم بساطة نموذج ميكايليس-مينتين ، إلا أنه يمكن أيضاً نمذجة شبكات تفاعل أكثر تعقيداً باستخدام سلاسل ماركوف. ^{[ 66 ]}

استُخدمت خوارزمية قائمة على سلسلة ماركوف لتركيز نمو المواد الكيميائية في المحاكاة الحاسوبية، والمُعتمد على التجزئة ، نحو فئة مُحددة من المركبات، مثل الأدوية أو المنتجات الطبيعية. ^{[ 67 ]} أثناء نمو الجزيء، يُختار جزء منه ليكون حالته "الحالية". لا يُدرك هذا الجزء ماضيه (أي أنه لا يُدرك ما ارتبط به سابقًا). ثم ينتقل إلى الحالة التالية عند ارتباط جزء به. تُدرَّب احتمالات الانتقال على قواعد بيانات لفئات مُثبتة من المركبات. ^{[ 68 ]}

كذلك، يمكن نمذجة نمو (وتركيب) البوليمرات المشتركة باستخدام سلاسل ماركوف. وبناءً على نسب تفاعل المونومرات المكونة لسلسلة البوليمر النامية، يمكن حساب تركيب السلسلة (على سبيل المثال، ما إذا كانت المونومرات تميل إلى الإضافة بالتناوب أو في سلاسل طويلة من نفس المونومر). ونظرًا للتأثيرات الفراغية ، قد تلعب تأثيرات ماركوف من الدرجة الثانية دورًا في نمو بعض سلاسل البوليمر.

وبالمثل، فقد تم اقتراح أن تبلور ونمو بعض مواد أكسيد الشبكة الفائقة المتبلورة يمكن وصفها بدقة بواسطة سلاسل ماركوف. ^{[ 69 ]}

تُستخدم سلاسل ماركوف في مجالات متنوعة من علم الأحياء. ومن الأمثلة البارزة على ذلك:

• علم الوراثة العرقي والمعلوماتية الحيوية ، حيث تستخدم معظم نماذج تطور الحمض النووي سلاسل ماركوف ذات الوقت المستمر لوصف النيوكليوتيد الموجود في موقع معين في الجينوم .
• ديناميكيات السكان ، حيث تعتبر سلاسل ماركوف على وجه الخصوص أداة مركزية في الدراسة النظرية لنماذج السكان المصفوفية .
• علم الأحياء العصبي ، حيث تم استخدام سلاسل ماركوف، على سبيل المثال، لمحاكاة القشرة المخية الحديثة للثدييات. ^{[ 70 ]}
• علم الأحياء النظمي ، على سبيل المثال مع نمذجة العدوى الفيروسية للخلايا المفردة. ^{[ 71 ]}
• نماذج تقسيمية لنمذجة تفشي الأمراض والأوبئة.

تُستخدم سلاسل ماركوف على نطاق واسع في معالجة المعلومات. وقد بدأ كلود شانون ورقته البحثية الشهيرة عام 1948 بعنوان "نظرية رياضية للاتصال" ، والتي أسست مجال نظرية المعلومات بخطوة واحدة ، بتقديم مفهوم الإنتروبيا من خلال نمذجة النصوص في لغة طبيعية (مثل الإنجليزية) باعتبارها مُولَّدة بواسطة عملية ماركوف إرجودية، حيث قد يعتمد كل حرف إحصائيًا على الأحرف السابقة. ^{[ 72 ]} تستطيع هذه النماذج المثالية استيعاب العديد من الانتظامات الإحصائية للأنظمة. حتى بدون وصف البنية الكاملة للنظام بدقة تامة، تُتيح نماذج الإشارة هذه ضغطًا فعالًا للغاية للبيانات من خلال تقنيات ترميز الإنتروبيا مثل الترميز الحسابي . كما أنها تسمح بتقدير الحالة والتعرف على الأنماط بكفاءة . وتلعب سلاسل ماركوف أيضًا دورًا هامًا في التعلم المعزز .

تُعد سلاسل ماركوف أيضًا أساسًا لنماذج ماركوف المخفية، والتي تُعد أداة مهمة في مجالات متنوعة مثل شبكات الهاتف (التي تستخدم خوارزمية فيتربي لتصحيح الأخطاء)، والتعرف على الكلام والمعلوماتية الحيوية (كما هو الحال في اكتشاف عمليات إعادة الترتيب ^{[ 73 ]} ).

تجمع خوارزمية ضغط البيانات بدون فقدان LZMA بين سلاسل ماركوف وضغط ليمبل-زيف لتحقيق نسب ضغط عالية جدًا.

تُعدّ سلاسل ماركوف أساسًا للمعالجة التحليلية للطوابير ( نظرية الطوابير ). وقد بدأ أغنر كراروب إرلانغ هذا الموضوع في عام 1917. ^{[ 74 ]} وهذا ما يجعلها بالغة الأهمية لتحسين أداء شبكات الاتصالات، حيث تتنافس الرسائل غالبًا على موارد محدودة (مثل عرض النطاق الترددي). ^{[ 75 ]}

تستخدم العديد من نماذج الطوابير سلاسل ماركوف ذات الزمن المستمر. على سبيل المثال، طابور M/M/1 هو سلسلة ماركوف ذات زمن مستمر على الأعداد الصحيحة غير السالبة حيث تحدث الانتقالات التصاعدية من i إلى i  +  1 بمعدل λ وفقًا لعملية بواسون وتصف وصول المهام، بينما تحدث الانتقالات من i إلى i  –  1 (لـ i  >  1) بمعدل μ (أوقات خدمة المهام موزعة أُسّيًا) وتصف الخدمات المكتملة (المغادرات) من الطابور.

يُعرَّف ترتيب الصفحة (PageRank) لصفحة ويب، كما تستخدمه جوجل، بواسطة سلسلة ماركوف. ^{[ 76 ] [ 77 ] [ 78 ]} وهو احتمال التواجد في الصفحة${\displaystyle i}$في التوزيع الثابت على سلسلة ماركوف التالية على جميع صفحات الويب (المعروفة). إذا${\displaystyle N}$هو عدد صفحات الويب المعروفة، وصفحة واحدة${\displaystyle i}$لديه${\displaystyle k_{i}}$إذا كانت الروابط الصادرة منه لها احتمالية انتقال${\displaystyle {\frac {\alpha }{k_{i}}}+{\frac {1-\alpha }{N}}}$لجميع الصفحات المرتبطة بـ${\displaystyle {\frac {1-\alpha }{N}}}$لجميع الصفحات غير المرتبطة. المعامل${\displaystyle \alpha }$ويُعتبر حوالي 0.85. ^{[ 79 ]}

استُخدمت نماذج ماركوف أيضًا لتحليل سلوك تصفح المستخدمين للويب. يمكن نمذجة انتقال المستخدم بين روابط الويب على موقع ويب معين باستخدام نماذج ماركوف من الدرجة الأولى أو الثانية، ويمكن استخدام هذه النماذج للتنبؤ بالتصفح المستقبلي وتخصيص صفحة الويب لكل مستخدم على حدة.

أصبحت أساليب سلاسل ماركوف بالغة الأهمية لتوليد متواليات من الأرقام العشوائية التي تعكس بدقة توزيعات احتمالية معقدة للغاية، وذلك من خلال عملية تُعرف باسم مونت كارلو لسلاسل ماركوف (MCMC). وقد أحدثت هذه الأساليب في السنوات الأخيرة ثورة في جدوى أساليب الاستدلال البايزي ، مما يسمح بمحاكاة نطاق واسع من التوزيعات الاحتمالية اللاحقة وإيجاد معاييرها عدديًا.

تُستخدم سلاسل ماركوف في التمويل والاقتصاد لنمذجة مجموعة متنوعة من الظواهر، بما في ذلك توزيع الدخل، وتوزيع أحجام الشركات، وأسعار الأصول، وانهيارات السوق. وقد بنى دي جي شامبرنون نموذج سلسلة ماركوف لتوزيع الدخل عام 1953. ^{[ 80 ]} واستخدم هربرت أ. سيمون وزميله تشارلز بونيني نموذج سلسلة ماركوف لاستنتاج توزيع يول الثابت لأحجام الشركات. ^{[ 81 ]} وكان لويس باشيليه أول من لاحظ أن أسعار الأسهم تتبع مسارًا عشوائيًا. ^{[ 82 ]} واعتُبر هذا المسار العشوائي لاحقًا دليلًا يدعم فرضية كفاءة السوق ، وشاعت نماذج المسار العشوائي في أدبيات الستينيات. ^{[ 83 ]} وقد شاع استخدام نماذج تبديل الأنظمة لدورات الأعمال على يد جيمس د. هاميلتون (1989)، الذي استخدم سلسلة ماركوف لنمذجة التحولات بين فترات النمو المرتفع والمنخفض للناتج المحلي الإجمالي (أو، بدلاً من ذلك، ^فترات التوسع والركود الاقتصادي). ^{[ 84 ]} ومن الأمثلة الحديثة نموذج ماركوف متعدد الكسور الذي طوره لوران إي. كالفيت وأدلاي جيه. فيشر، والذي يعتمد على سهولة نماذج تبديل الأنظمة السابقة. ^{[ 85 ] [ 86 ]} ويستخدم هذا النموذج سلسلة ماركوف كبيرة بشكل تعسفي لتحديد مستوى تقلب عوائد الأصول.

يعتمد الاقتصاد الكلي الديناميكي بشكل كبير على سلاسل ماركوف. ومن الأمثلة على ذلك استخدام سلاسل ماركوف لنمذجة أسعار الأسهم (الحقوق) بشكل خارجي في إطار التوازن العام . ^{[ 87 ]}

تُصدر وكالات التصنيف الائتماني جداول سنوية لاحتمالات الانتقال للسندات ذات التصنيفات الائتمانية المختلفة. ^{[ 88 ]}

تُستخدم سلاسل ماركوف عمومًا في وصف الحجج المعتمدة على المسار ، حيث تُحدد التكوينات الهيكلية الحالية النتائج المستقبلية. ومن الأمثلة على ذلك إعادة صياغة الفكرة، التي تعود في الأصل إلى كتاب رأس المال لكارل ماركس ، والتي تربط التنمية الاقتصادية بصعود الرأسمالية . في الأبحاث الحالية، يشيع استخدام سلسلة ماركوف لنمذجة كيف أنه بمجرد وصول بلد ما إلى مستوى معين من التنمية الاقتصادية، فإن تكوين العوامل الهيكلية، مثل حجم الطبقة الوسطى ، ونسبة سكان المدن إلى سكان الريف، ومعدل التعبئة السياسية ، وما إلى ذلك، سيولد احتمالية أكبر للانتقال من نظام استبدادي إلى نظام ديمقراطي . ^{[ 89 ]}

تُستخدم سلاسل ماركوف في التأليف الموسيقي الخوارزمي ، لا سيما في برامج مثل Csound و Max و SuperCollider . في سلسلة من الدرجة الأولى، تُصبح حالات النظام قيمًا للنوتات أو درجات الصوت، ويتم إنشاء متجه احتمالي لكل نوتة، مما يُكمل مصفوفة احتمالية الانتقال (انظر أدناه). تُصمم خوارزمية لإنتاج قيم نوتات الإخراج بناءً على أوزان مصفوفة الانتقال، والتي قد تكون قيم نوتات MIDI ، أو التردد ( هرتز )، أو أي مقياس آخر مرغوب فيه. ^{[ 90 ]}

يمكن إدخال سلسلة ماركوف من الدرجة الثانية من خلال النظر في الحالة الحالية والحالة السابقة، كما هو موضح في الجدول الثاني. تميل السلاسل الأعلى، من الرتبة n ، إلى "تجميع" نغمات معينة معًا، مع "انقسامها" أحيانًا إلى أنماط وتسلسلات أخرى. تميل هذه السلاسل الأعلى إلى توليد نتائج ذات بنية جملية ، بدلًا من "التجوال العشوائي" الذي ينتجه نظام من الدرجة الأولى. ^{[ 91 ]}

يمكن استخدام سلاسل ماركوف هيكليًا، كما هو الحال في عمل زينكيس Analogique A وB. ^{[ 92 ]} تُستخدم سلاسل ماركوف أيضًا في الأنظمة التي تستخدم نموذج ماركوف للتفاعل بشكل تفاعلي مع مدخلات الموسيقى. ^{[ 93 ]}

عادةً ما تحتاج الأنظمة الموسيقية إلى فرض قيود تحكم محددة على التسلسلات ذات الطول المحدود التي تولدها، لكن قيود التحكم لا تتوافق مع نماذج ماركوف، لأنها تُحدث تبعيات بعيدة المدى تُخالف فرضية ماركوف للذاكرة المحدودة. وللتغلب على هذا القيد، تم اقتراح نهج جديد. ^{[ 94 ]}

يمكن استخدام سلاسل ماركوف لنمذجة العديد من ألعاب الحظ. على سبيل المثال، تُمثَّل ألعاب الأطفال مثل لعبة السلم والثعبان ولعبة " هاي هو! تشيري-أو " بدقة باستخدام سلاسل ماركوف. في كل دور، يبدأ اللاعب في حالة معينة (على مربع معين) ومن هناك تكون لديه احتمالات ثابتة للانتقال إلى حالات أخرى معينة (مربعات).

تُستخدم نماذج سلاسل ماركوف في التحليل المتقدم للبيسبول منذ عام 1960، على الرغم من أن استخدامها لا يزال محدودًا. يتوافق كل نصف شوط من مباراة البيسبول مع حالة سلسلة ماركوف عند الأخذ في الاعتبار عدد العدائين والضربات الضائعة. خلال أي ضربة، توجد 24 تركيبة ممكنة لعدد الضربات الضائعة ومواقع العدائين. يُبين مارك بانكين أنه يمكن استخدام نماذج سلاسل ماركوف لتقييم النقاط التي يُحرزها كل من اللاعبين الأفراد والفريق. ^{[ 95 ]} كما يناقش أنواعًا مختلفة من الاستراتيجيات وظروف اللعب: كيف استُخدمت نماذج سلاسل ماركوف لتحليل إحصائيات مواقف اللعب مثل التضحية بالكرة وسرقة القواعد، والاختلافات عند اللعب على العشب الطبيعي مقابل العشب الصناعي . ^{[ 96 ]}

يمكن أيضًا استخدام عمليات ماركوف لإنشاء نصوص تبدو واقعية ظاهريًا انطلاقًا من مستند نموذجي. تُستخدم عمليات ماركوف في العديد من برامج " مولدات المحاكاة الساخرة " الترفيهية (انظر: dissociated press ، جيف هاريسون، ^{[ 97 ]،} مارك ف. شاني ، ^{[ 98 ]، [ 99 ]} ، وأكاديميات نيوترونيوم). توجد العديد من مكتبات توليد النصوص مفتوحة المصدر التي تستخدم سلاسل ماركوف.