أخذ عينات جيبس

في الإحصاء ، تُعرف خوارزمية جيبس ، أو خوارزمية أخذ عينات جيبس، أو خوارزمية جيبس ، في الميكانيكا الإحصائية باسم خوارزمية الحمام الحراري ، وهي خوارزمية مونت كارلو لسلسلة ماركوف (MCMC) تُستخدم لأخذ عينات من توزيع احتمالي متعدد المتغيرات مُحدد ، عندما يكون أخذ العينات المباشر من التوزيع المشترك صعبًا، بينما يكون أخذ العينات من التوزيع الشرطي أكثر عملية. يمكن استخدام هذه الخوارزمية لتقريب التوزيع المشترك (مثل إنشاء مدرج تكراري للتوزيع)؛ أو لتقريب التوزيع الهامشي لأحد المتغيرات، أو لمجموعة فرعية منها (مثل المعلمات المجهولة أو المتغيرات الكامنة )؛ أو لحساب تكامل (مثل القيمة المتوقعة لأحد المتغيرات). عادةً، تتوافق بعض المتغيرات مع مشاهدات معروفة القيم، وبالتالي لا تحتاج إلى أخذ عينات منها.

تُستخدم خوارزمية جيبس ​​بشكل شائع كوسيلة للاستدلال الإحصائي ، وخاصة الاستدلال البايزي . وهي خوارزمية عشوائية (أي خوارزمية تستخدم الأرقام العشوائية )، وتُعد بديلاً للخوارزميات الحتمية للاستدلال الإحصائي مثل خوارزمية التوقع والتعظيم (EM).

كما هو الحال مع خوارزميات سلسلة ماركوف مونت كارلو الأخرى، تُولّد خوارزمية جيبس ​​سلسلة ماركوف من العينات، ترتبط كل منها بالعينات المجاورة لها. ونتيجةً لذلك، يجب توخي الحذر عند الرغبة في الحصول على عينات مستقلة. قد لا تُمثّل العينات المأخوذة من بداية السلسلة ( فترة التهيئة ) التوزيع المطلوب بدقة، وعادةً ما يتم تجاهلها.

سُميت خوارزمية أخذ العينات لجيبس نسبةً إلى الفيزيائي جوزيا ويلارد جيبس ، وذلك لوجود تشابه بين خوارزمية أخذ العينات والفيزياء الإحصائية . وقد وصفها الأخوان ستيوارت ودونالد جيمان عام 1984، أي بعد نحو ثمانية عقود من وفاة جيبس، ^{[ 1 ]} واكتسبت شعبية واسعة في أوساط الإحصاء لحساب التوزيع الاحتمالي الهامشي، ولا سيما التوزيع الاحتمالي اللاحق. ^{[ 2 ]}

في نسختها الأساسية، تُعدّ خوارزمية جيبس ​​لأخذ العينات حالة خاصة من خوارزمية متروبوليس-هاستينغز . مع ذلك، في نسخها الموسّعة (انظر أدناه )، يمكن اعتبارها إطارًا عامًا لأخذ العينات من مجموعة كبيرة من المتغيرات عن طريق أخذ عينات من كل متغير (أو في بعض الحالات، كل مجموعة من المتغيرات) بدوره، ويمكنها دمج خوارزمية متروبوليس-هاستينغز (أو طرق مثل أخذ العينات بالشرائح ) لتنفيذ خطوة واحدة أو أكثر من خطوات أخذ العينات.

تُستخدم خوارزمية جيبس ​​لأخذ العينات عندما يكون التوزيع المشترك غير معروف صراحةً أو يصعب أخذ عينات منه مباشرةً، ولكن التوزيع الشرطي لكل متغير معروف ويسهل (أو على الأقل، يسهل) أخذ عينات منه. تُولّد خوارزمية جيبس ​​لأخذ العينات عينةً من توزيع كل متغير بدوره، بناءً على القيم الحالية للمتغيرات الأخرى. ويمكن إثبات أن سلسلة العينات تُشكّل سلسلة ماركوف ، وأن التوزيع الثابت لتلك السلسلة هو التوزيع المشترك المطلوب. ^{[ 3 ]}

تعتبر عملية أخذ عينات جيبس ​​مناسبة بشكل خاص لأخذ عينات من التوزيع الخلفي لشبكة بايزية ، حيث يتم تحديد الشبكات البايزية عادةً كمجموعة من التوزيعات الشرطية.

تُعدّ خوارزمية جيبس، في أبسط صورها، حالة خاصة من خوارزمية متروبوليس-هاستينغز . وتكمن فكرة خوارزمية جيبس ​​في أنه عند وجود توزيع متعدد المتغيرات ، يكون من الأسهل أخذ عينة من توزيع شرطي بدلاً من حساب التوزيع الهامشي عن طريق التكامل على توزيع مشترك . لنفترض أننا نريد الحصول على${\displaystyle k}$عينات من${\displaystyle n}$متجه عشوائي ذو أبعاد${\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})}$نتابع العملية بشكل تكراري:

• ابدأ بقيمة أولية ما${\displaystyle \mathbf {X} ^{(0)}}$.
• بالنظر إلى عينة${\displaystyle \mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)}$للحصول على العينة التالية${\displaystyle \mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)}$يمكننا أخذ عينة من كل مكون${\displaystyle x_{j}^{(i+1)}}$من توزيع${\displaystyle X_{j}}$، بشرط جميع المكونات التي تم أخذ عينات منها حتى الآن: نحن نشترط على${\displaystyle X_{\ell }^{(i+1)}}$للجميع${\displaystyle \ell \leq j-1}$و على${\displaystyle X_{\ell }^{(i)}}$ل${\displaystyle j+1\leq \ell \leq n}$بمعنى آخر، نقوم بأخذ عينات${\displaystyle x_{j}^{(i+1)}}$وفقًا للتوزيع${\displaystyle P\left(X_{j}=\cdot |X_{1}=x_{1}^{(i+1)},\dots ,X_{j-1}=x_{j-1}^{(i+1)},X_{j+1}=x_{j+1}^{(i)},\dots ,X_{n}=x_{n}^{(i)}\right)}$.

إذا تم إجراء مثل هذه المعاينة، فإن هذه الحقائق المهمة تبقى قائمة:

• تقارب العينات التوزيع المشترك لجميع المتغيرات.
• يمكن تقريب التوزيع الهامشي لأي مجموعة فرعية من المتغيرات بمجرد النظر في عينات تلك المجموعة الفرعية من المتغيرات، مع تجاهل الباقي.
• يمكن تقريب القيمة المتوقعة لأي متغير عن طريق حساب المتوسط ​​لجميع العينات.

عند إجراء عملية أخذ العينات:

• يمكن تحديد القيم الأولية للمتغيرات بشكل عشوائي أو بواسطة خوارزمية أخرى مثل خوارزمية التوقع والتعظيم .
• ليس من الضروري في الواقع تحديد قيمة أولية للمتغير الأول الذي تم أخذ عينة منه.
• من الشائع تجاهل عدد من العينات في البداية (ما يسمى بفترة الاحتراق )، ثم النظر فقط في كل${\displaystyle n}$عند حساب متوسط ​​القيم لحساب القيمة المتوقعة، يتم تجاهل العينة رقم 100. على سبيل المثال، قد يتم تجاهل أول 1000 عينة، ثم يتم حساب متوسط ​​كل عينة رقم 100، مع إهمال باقي العينات. والسبب في ذلك هو: (1) أن التوزيع الثابت لسلسلة ماركوف هو التوزيع المشترك المطلوب للمتغيرات، ولكن قد يستغرق الوصول إلى هذا التوزيع الثابت بعض الوقت؛ (2) أن العينات المتتالية ليست مستقلة عن بعضها البعض، بل تشكل سلسلة ماركوف ذات قدر من الارتباط. في بعض الأحيان، يمكن استخدام خوارزميات لتحديد مقدار الارتباط الذاتي بين العينات وقيمة .${\displaystyle n}$(الفترة بين العينات المستخدمة فعليًا) محسوبة من هذا، ولكن في الواقع هناك قدر لا بأس به من " السحر الأسود " المتضمن.
• تُستخدم عملية التلدين المحاكي غالبًا للحد من سلوك " التجول العشوائي " في المراحل الأولى من عملية أخذ العينات (أي الميل إلى التحرك ببطء في فضاء العينة ، مع وجود قدر كبير من الارتباط الذاتي بين العينات، بدلًا من التحرك بسرعة كما هو مطلوب). ومن التقنيات الأخرى التي قد تُقلل من الارتباط الذاتي: أخذ عينات جيبس ​​المنهار ، وأخذ عينات جيبس ​​المُجزأ ، والاسترخاء المُرتب ؛ انظر أدناه.

تُستخدم معاينة جيبس ​​بشكل شائع في الاستدلال الإحصائي (مثل تحديد القيمة المثلى لمعلمة ما، كعدد الأشخاص الذين يُحتمل أن يتسوقوا في متجر معين في يوم محدد، أو المرشح الذي يُرجح أن يصوت له الناخب، إلخ). وتقوم الفكرة على دمج البيانات المرصودة في عملية المعاينة من خلال إنشاء متغيرات منفصلة لكل جزء من البيانات المرصودة، وتثبيت هذه المتغيرات على قيمها المرصودة، بدلاً من أخذ عينات منها. وبذلك، يكون توزيع المتغيرات المتبقية بمثابة توزيع احتمالي لاحق مشروط بالبيانات المرصودة.

يمكن ببساطة اختيار القيمة الأكثر ترجيحًا لمعلمة مطلوبة (المنوال ) عن طريق اختيار قيمة العينة الأكثر تكرارًا؛ وهذا يُعادل تقريبًا تقدير الاحتمال اللاحق الأقصى للمعلمة. (بما أن المعلمات عادةً ما تكون متصلة، فغالبًا ما يكون من الضروري "تصنيف" قيم العينة في عدد محدود من النطاقات أو "الفئات" للحصول على تقدير ذي دلالة للمنوال). مع ذلك، في أغلب الأحيان، يتم اختيار القيمة المتوقعة ( المتوسط ​​الحسابي) لقيم العينة؛ وهذا مُقدِّر بايزي يستفيد من البيانات الإضافية حول التوزيع بأكمله المتاحة من أخذ العينات البايزية، بينما لا تستطيع خوارزمية التعظيم، مثل خوارزمية تعظيم التوقع (EM)، سوى إرجاع نقطة واحدة من التوزيع. على سبيل المثال، بالنسبة للتوزيع أحادي المنوال، يكون المتوسط ​​الحسابي (القيمة المتوقعة) عادةً مشابهًا للمنوال (القيمة الأكثر شيوعًا)، ولكن إذا كان التوزيع منحرفًا في اتجاه واحد، فسوف يتحرك المتوسط ​​الحسابي في ذلك الاتجاه، مما يُفسر فعليًا كتلة الاحتمال الإضافية في ذلك الاتجاه. (إذا كان التوزيع متعدد الأنماط، فقد لا تُعيد القيمة المتوقعة نقطة ذات معنى، وعادةً ما يكون أي من الأنماط خيارًا أفضل.)

على الرغم من أن بعض المتغيرات عادةً ما تتوافق مع معايير ذات أهمية، إلا أن بعضها الآخر متغيرات غير مهمة ("متغيرات دخيلة") تُضاف إلى النموذج للتعبير بدقة عن العلاقات بين المتغيرات. ورغم أن القيم المأخوذة تمثل التوزيع المشترك لجميع المتغيرات، فإنه يمكن تجاهل المتغيرات الدخيلة عند حساب القيم المتوقعة أو المنوال؛ وهذا يُعادل تهميش هذه المتغيرات. عند الرغبة في حساب قيمة لعدة متغيرات، تُحسب القيمة المتوقعة لكل متغير على حدة. (أما عند حساب المنوال، فيجب مراعاة جميع المتغيرات معًا).

يمكن التعامل مع التعلم الخاضع للإشراف ، والتعلم غير الخاضع للإشراف ، والتعلم شبه الخاضع للإشراف (المعروف أيضًا بالتعلم مع القيم المفقودة) ببساطة عن طريق تثبيت قيم جميع المتغيرات المعروفة، وأخذ عينات من الباقي.

بالنسبة للبيانات المرصودة، سيكون هناك متغير واحد لكل مشاهدة، بدلاً من متغير واحد، على سبيل المثال، يُمثل متوسط ​​العينة أو تباينها. في الواقع، لن يكون هناك عادةً أي متغيرات تُشير إلى مفاهيم مثل "متوسط ​​العينة" أو " تباين العينة". بدلاً من ذلك، في هذه الحالة، ستكون هناك متغيرات تُمثل المتوسط ​​الحقيقي والتباين الحقيقي غير المعروفين، ويتم تحديد قيم العينة لهذه المتغيرات تلقائيًا من خلال عملية أخذ عينات جيبس.

يمكن أحيانًا التعامل مع النماذج الخطية المعممة (أي صيغ مختلفة من الانحدار الخطي ) باستخدام أسلوب أخذ العينات من جيبس. على سبيل المثال، يمكن تطبيق انحدار بروبيت لتحديد احتمالية اختيار ثنائي (نعم/لا)، مع توزيعات احتمالية مسبقة طبيعية موزعة على معاملات الانحدار، باستخدام أسلوب أخذ العينات من جيبس، نظرًا لإمكانية إضافة متغيرات إضافية والاستفادة من خاصية الاقتران . مع ذلك، لا يمكن التعامل مع الانحدار اللوجستي بهذه الطريقة. أحد الحلول الممكنة هو تقريب الدالة اللوجستية بمزيج (عادةً من 7 إلى 9) من التوزيعات الطبيعية. ولكن في أغلب الأحيان، يُستخدم أسلوب متروبوليس-هاستينغز بدلًا من أسلوب أخذ العينات من جيبس.

لنفترض أن عينة${\displaystyle \left.X\right.}$يتم أخذها من توزيع يعتمد على متجه المعلمات${\displaystyle \theta \in \Theta \,\!}$من الطول${\displaystyle \left.d\right.}$، مع التوزيع المسبق${\displaystyle g(\theta _{1},\ldots ,\theta _{d})}$قد يكون ذلك${\displaystyle \left.d\right.}$كبيرة جدًا، وهذا التكامل العددي لإيجاد الكثافات الحدية لـ${\displaystyle \left.\theta _{i}\right.}$سيكون ذلك مكلفًا حسابيًا. ثم تتمثل إحدى الطرق البديلة لحساب الكثافات الحدية في إنشاء سلسلة ماركوف على الفضاء.${\displaystyle \left.\Theta \right.}$بتكرار هاتين الخطوتين:

1. اختر فهرسًا عشوائيًا${\displaystyle 1\leq j\leq d}$
2. اختر قيمة جديدة لـ${\displaystyle \left.\theta _{j}\right.}$وفق${\displaystyle g(\theta _{1},\ldots ,\theta _{j-1},\,\cdot \,,\theta _{j+1},\ldots ,\theta _{d})}$

تحدد هذه الخطوات سلسلة ماركوف قابلة للعكس ذات التوزيع الثابت المطلوب${\displaystyle \left.g\right.}$ويمكن إثبات ذلك على النحو التالي. عرّف${\displaystyle x\sim _{j}y}$لو${\displaystyle \left.x_{i}=y_{i}\right.}$للجميع${\displaystyle i\neq j}$ودع${\displaystyle \left.p_{xy}\right.}$تشير إلى احتمال حدوث قفزة من${\displaystyle x\in \Theta }$ل${\displaystyle y\in \Theta }$ثم، تكون احتمالات الانتقال هي

${\displaystyle p_{xy}={\begin{cases}{\frac {1}{d}}{\frac {g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}&x\sim _{j}y\\0&{\text{otherwise}}\end{cases}}}$

لذا

${\displaystyle g(x)p_{xy}={\frac {1}{d}}{\frac {g(x)g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}={\frac {1}{d}}{\frac {g(y)g(x)}{\sum _{z\in \Theta :z\sim _{j}y}g(z)}}=g(y)p_{yx}}$

منذ${\displaystyle x\sim _{j}y}$هي علاقة تكافؤ . وبالتالي، تتحقق معادلات التوازن التفصيلي ، مما يعني أن السلسلة قابلة للعكس ولها توزيع ثابت.${\displaystyle \left.g\right.}$.

عملياً، المؤشر${\displaystyle \left.j\right.}$لا يتم اختيارها عشوائياً، وتدور السلسلة عبر المؤشرات بالترتيب. ينتج عن هذا عموماً عملية ماركوف غير مستقرة، ولكن كل خطوة فردية ستظل قابلة للعكس، وستظل العملية الكلية ذات توزيع مستقر مطلوب (طالما أن السلسلة يمكنها الوصول إلى جميع الحالات ضمن الترتيب الثابت).

يترك${\displaystyle y}$تشير إلى الملاحظات المولدة من توزيع المعاينة${\displaystyle f(y|\theta )}$و${\displaystyle \pi (\theta )}$أن يكون احتمالًا أوليًا مدعومًا في فضاء المعلمات${\displaystyle \Theta }$ثم إن أحد الأهداف الرئيسية للإحصاء البايزي هو تقريب الكثافة الاحتمالية اللاحقة

${\displaystyle \pi (\theta |y)={\frac {f(y|\theta )\cdot \pi (\theta )}{m(y)}}}$

حيث الاحتمالية الحدية${\displaystyle m(y)=\int _{\Theta }f(y|\theta )\cdot \pi (\theta )d\theta }$يُفترض أن تكون محدودة لجميع${\displaystyle y}$.

لشرح خوارزمية جيبس ​​لأخذ العينات، نفترض أيضًا أن فضاء المعلمات${\displaystyle \Theta }$يتم تحليلها إلى

${\displaystyle \Theta =\prod _{i=1}^{K}\Theta _{i}=\Theta _{1}\times \cdots \Theta _{i}\times \cdots \times \Theta _{K},\quad \quad (K>1)}$،

أين${\displaystyle \times }$يمثل الضرب الديكارتي . كل عنصر من عناصر فضاء المعلمات${\displaystyle \Theta _{i}}$يمكن أن تكون مجموعة من المكونات العددية أو المتجهات الفرعية أو المصفوفات.

حدد مجموعة${\displaystyle \Theta _{-i}}$وهذا يكمل${\displaystyle \Theta _{i}}$المكونات الأساسية لعينة جيبس ​​هي${\displaystyle i}$التوزيع الاحتمالي الشرطي الكامل لكل${\displaystyle i=1,\cdots ,K}$

${\displaystyle \pi (\theta _{i}|\theta _{-i},y)=\pi (\theta _{i}|\theta _{1},\cdots ,\theta _{i-1},\theta _{i+1},\cdots ,\theta _{K},y)}$.

توضح الخوارزمية التالية تفاصيل أداة أخذ عينات جيبس ​​العامة:

${\displaystyle {\text{Initialize: pick arbitrary starting value}}\,\,\theta ^{(1)}=(\theta _{1}^{(1)},\theta _{2}^{(1)},\cdots ,\theta _{i}^{(1)},\theta _{i+1}^{(1)},\cdots ,\theta _{K}^{(1)})}$

${\displaystyle {\text{Iterate a Cycle:}}\,}$

${\displaystyle \quad \quad {\text{Step 1. draw}}\,\,\theta _{1}^{(s+1)}\sim \pi (\theta _{1}|\theta _{2}^{(s)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad {\text{Step 2. draw}}\,\,\theta _{2}^{(s+1)}\sim \pi (\theta _{2}|\theta _{1}^{(s+1)},\theta _{3}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad \quad \vdots }$

${\displaystyle \quad \quad {\text{Step i. draw}}\,\,\theta _{i}^{(s+1)}\sim \pi (\theta _{i}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i-1}^{(s+1)},\theta _{i+1}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad {\text{Step i+1. draw}}\,\,\theta _{i+1}^{(s+1)}\sim \pi (\theta _{i+1}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{i}^{(s+1)},\theta _{i+2}^{(s)},\cdots ,\theta _{K}^{(s)},y)}$

${\displaystyle \quad \quad \quad \vdots }$

${\displaystyle \quad \quad {\text{Step K. draw}}\,\,\theta _{K}^{(s+1)}\sim \pi (\theta _{K}|\theta _{1}^{(s+1)},\theta _{2}^{(s+1)},\cdots ,\theta _{K-1}^{(s+1)},y)}$

${\displaystyle {\text{end Iterate}}}$

لاحظ أن خوارزمية أخذ العينات من نوع جيبس ​​تعمل بواسطة مخطط مونت كارلو التكراري ضمن دورة واحدة.${\displaystyle S}$عدد العينات${\displaystyle \{\theta ^{(s)}\}_{s=1}^{S}}$تُصاغ سلاسل ماركوف المرسومة بواسطة الخوارزمية المذكورة أعلاه بتوزيع ثابت ليكون هو الكثافة المستهدفة${\displaystyle \pi (\theta |y)}$.

والآن، لكل${\displaystyle i=1,\cdots ,K}$، عرّف الكميات التالية في نظرية المعلومات:

${\displaystyle I(\theta _{i};\theta _{-i})={\text{KL}}(\pi (\theta |y)||\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y))=\int _{\Theta }\pi (\theta |y)\log {\bigg (}{\frac {\pi (\theta |y)}{\pi (\theta _{i}|y)\cdot \pi (\theta _{-i}|y)}}{\bigg )}d\theta ,}$

${\displaystyle H(\theta _{-i})=-\int _{\Theta _{-i}}\pi (\theta _{-i}|y)\log \pi (\theta _{-i}|y)d\theta _{-i},}$

${\displaystyle H(\theta _{-i}|\theta _{i})=-\int _{\Theta }\pi (\theta |y)\log \pi (\theta _{-i}|\theta _{i},y)d\theta ,}$

وهي، على التوالي، المعلومات المتبادلة اللاحقة ، والإنتروبيا التفاضلية اللاحقة، والإنتروبيا التفاضلية الشرطية اللاحقة. ويمكننا بالمثل تعريف الكميات النظرية للمعلومات${\displaystyle I(\theta _{-i};\theta _{i})}$،${\displaystyle H(\theta _{i})}$، و${\displaystyle H(\theta _{i}|\theta _{-i})}$عن طريق تبديل${\displaystyle i}$و${\displaystyle -i}$بالكميات المحددة. ثم، ما يلي${\displaystyle K}$المعادلات صحيحة. ^{[ 4 ]}

${\displaystyle I(\theta _{i};\theta _{-i})=H(\theta _{-i})-H(\theta _{-i}|\theta _{i})=H(\theta _{i})-H(\theta _{i}|\theta _{-i})=I(\theta _{-i};\theta _{i}),\quad (i=1,\cdots ,K)}$.

المعلومات المتبادلة${\displaystyle I(\theta _{i};\theta _{-i})}$يحدد كمياً مدى انخفاض عدم اليقين في الكمية العشوائية${\displaystyle \theta _{i}}$بمجرد أن نعرف${\displaystyle \theta _{-i}}$، بعد وقوع الحدث. يختفي إذا وفقط إذا${\displaystyle \theta _{i}}$و${\displaystyle \theta _{-i}}$مستقلة بشكل هامشي، احتمال لاحق. المعلومات المتبادلة${\displaystyle I(\theta _{i};\theta _{-i})}$يمكن تفسير ذلك على أنه الكمية التي يتم نقلها من${\displaystyle i}$الخطوة رقم - إلى${\displaystyle i+1}$الخطوة رقم - ضمن دورة واحدة من أخذ عينات جيبس.

توجد العديد من الاختلافات في خوارزمية جيبس ​​الأساسية. والهدف من هذه الاختلافات هو تقليل الارتباط الذاتي بين العينات بشكل كافٍ للتغلب على أي تكاليف حسابية إضافية.

هناك طريقتان قد تفشل بهما خوارزمية جيبس. الأولى هي وجود مناطق معزولة ذات احتمالية عالية، دون وجود مسارات بينها. على سبيل المثال، لنفترض توزيعًا احتماليًا على متجهين ثنائيي البت، حيث يكون احتمال كل من المتجهين (0,0) و(1,1) هو 1/2 ، بينما يكون احتمال المتجهين الآخرين (0,1) و(1,0) صفرًا. ستعلق خوارزمية جيبس ​​في أحد هذين المتجهين ذوي الاحتمالية العالية، ولن تصل أبدًا إلى المتجه الآخر. وبشكل أعم، بالنسبة لأي توزيع على متجهات حقيقية عالية الأبعاد، إذا كان عنصران معينان من المتجه مرتبطين ارتباطًا تامًا (أو متعاكسين ارتباطًا تامًا)، فسيتوقف هذان العنصران، ولن تتمكن خوارزمية جيبس ​​من تغييرهما.

قد تحدث المشكلة الثانية حتى عندما تكون جميع الحالات ذات احتمالية غير صفرية، ولا توجد سوى مجموعة واحدة من الحالات ذات الاحتمالية العالية. على سبيل المثال، لنفترض توزيعًا احتماليًا على متجهات مكونة من 100 بت، حيث يظهر المتجه المكون من جميع الأصفار باحتمالية 1/2 ، وجميع المتجهات الأخرى متساوية الاحتمالية، وبالتالي يكون لها احتمالية 1/2 .${\displaystyle {\frac {1}{2(2^{100}-1)}}}$لكلٍّ منها. إذا أردتَ تقدير احتمال متجه الصفر، فسيكون كافيًا أخذ 100 أو 1000 عينة من التوزيع الحقيقي. من المرجح جدًا أن يُعطي ذلك إجابة قريبة جدًا من 1/2 . ولكن ربما ستحتاج إلى أخذ أكثر من ذلك .${\displaystyle 2^{100}}$أخذ عينات من خوارزمية جيبس ​​للحصول على نفس النتيجة. لا يمكن لأي جهاز كمبيوتر القيام بذلك طوال حياته.

تحدث هذه المشكلة بغض النظر عن طول فترة التثبيت. والسبب هو أنه في التوزيع الحقيقي، يظهر المتجه الصفري نصف الوقت، وتختلط هذه الظهورات عشوائيًا مع المتجهات غير الصفرية. حتى العينة الصغيرة ستشهد وجود كل من المتجهات الصفرية وغير الصفرية. لكن أخذ عينات جيبس ​​سيُبدّل بين إرجاع المتجه الصفري فقط لفترات طويلة (حوالي${\displaystyle 2^{99}}$ثم المتجهات غير الصفرية فقط لفترات طويلة (حوالي${\displaystyle 2^{99}}$(على التوالي). وبالتالي، فإن التقارب نحو التوزيع الحقيقي بطيء للغاية، ويتطلب أكثر بكثير من${\displaystyle 2^{99}}$عدد الخطوات كبير جدًا؛ لذا فإنّ اتخاذ هذا العدد من الخطوات غير ممكن حسابيًا في فترة زمنية معقولة. ويمكن اعتبار بطء التقارب هنا نتيجةً لظاهرة " لعنة الأبعاد" . يُمكن حلّ مشكلة كهذه عن طريق أخذ عينات مُجزأة من مُتجه الـ 100 بت دفعةً واحدة. (يفترض هذا أن مُتجه الـ 100 بت جزء من مجموعة أكبر من المُتغيرات. إذا كان هذا المُتجه هو الشيء الوحيد الذي يتم أخذ عينات منه، فإنّ أخذ العينات المُجزأة يُعادل عدم استخدام أخذ عينات جيبس ​​على الإطلاق، وهو أمرٌ صعبٌ بحسب الفرضية).

• يقوم برنامج OpenBUGS ( الاستدلال البايزي باستخدام أخذ عينات جيبس ) بإجراء تحليل بايزي للنماذج الإحصائية المعقدة باستخدام سلسلة ماركوف مونت كارلو .

• JAGS ( مجرد عينة جيبس ​​أخرى ) هو برنامج GPL لتحليل النماذج الهرمية البايزية باستخدام سلسلة ماركوف مونت كارلو.

• Church هو برنامج مجاني لإجراء استدلال جيبس ​​على التوزيعات العشوائية التي يتم تحديدها كبرامج احتمالية.

• PyMC هي مكتبة بايثون مفتوحة المصدر للتعلم البايزي للنماذج الرسومية الاحتمالية العامة .
• Turing هي مكتبة مفتوحة المصدر مكتوبة بلغة Julia للاستدلال البايزي باستخدام البرمجة الاحتمالية .

• بيشوب، كريستوفر م. (2006)، التعرف على الأنماط والتعلم الآلي ، سبرينغر، ISBN 978-0-387-31073-2
• بولستاد، ويليام م. (2010)، فهم الإحصاءات البايزية الحاسوبية ، جون وايلي ، رقم ISBN 978-0-470-04609-8
• كاسيلا، ج.؛ جورج، إي. آي. (1992). "شرح خوارزمية جيبس ​​لأخذ العينات". الإحصائي الأمريكي . 46 (3): 167. CiteSeerX 10.1.1.554.3993 . doi : 10.2307/2685208 . JSTOR 2685208 .  (يحتوي على ملخص أساسي والعديد من المراجع.)
• جيلفاند، آلان إي؛ سميث، أدريان إف إم (1990)، "مناهج قائمة على أخذ العينات لحساب الكثافات الهامشية"، مجلة الجمعية الإحصائية الأمريكية ، 85 (410): 398-409 ، doi : 10.2307/2289776 ، JSTOR 2289776 ، MR 1141740  
• جيلمان، أ. ، كارلين جيه بي، ستيرن إتش إس، دونسون دي، فيهتاري أ، روبين دي بي (2013)، تحليل البيانات البايزية ، الطبعة الثالثة. لندن: تشابمان وهول .
• ليفين، ديفيد أ.؛ بيريز، يوفال ؛ ويلمر، إليزابيث ل. (2008)، " سلاسل ماركوف وأوقات الخلط "، الجمعية الرياضية الأمريكية .
• روبرت، سي بي؛ كاسيلا، جي. (2004)، الأساليب الإحصائية مونت كارلو (الطبعة الثانية)، سبرينغر-فيرلاغ.