التحسين البايزي

الموسوعة الحرة

التحسين البايزي هو استراتيجية تسلسلية قائمة على النماذج لتحسين دوال الهدف ذات الصندوق الأسود التي تتطلب عمليات تقييم مكلفة. [ 1 ] [ 2 ] [ 3 ] ويُستخدم عادةً عندما تتطلب ملاحظة واحدة تجربةً أو حسابًا هندسيًا أو محاكاةً عدديةً أو تشغيلًا للتعلم الآلي، وعندما تكون المشتقات غير متوفرة أو غير موثوقة. ولا يشترط أن يكون لدالة الهدف صيغة مغلقة.

تعتمد هذه الطريقة على بناء نموذج احتمالي للدالة المجهولة، والتي غالبًا ما تكون عملية غاوسية ، وتستخدم التوزيع التنبؤي الناتج لاختيار نقطة التقييم التالية. ويتم هذا الاختيار من خلال تحسين معيار أخذ العينات، والذي يُسمى أيضًا دالة الاكتساب. [ 3 ] [ 2 ]

تشمل التطبيقات الشائعة تحسين المعلمات الفائقة في التعلم الآلي ، حيث قد تتطلب كل تجربة تدريب نموذج والتحقق من صحته، [ 4 ] [ 5 ] ومشاكل التصميم الهندسي التي تعتمد على عمليات محاكاة عددية مكلفة. [ 6 ] [ 2 ]

تاريخ

تشمل المناهج البايزية المبكرة للتحسين العالمي أعمال هارولد ج. كوشنر حول تحديد القيم القصوى للدوال المشوشة، وأعمال جوناس موكوس حول الطرق البايزية للبحث عن القيم القصوى. [ 7 ] [ 8 ] [ 9 ] [ 1 ]

يُعدّ التحسين المتوقع معيارًا بارزًا لأخذ العينات في هذا المجال من العمل. في عام 1998، قدّم دونالد ر. جونز، وماتياس شونلاو، وويليام ج. ويلش خوارزمية التحسين العالمي الفعال (EGO)، التي استخدمت نموذج كريغينغ أو نموذج العملية الغاوسية مع التحسين المتوقع للوظائف المعقدة ذات الصندوق الأسود. [ 6 ]

توسعت الأعمال اللاحقة في مجال التحسين البايزي ليشمل الملاحظات المشوشة، والقيود، والتقييمات الدفعية والمتوازية، والأهداف المتعددة، ومساحات البحث المختلطة أو عالية الأبعاد. [ 3 ] [ 10 ]

إعداد المشكلة

في إطار هدف واحد قياسي، يسعى التحسين البايزي إلى إيجاد نقطة

x⋆∈أرزمأنانx∈X⁡و(x){\displaystyle x^{\star }\in \operatorname {arg\,min} _{x\in {\mathcal {X}}}f(x)}

أينX{\displaystyle {\mathcal {X}}}هي مساحة بحث وو{\displaystyle f}هي دالة هدف غير معروفة. يمكن كتابة مسألة التعظيم بنفس الشكل عن طريق تصغير-و{\displaystyle -f}على الرغم من أن فضاء البحث قد يكون من حيث المبدأ متصلاً أو منفصلاً أو تصنيفياً أو مختلطاً، إلا أن الصيغة القياسية قابلة للتطبيق بشكل مباشر على المجالات المتصلة ذات الأبعاد المنخفضة إلى المتوسطة. وتسعى الطرق اللاحقة إلى تخفيف هذه القيود من خلال معالجة المتغيرات المختلطة، والفضاءات عالية الأبعاد، والقيود، والتقييمات المتوازية، والأهداف المتعددة. [ 3 ] [ 10 ]

يُعد التمييز بين التحسين الخالي من الضوضاء والتحسين مع وجود ضوضاء أمرًا مفيدًا . كما تتضمن العديد من التطبيقات العملية قيودًا، أو تقييمات متوازية، أو أهدافًا متعددة. وتُغير هذه المتغيرات كيفية تعريف النموذج الاحتمالي، والحل الحالي، ومعيار أخذ العينات. [ 3 ] [ 10 ]

الطريقة الأساسية

التحسين البايزي لدالة أحادية البعد. يتم تحديث نموذج احتمالي بعد الملاحظات، وتوجه معايير أخذ العينات اختيار نقاط التقييم المستقبلية.

تُنشئ عملية التحسين البايزية النموذجية سلسلة من نقاط التقييم. [ 3 ] [ 2 ] بدءًا من تصميم أوليX0{\displaystyle X_{0}}ينتج عن الخوارزمية نقاط تقييم إضافيةx1،x2،...{\displaystyle x_{1},x_{2},\ldots }. بعدن{\displaystyle n}التقييمات المتسلسلة،Xن=X0∪{x1،...،xن}{\displaystyle X_{n}=X_{0}\cup \{x_{1},\ldots ,x_{n}\}}يشير إلى النقاط التي تم تقييمها ودن{\displaystyle {\mathcal {D}}_{n}}يشير إلى الملاحظات المقابلة. النقطة التاليةxن+1{\displaystyle x_{n+1}}يتم اختيار ، أو مجموعة من النقاط، عن طريق تحسين معيار أخذ العينات المحسوب من النموذج الاحتمالي الحالي.

تتخذ الإجراءات الشكل التالي:

  1. اختر تصميمًا أوليًاX0{\displaystyle X_{0}}وغالباً ما يتم ذلك من خلال تصميم يملأ الفراغ أو أخذ عينات عشوائية.
  2. قم بتقييم دالة الهدف، وأي قيود إن وجدت، عند نقاط التصميم الأولية.
  3. قم بإنشاء أو تحديث نموذج احتمالي باستخدام البيانات المرصودةدن{\displaystyle {\mathcal {D}}_{n}}.
  4. حدد معيار أخذ العينات، والذي يسمى أيضًا دالة الاكتساب أو معيار التعبئة، من النموذج الاحتمالي.
  5. قم بتحسين معيار أخذ العينات لاختيارxن+1{\displaystyle x_{n+1}}أو مجموعة من النقاط، للتقييم.
  6. قم بتقييم النقطة أو النقاط المحددة وقم بتحديث مجموعة البيانات.
  7. كرر ذلك حتى يتم الوصول إلى ميزانية التقييم أو معيار التقارب أو قاعدة التوقف.

تعتمد استراتيجية بايز على اعتبار الهدف المجهول دالة عشوائية، وتضع توزيعًا احتماليًا مسبقًا عليها. يجسد هذا التوزيع الافتراضات المتعلقة بسلوك الدالة. بعد جمع البيانات، يُحدَّث التوزيع الاحتمالي المسبق لتكوين توزيع احتمالي لاحق على دالة الهدف. ثم يُستخدم هذا التوزيع اللاحق لبناء معيار المعاينة الذي يحدد نقطة الاستعلام التالية.

النماذج الاحتمالية

يتطلب التحسين البايزي نموذجًا احتماليًا للدالة الهدف المجهولة، وللقيود المجهولة إن وجدت. وبناءً على التقييمات التي تم رصدها حتى الآن، يُقدّم النموذج توزيعًا تنبؤيًا للنقاط غير المُقيّمة في فضاء البحث. تُحدّد معايير أخذ العينات من هذا التوزيع التنبؤي، وبالتالي يُوفّر النموذج قيمًا مُتوقّعة للدالة الهدف وتقديرات لعدم اليقين. [ 3 ] [ 2 ] تُسمى هذه النماذج الاحتمالية غالبًا بالنماذج البديلة أو النماذج الفوقية، لأنها تُستخدم بدلًا من التقييمات المباشرة للدالة الهدف المُكلفة عند اختيار النقاط المرشحة.

يُعدّ انحدار العمليات الغاوسية النموذج الاحتمالي القياسي في العروض الكلاسيكية للتحسين البايزي، ولا يزال شائع الاستخدام في التطبيقات. يُعرّف التوزيع الاحتمالي المسبق للعملية الغاوسية توزيعًا على الدوال. بعد جمع المشاهدات، يُستخدم المتوسط ​​والتباين التنبؤيان اللاحقان وفقًا لمعايير أخذ العينات، مثل التحسن المتوقع، واحتمالية التحسن، ومعايير الحد الأعلى لفترة الثقة. [ 6 ] [ 3 ] يمكن استخدام نماذج احتمالية أخرى عندما يُفضّل فضاء البحث أو الأبعاد أو حجم البيانات تمثيلًا آخر. [ 10 ] [ 2 ]

المتغيرات وفئات المسائل

غالباً ما يتم وصف التحسين البايزي من خلال مشكلة ذات هدف واحد وخالية من الضوضاء، ولكن يتم تكييف نفس الحلقة القائمة على النموذج مع العديد من الإعدادات ذات الصلة.

في التحسين البايزي الضوضائي، تُعيد التقييمات ملاحظات مثلy=و(x)+ε{\displaystyle y=f(x)+\varepsilon }بدلاً من القيم الدقيقة للهدف الكامن. يمكن للنموذج الاحتمالي أن يمثل عدم اليقين بشأنو{\displaystyle f}والضوضاء المرصودة. يُعدّ التحسين المتوقع التقليدي مقارنةً بأفضل قيمة مُرصودة معيارًا خاليًا من الضوضاء. في البيئات التي تتسم بالضوضاء، يمكن تحديد قواعد التوصية ومعايير أخذ العينات للهدف الكامن، أو للملاحظات المستقبلية التي تتسم بالضوضاء، أو لقيمة المعلومات. تشمل الأمثلة معايير تدرج المعرفة ومعايير نظرية المعلومات. [ 3 ] [ 11 ] [ 12 ] [ 13 ]

في التحسين البايزي المقيد، يتم تحسين الهدف مع مراعاة قيود الجدوى. إذا كانت القيود عبارة عن دوال مجهولة غير معروفة، فيمكن بناء نماذج احتمالية منفصلة للهدف والقيود، ويمكن لمعيار أخذ العينات أن يجمع بين التحسين المتوقع واحتمالية الجدوى. [ 14 ]

In batch or parallel Bayesian optimization, the method proposes several candidate points before the corresponding observations are available. Batch methods are useful when experiments, simulations, or machine-learning jobs can be executed concurrently. They may optimize a joint sampling criterion or choose points sequentially while accounting for pending evaluations.[15]

In multi-objective Bayesian optimization, several objective functions are optimized at once and the result is typically an approximation to a Pareto front. Methods include scalarization approaches such as ParEGO, which reduce the problem to a sequence of single-objective subproblems, and indicator-based approaches using criteria such as expected hypervolume improvement.[16][17] Constrained multi-objective Bayesian optimization combines these extensions by modeling objectives and constraints and using sampling criteria based on extended domination rules and expected hypervolume improvement.[18]

Sampling criteria

A sampling criterion, also called an acquisition function in the machine-learning literature or an infill criterion in surrogate-based optimization, scores candidate points using the current predictive distribution. It is usually inexpensive to evaluate and is optimized instead of the expensive objective function. Sampling criteria express the exploration-exploitation tradeoff by assigning high values to points with a low predicted objective value, high uncertainty, or both.[3][2] A seminal example in the noiseless setting is expected improvement, which scores a candidate point by the posterior expected gain over the best value observed so far.[6][3] Other criteria include probability of improvement,[7] upper- or lower-confidence-bound criteria such as GP-UCB,[19]Thompson sampling,[20] knowledge-gradient criteria,[11] information-theoretic criteria including the IAGO minimizer-entropy criterion, entropy search, and predictive entropy search,[12][13][21] and portfolios or hybrids of several criteria.[22]

Expected improvement

استُخدم التحسين المتوقع (EI) في خوارزمية التحسين العالمي الفعال (EGO)، ولا يزال معيارًا مرجعيًا قياسيًا للتحسين البايزي الخالي من الضوضاء. [ 6 ] في إطار التصغير الخالي من الضوضاء، لنفترضومين{\displaystyle f_{\min }}ليكن أفضل قيمة موضوعية تم رصدها حتى الآن، ولتكند{\displaystyle {\mathcal {D}}}تشير إلى البيانات. التحسن المتوقع عند نقطة مرشحةx{\displaystyle x}يكون

EI⁡(x)=هـ[الأعلى(ومين-و(x)،0)|د]{\displaystyle \operatorname {EI} (x)=\mathbb {E} [\max(f_{\min }-f(x),0)\mid {\mathcal {D}}]}.

عندما يكون التوزيع التنبؤي للنموذج عندx{\displaystyle x}هو توزيع غاوسي،و(x)|د∼شمال(μ(x)،σ2(x)){\displaystyle f(x)\mid {\mathcal {D}}\sim {\mathcal {N}}(\mu (x),\sigma ^{2}(x))}، وσ(x)>0{\displaystyle \sigma (x)>0}، EI لها الشكل المغلق

EI⁡(x)=(ومين-μ(x))Φ(z)+σ(x)ϕ(z)،z=ومين-μ(x)σ(x){\displaystyle \operatorname {EI} (x)=(f_{\min }-\mu (x))\Phi (z)+\sigma (x)\phi (z),\quad z={\frac {f_{\min }-\mu (x)}{\sigma (x)}}}،

أينΦ{\displaystyle \Phi }وϕ{\displaystyle \phi }تمثل دالتا التوزيع التراكمي وكثافة الاحتمال للتوزيع الطبيعي القياسي. ولذلك، تكون قيمة EI كبيرة عندما يتوقع النموذج قيمة موضوعية منخفضة، أو عندما يكون عدم اليقين مرتفعًا، أو كليهما. [ 3 ] [ 2 ]

طرق الحل

عادةً ما يكون تقييم معيار أخذ العينات غير مكلف مقارنةً بالهدف، إلا أن تحسينه قد يظل مشكلةً مساعدةً غير محدبة. غالبًا ما يُبحث عن قيمته المثلى باستخدام التقطيع، أو التحسين المحلي متعدد البدايات، أو الطرق العددية الحتمية مثل طريقة نيوتن وطرق شبه نيوتن مثل خوارزمية برودن-فليتشر-غولدفراب-شانو . تُستخدم الطرق العشوائية أيضًا لهذا البحث المساعد، خاصةً للمعايير متعددة الأنماط أو ذات المتغيرات المختلطة. تشمل الأمثلة الخوارزميات الجينية وغيرها من الخوارزميات التطورية ، بالإضافة إلى طرق مونت كارلو المتسلسلة . [ 3 ] [ 2 ] [ 18 ]

تستخدم العديد من طرق التحسين الخالية من المشتقات توزيعات احتمالية دون نمذجة دالة الهدف المجهولة نفسها. تقوم خوارزميات تقدير التوزيع ببناء نماذج احتمالية صريحة لحلول مرشحة مختارة وأخذ عينات منها. [ 23 ] كما تقوم طريقة الإنتروبيا المتقاطعة وطريقة CMA -ES بتحديث توزيعات أخذ العينات البارامترية، حيث تقوم CMA-ES بتكييف المتوسط ​​وحجم الخطوة ومصفوفة التباين لتوزيع طبيعي متعدد المتغيرات. [ 24 ] [ 25 ] تستخدم هذه الطرق قيم الهدف لتحديث التوزيع على النقاط المرشحة. في التحسين البايزي، يمثل النموذج الاحتمالي الهدف أو القيود، ويتم اختيار النقطة التالية من خلال تحسين معيار مشتق من ذلك النموذج.

يُستخدم التصميم التسلسلي للعمليات الغاوسية أيضًا في تحليل الموثوقية لتقدير احتمالية الفشل. بالنسبة لدالة حالة الحدو{\displaystyle f}مدخلات عشوائيةX{\displaystyle X}، والعتبةت{\displaystyle t}قد يكون الهدفP(و(X)≤ت){\displaystyle \mathbb {P} (f(X)\leq t)}أو بشكل أعم، مقياس مجموعة الرحلات. وتختار استراتيجيات تقليل عدم اليقين التدريجي التقييمات لتقليل عدم اليقين بشأن هذا الاحتمال، بدلاً من تحديد القيمة الصغرى أو العظمى لـو{\displaystyle f}[ 26 ]​

يرتبط التحسين البايزي أيضًا بمسائل قطاع الطرق متعددة الأذرع . يدرس كلاهما القرارات المتسلسلة التي توازن بين الاستكشاف والاستغلال، وتظهر معايير مثل حدود الثقة العليا وأخذ عينات طومسون في كلا السياقين. [ 19 ] [ 20 ] يتمثل أحد الفروق الشائعة في أن خوارزميات قطاع الطرق غالبًا ما تُصاغ للتحكم في الندم التراكمي على امتداد سلسلة من الإجراءات، بينما يركز التحسين البايزي غالبًا على إيجاد مُحسِّن جيد لدالة مكلفة بعد ميزانية تقييم صغيرة. [ 3 ] [ 2 ]

التطبيقات

يُستخدم التحسين البايزي في التطبيقات التي تكون فيها التقييمات الموضوعية مكلفة. تشمل الأمثلة التي نوقشت في الدراسات الاستقصائية والكتب الدراسية تحسين المعلمات الفائقة وتكوين الخوارزميات، والتصميم الهندسي والتحسين القائم على المحاكاة، [ 27 ] والروبوتات، وشبكات الاستشعار، والتصميم التجريبي في العلوم الفيزيائية. [ 3 ] [ 2 ] [ 10 ]

انظر أيضاً

مراجع

  1. 1 2 موتشكس، ج. (1989). المنهج البايزي للتحسين العالمي . دوردريخت: كلوير أكاديميك. doi : 10.1007/978-94-009-0909-0 . ISBN 0-7923-0115-3.
  2. 1 2 3 4 5 6 7 8 9 10 11 غارنيت، رومان (2023). التحسين البايزي . مطبعة جامعة كامبريدج. ISBN 978-1-108-42578-0.
  3. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 فرايزر، بيتر آي. (2018-07-08). "دليل تعليمي حول التحسين البايزي". arXiv : 1807.02811 [ stat.ML ].
  4. ↑ سنوك، جاسبر؛ لاروشيل، هوغو؛ آدامز، رايان ب. (2012). "التحسين العملي لخوارزميات التعلم الآلي باستخدام بايزي" . التقدم في أنظمة معالجة المعلومات العصبية . المجلد 25. الصفحات 2951-2959 . arXiv : 1206.2944 .  
  5. ↑ كلاين، آرون؛ فولكنر، ستيفان؛ بارتلز، سيمون؛ هينيغ، فيليب؛ هوتر، فرانك (2017). "التحسين البايزي السريع للمعلمات الفائقة للتعلم الآلي على مجموعات البيانات الكبيرة" . وقائع المؤتمر الدولي العشرين حول الذكاء الاصطناعي والإحصاء . وقائع بحوث التعلم الآلي. المجلد 54. PMLR. الصفحات 528-536 . arXiv : 1605.07079 .  
  6. 1 2 3 4 5 جونز، دونالد ر.؛ شونلاو، ماتياس؛ ويلش، ويليام ج. (1998). "التحسين الأمثل العالمي الفعال للدوال المعقدة ذات الصندوق الأسود" . مجلة التحسين الأمثل العالمي . 13 (4): 455-492 . doi : 10.1023/A:1008306431147 .
  7. 1 2 كوشنر، هارولد ج. (1964). "طريقة جديدة لتحديد النقطة القصوى لمنحنى متعدد القمم عشوائي في وجود الضوضاء" . مجلة الهندسة الأساسية . 86 (1): 97-106 . doi : 10.1115/1.3653121 .
  8. ↑ موتكوس، جوناس (1975). "حول الطرق البايزية للبحث عن القيم القصوى". تقنيات التحسين، المؤتمر الفني للاتحاد الدولي لمعالجة المعلومات، نوفوسيبيرسك، 1-7 يوليو 1974. سلسلة محاضرات في علوم الحاسوب. المجلد 27. الصفحات 400-404 . doi : 10.1007/3-540-07165-2_55 . ISBN   978-3-540-07165-5.
  9. ↑ موتكوس، جوناس (1977). "حول الطرق البايزية للبحث عن القيم القصوى وتطبيقاتها". مؤتمر الاتحاد الدولي لمعالجة المعلومات : 195-200 .
  10. 1 2 3 4 5 شهرياري، بوباك؛ سويرسكي، كيفن؛ وانغ، زيو؛ آدامز، رايان ب.؛ دي فريتاس، ناندو (2016). "إخراج العنصر البشري من الحلقة: مراجعة للتحسين البايزي". وقائع معهد مهندسي الكهرباء والإلكترونيات . 104 (1): 148-175 . doi : 10.1109/JPROC.2015.2494218 .
  11. 1 2 فرايزر، بيتر؛ باول، وارن؛ دايانيك، سافاس (2009). "سياسة تدرج المعرفة للمعتقدات الطبيعية المترابطة". مجلة INFORMS للحوسبة . 21 (4): 599-613 . doi : 10.1287/ijoc.1080.0314 .
  12. 1 2 فيليمونتيكس، جوليان؛ فاسكيز، إيمانويل؛ والتر، إريك (2009). "نهج معلوماتي للتحسين الأمثل العالمي للدوال المكلفة التقييم". مجلة التحسين الأمثل العالمي . 44 (4): 509-534 . arXiv : cs/0611143 . doi : 10.1007/s10898-008-9354-2 .
  13. 1 2 هينينج، فيليب؛ شولر، كريستيان ج. (2012). "بحث الإنتروبيا من أجل التحسين العالمي الفعال من حيث المعلومات" . مجلة أبحاث تعلم الآلة . 13 (57): 1809-1837 .
  14. ↑ جيلبارت، مايكل أ.؛ سنوك، جاسبر؛ آدامز، رايان ب. (2014). "التحسين البايزي مع قيود غير معروفة". arXiv : 1403.5607 [ stat.ML ].
  15. ↑ غونزاليس، خافيير؛ داي، زينوين؛ هينيغ، فيليب؛ لورانس، نيل د. (2016). "التحسين البايزي الدفعي عبر العقوبة المحلية" . وقائع المؤتمر الدولي التاسع عشر حول الذكاء الاصطناعي والإحصاء . وقائع بحوث تعلم الآلة. المجلد 51. الصفحات 648-657 .  
  16. ↑ نولز، جوشوا (2006). "ParEGO: خوارزمية هجينة مع تقريب المشهد عبر الإنترنت لمشاكل التحسين متعددة الأهداف المكلفة". معاملات IEEE في الحوسبة التطورية . 10 (1): 50-66 . doi : 10.1109/TEVC.2005.851274 .
  17. ↑ إميريش، مايكل تي إم؛ جياناكوغلو، كيرياكوس سي؛ ناوجوكس، بوريس (2006). "التحسين التطوري أحادي ومتعدد الأهداف بمساعدة نماذج الحقول العشوائية الغاوسية". معاملات IEEE في الحوسبة التطورية . 10 (4): 421-439 . doi : 10.1109/TEVC.2005.859463 .
  18. 1 2 فيليوت، بول؛ بيكت، جوليان؛ فاسكيز، إيمانويل (2017). "نهج بايزي لتحسين الأهداف المقيد أحادي ومتعدد الأهداف". مجلة التحسين العالمي . 67 (1): 97-133 . arXiv : 1510.00503 . doi : 10.1007/s10898-016-0427-3 .
  19. 1 2 سرينيفاس، نيرانجان؛ كراوس، أندرياس؛ كاكادي، شام م.؛ سيجر، ماتياس و. (2012). "حدود الندم القائمة على نظرية المعلومات لتحسين العمليات الغاوسية في بيئة قطاع الطرق". معاملات IEEE في نظرية المعلومات . 58 (5): 3250-3265 . arXiv : 0912.3995 . doi : 10.1109/TIT.2011.2182033 .
  20. 1 2 تومسون، ويليام ر. (1933). "حول احتمال أن يتجاوز احتمال غير معروف احتمالًا آخر في ضوء أدلة عينتين". Biometrika . 25 (3/4): 285–294 . doi : 10.1093/biomet/25.3-4.285 . JSTOR 2332286 . 
  21. ↑ هيرنانديز-لوباتو، خوسيه ميغيل؛ هوفمان، ماثيو دبليو؛ غراماني، زوبين (2014). "بحث الإنتروبيا التنبؤي من أجل التحسين العالمي الفعال لوظائف الصندوق الأسود". arXiv : 1406.2541 [ stat.ML ].
  22. ↑ هوفمان، ماثيو دبليو؛ بروشو، إريك؛ دي فريتاس، ناندو (2011). "تخصيص المحفظة للتحسين البايزي" . وقائع المؤتمر السابع والعشرين حول عدم اليقين في الذكاء الاصطناعي . مطبعة AUAI. ص 327-336 . 
  23. ↑ مولينباين، هاينز؛ باس، جيرهارد (1996). "من إعادة تركيب الجينات إلى تقدير التوزيعات 1. المعلمات الثنائية". حل المشكلات المتوازية من الطبيعة - PPSN IV . سلسلة محاضرات في علوم الحاسوب. المجلد 1141. الصفحات 178-187 . doi : 10.1007/3-540-61723-X_982 .  
  24. ↑ روبنشتاين، رؤوفين ي. (1999). "طريقة الإنتروبيا المتقاطعة للتحسين التوافقي والمستمر". المنهجية والحوسبة في الاحتمالات التطبيقية . 1 (2): 127-190 . doi : 10.1023/A:1010091220143 .
  25. ^ هانسن، نيكولاس. أوسترماير، أندرياس (2001). “التكيف الذاتي غير العشوائي تمامًا في استراتيجيات التطور”. الحساب التطوري . 9 (2): 159– 195. دوى : 10.1162 / 106365601750190398 .
  26. ↑ بيكت، جوليان؛ جينسبورجيه، ديفيد؛ لي، لينغ؛ بيشيني، فيكتور؛ فاسكيز، إيمانويل (2012). "التصميم التسلسلي للتجارب الحاسوبية لتقدير احتمال الفشل". الإحصاء والحوسبة . 22 (3): 773-793 . arXiv : 1009.5177 . doi : 10.1007/s11222-011-9241-4 .
  27. ↑ فورستر، ألكسندر آي جيه؛ سوبستر، أندراس؛ كين، آندي جيه. (2008). التصميم الهندسي عبر النمذجة البديلة: دليل عملي . جون وايلي وأولاده. ISBN 978-0-470-06068-1.