تحليل المكونات المستقلة

في نموذج ICA الكلاسيكي، يُفترض أن البيانات المرصودة${\displaystyle \mathbf {x} _{i}\in \mathbb {R} ^{m}}$في ذلك الوقت${\displaystyle t_{i}}$يتم توليدها من إشارات المصدر${\displaystyle \mathbf {s} _{i}\in \mathbb {R} ^{m}}$عن طريق التحويل الخطي${\displaystyle \mathbf {x} _{i}=A\mathbf {s} _{i}}$، أين${\displaystyle A}$هي مصفوفة خلط غير معروفة وقابلة للعكس. لاستعادة إشارات المصدر، يتم أولاً توسيط البيانات (بمتوسط ​​صفري)، ثم تبييضها بحيث يكون للبيانات المحولة تباين مشترك يساوي واحدًا. هذا التبييض يقلل من تعقيد المشكلة من مجرد تقدير مصفوفة عامة.${\displaystyle A}$لتقدير مصفوفة متعامدة${\displaystyle V}$مما يبسط بشكل كبير عملية البحث عن المكونات المستقلة.

إذا كانت مصفوفة التغاير للبيانات المركزية هي${\displaystyle \Sigma _{x}=AA^{\top }}$ثم باستخدام تحليل القيم الذاتية${\displaystyle \Sigma _{x}=QDQ^{\top }}$يمكن اعتبار عملية التبييض بمثابة${\displaystyle D^{-1/2}Q^{\top }}$تضمن هذه الخطوة أن تكون المصادر المستعادة غير مترابطة وذات تباين موحد، مما يترك مهمة تدوير البيانات المُبيَّضة فقط لزيادة الاستقلال الإحصائي إلى أقصى حد. هذا الاشتقاق العام هو أساس العديد من خوارزميات تحليل المكونات المستقلة (ICA) وهو أساسي في فهم نموذج ICA. ^{[ 12 ]}

يمكن تحديد المكونات المستقلة حتى تبديل المصادر وتغيير مقياسها. ^{[ 13 ]} ويتطلب هذا التحديد ما يلي:

• أحد المصادر على الأكثر${\displaystyle s_{k}}$هو توزيع غاوسي،
• عدد الخلائط المرصودة،${\displaystyle m}$يجب أن يكون حجمه على الأقل مساوياً لعدد المكونات المقدرة${\displaystyle n}$:${\displaystyle m\geq n}$وهذا يعادل القول بأن مصفوفة الخلط${\displaystyle {\boldsymbol {A}}}$يجب أن يكون العدد من الرتبة الكاملة حتى يكون معكوسه موجودًا.

تميل مخاليط الإشارات إلى امتلاك دوال كثافة احتمالية غاوسية، بينما تميل إشارات المصدر إلى امتلاك دوال كثافة احتمالية غير غاوسية. يمكن استخلاص كل إشارة مصدر من مجموعة مخاليط الإشارات بأخذ الجداء الداخلي لمتجه الأوزان مع مخاليط الإشارات التي يوفر هذا الجداء الداخلي إسقاطًا متعامدًا لها. يكمن التحدي المتبقي في إيجاد متجه الأوزان هذا. إحدى طرق القيام بذلك هي البحث الإسقاطي . ^{[ 17 ] [ 18 ]}

تسعى تقنية البحث الإسقاطي إلى استخلاص إشارة واحدة في كل مرة بحيث تكون الإشارة المستخلصة غير غاوسية قدر الإمكان. وهذا يختلف عن تحليل المكونات المستقلة (ICA)، الذي يستخلص عادةً M إشارة في آنٍ واحد من M مزيج إشارات، الأمر الذي يتطلب تقدير مصفوفة فصل M × M. ومن المزايا العملية لتقنية البحث الإسقاطي مقارنةً بتحليل المكونات المستقلة (ICA) إمكانية استخلاص أقل من M إشارة عند الحاجة، حيث تُستخلص كل إشارة مصدر من M مزيج إشارات باستخدام متجه وزن مكون من M عنصر.

يمكننا استخدام التفرطح لاستعادة إشارة المصادر المتعددة عن طريق إيجاد متجهات الوزن الصحيحة باستخدام تقنية البحث الإسقاطي.

يتم حساب التفرطح لدالة كثافة الاحتمال لإشارة ما، لعينة محدودة، على النحو التالي:

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

أين${\displaystyle \mathbf {\overline {y}} }$هو متوسط ​​العينة لـ${\displaystyle \mathbf {y} }$، الإشارات المستخرجة. يضمن الثابت 3 أن تكون الإشارات الغاوسية ذات تفرطح صفري، والإشارات فوق الغاوسية ذات تفرطح موجب، والإشارات تحت الغاوسية ذات تفرطح سالب. المقام هو تباين${\displaystyle \mathbf {y} }$ويضمن ذلك أن يأخذ التفرطح المقاس في الحسبان تباين الإشارة. والهدف من عملية البحث عن الإسقاط هو تعظيم التفرطح، وجعل الإشارة المستخرجة غير طبيعية قدر الإمكان.

باستخدام التفرطح كمقياس لعدم التوزيع الطبيعي، يمكننا الآن دراسة كيفية تأثير تفرطح الإشارة${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$مستخلص من مجموعة من M من المخاليط${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$يتغير بتغير متجه الوزن${\displaystyle \mathbf {w} }$يدور حول نقطة الأصل. بافتراضنا أن كل إشارة مصدر${\displaystyle \mathbf {s} }$إذا كان التوزيع فائق التوزيع الغاوسي، فسنتوقع ما يلي:

1. التفرطح للإشارة المستخرجة${\displaystyle \mathbf {y} }$أن يكون في أقصى حالاته بالضبط عندما${\displaystyle \mathbf {y} =\mathbf {s} }$.
2. التفرطح للإشارة المستخرجة${\displaystyle \mathbf {y} }$أن يكون في أقصى حالاته عندما${\displaystyle \mathbf {w} }$متعامد مع المحاور المسقطة${\displaystyle S_{1}}$أو${\displaystyle S_{2}}$لأننا نعلم أن متجه الوزن الأمثل يجب أن يكون متعامدًا مع المحور المحول${\displaystyle S_{1}}$أو${\displaystyle S_{2}}$.

بالنسبة لإشارات خليط المصادر المتعددة، يمكننا استخدام التفرطح وتقنية غرام-شميدت للتعامد (GSO) لاستعادة الإشارات. بفرض وجود M خليط إشارة في فضاء ذي M بُعد، تقوم تقنية GSO بإسقاط نقاط البيانات هذه على فضاء ذي ( M-1 ) بُعد باستخدام متجه الأوزان. وباستخدام GSO، نضمن استقلالية الإشارات المستخرجة.

لإيجاد القيمة الصحيحة لـ${\displaystyle \mathbf {w} }$يمكننا استخدام طريقة التدرج الهبوطي . نقوم أولاً بتبييض البيانات، ثم تحويلها.${\displaystyle \mathbf {x} }$في مزيج جديد${\displaystyle \mathbf {z} }$، والتي لها تباين يساوي واحدًا، و${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$يمكن تحقيق هذه العملية من خلال تطبيق تحليل القيم المفردة على${\displaystyle \mathbf {x} }$،

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

إعادة تحجيم كل متجه${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$ودع${\displaystyle \mathbf {z} =\mathbf {U} }$الإشارة المستخرجة بواسطة متجه مرجح${\displaystyle \mathbf {w} }$يكون${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$إذا كان متجه الوزن w ذو طول وحدة واحدة، فإن تباين y يساوي أيضًا 1، أي${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$وبالتالي، يمكن كتابة التفرطح على النحو التالي:

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

عملية التحديث لـ${\displaystyle \mathbf {w} }$يكون:

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

أين${\displaystyle \eta }$ثابت صغير لضمان ذلك${\displaystyle \mathbf {w} }$يتقارب مع الحل الأمثل. بعد كل تحديث، نقوم بتطبيعه.${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$، وضبط${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$ونكرر عملية التحديث حتى الوصول إلى التقارب. يمكننا أيضًا استخدام خوارزمية أخرى لتحديث متجه الأوزان.${\displaystyle \mathbf {w} }$.

ثمة نهج آخر يتمثل في استخدام الإنتروبيا السالبة ^{[ 10 ] [ 19 ]} بدلاً من التفرطح. يُعد استخدام الإنتروبيا السالبة طريقةً أكثر موثوقية من التفرطح، لأن التفرطح شديد الحساسية للقيم الشاذة. تعتمد طرق الإنتروبيا السالبة على خاصية مهمة للتوزيع الغاوسي: المتغير الغاوسي له أكبر إنتروبيا بين جميع المتغيرات العشوائية المستمرة ذات التباين المتساوي. وهذا هو السبب أيضًا وراء رغبتنا في إيجاد أكبر عدد من المتغيرات غير الغاوسية. يمكن الاطلاع على برهان بسيط في الإنتروبيا التفاضلية .

${\displaystyle J(x)=S(y)-S(x)\,}$

y هو متغير عشوائي غاوسي له نفس مصفوفة التغاير الخاصة بـ x

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

يُعدّ تقريب الإنتروبيا السالبة هو

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

يمكن إيجاد برهان في الأوراق الأصلية لكومون؛ ^{[ 20 ] [ 10 ]} وقد أُعيد نشره في كتاب تحليل المكونات المستقلة من تأليف آبو هيفارينن، وجوها كارهونن، وإركي أوجا ^{[ 21 ].} ويعاني هذا التقريب أيضًا من نفس مشكلة التفرطح (الحساسية للقيم الشاذة). وقد طُوّرت مناهج أخرى. ^{[ 22 ]}

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

خيارات${\displaystyle G_{1}}$و${\displaystyle G_{2}}$نكون

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$و${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

يُعدّ تحليل المكونات المستقلة باستخدام Infomax ^{[ 23 ]} نسخةً متعددة المتغيرات ومتوازية من تقنية البحث الإسقاطي. فبينما تستخلص تقنية البحث الإسقاطي سلسلةً من الإشارات واحدةً تلو الأخرى من مجموعة من M مزيجًا من الإشارات، تستخلص تقنية تحليل المكونات المستقلة M إشارةً بالتوازي. وهذا ما يجعلها أكثر قوةً من تقنية البحث الإسقاطي. ^{[ 24 ]}

تستخدم طريقة البحث الإسقاطي تعامد غرام-شميدت لضمان استقلالية الإشارة المستخرجة، بينما تستخدم طريقة تحليل المكونات المستقلة (ICA) تقدير المعلومات القصوى وتقدير الاحتمال الأقصى لضمان استقلالية الإشارة المستخرجة. ويتم تحقيق عدم انتظام الإشارة المستخرجة من خلال تعيين نموذج مناسب، أو توزيع احتمالي مسبق، للإشارة.

باختصار، تتلخص عملية تحليل المكونات المستقلة (ICA) القائمة على مبدأ المعلومات القصوى فيما يلي: بالنظر إلى مجموعة من مخاليط الإشارات${\displaystyle \mathbf {x} }$ومجموعة من دوال التوزيع التراكمي النموذجية المستقلة المتطابقة (cdfs)${\displaystyle g}$نسعى إلى إيجاد مصفوفة الفصل${\displaystyle \mathbf {W} }$الذي يزيد من الإنتروبيا المشتركة للإشارات${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$، أين${\displaystyle \mathbf {y} =\mathbf {Wx} }$هي الإشارات المستخرجة بواسطة${\displaystyle \mathbf {W} }$بالنظر إلى الأمثل${\displaystyle \mathbf {W} }$الإشارات${\displaystyle \mathbf {Y} }$تتمتع هذه الإشارات بأقصى قدر من الإنتروبيا، وبالتالي فهي مستقلة، مما يضمن أن الإشارات المستخرجة${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$وهي مستقلة أيضاً.${\displaystyle g}$دالة قابلة للعكس، و هو نموذج الإشارة. لاحظ أنه إذا كانت دالة كثافة الاحتمال لنموذج إشارة المصدر${\displaystyle p_{s}}$يتطابق مع دالة كثافة الاحتمال للإشارة المستخرجة${\displaystyle p_{\mathbf {y} }}$ثم تعظيم الإنتروبيا المشتركة لـ${\displaystyle Y}$كما أنه يزيد من كمية المعلومات المتبادلة بين${\displaystyle \mathbf {x} }$و${\displaystyle \mathbf {Y} }$ولهذا السبب، فإن استخدام الإنتروبيا لاستخراج الإشارات المستقلة يُعرف باسم infomax .

ضع في اعتبارك إنتروبيا المتغير المتجه${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$، أين${\displaystyle \mathbf {y} =\mathbf {Wx} }$هي مجموعة الإشارات المستخرجة بواسطة مصفوفة الفصل${\displaystyle \mathbf {W} }$بالنسبة لمجموعة محدودة من القيم المأخوذة من توزيع ذي دالة كثافة احتمالية${\displaystyle p_{\mathbf {y} }}$، إنتروبيا${\displaystyle \mathbf {Y} }$ويمكن تقدير ذلك على النحو التالي:

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

ملف PDF المشترك${\displaystyle p_{\mathbf {Y} }}$يمكن إثبات ارتباطها بملف تعريف الارتباط المشترك${\displaystyle p_{\mathbf {y} }}$من الإشارات المستخرجة بواسطة الشكل متعدد المتغيرات:

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

أين${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$هي مصفوفة جاكوبي . لدينا${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$، و${\displaystyle g'}$هل يتم افتراض دالة كثافة الاحتمال لإشارات المصدر؟${\displaystyle g'=p_{s}}$، لذلك،

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

لذلك،

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

نحن نعلم ذلك عندما${\displaystyle p_{\mathbf {y} }=p_{s}}$،${\displaystyle p_{\mathbf {Y} }}$وهي موزعة بشكل منتظم، و${\displaystyle H({\mathbf {Y} })}$يتم تحقيق أقصى قدر من الفائدة. بما أن

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

أين${\displaystyle |\mathbf {W} |}$هي القيمة المطلقة لمحدد مصفوفة الفصل${\displaystyle \mathbf {W} }$. لذلك،

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

لذا،

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

منذ${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$، وتحقيق أقصى قدر من${\displaystyle \mathbf {W} }$لا يؤثر${\displaystyle H_{\mathbf {x} }}$لذلك يمكننا تحقيق أقصى قيمة للدالة

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

لتحقيق استقلالية الإشارة المستخرجة.

إذا كان هناك M دالة كثافة احتمالية هامشية لدالة كثافة الاحتمالية المشتركة للنموذج${\displaystyle p_{\mathbf {s} }}$مستقلة وتستخدم نموذج الكثافة الاحتمالية الفائق الغاوسي الشائع لإشارات المصدر${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$ثم لدينا

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w} _{i}^{\mathsf {T}}\mathbf {x} ^{t})^{2})+\ln |\mathbf {W} |}$

في المجموع، بالنظر إلى مزيج الإشارة المرصودة ${\displaystyle \mathbf {x} }$، المجموعة المقابلة من الإشارات المستخرجة ${\displaystyle \mathbf {y} }$ ونموذج إشارة المصدر${\displaystyle p_{\mathbf {s} }=g'}$، يمكننا إيجاد مصفوفة الفصل المثلى${\displaystyle \mathbf {W} }$ونجعل الإشارات المستخرجة مستقلة وغير غاوسية. وكما هو الحال في حالة البحث عن الإسقاط، يمكننا استخدام طريقة التدرج الهبوطي لإيجاد الحل الأمثل لمصفوفة الفصل.

يُعد تقدير الاحتمال الأقصى (MLE) أداة إحصائية قياسية لإيجاد قيم المعلمات (مثل مصفوفة الفصل).${\displaystyle \mathbf {W} }$) التي توفر أفضل تطابق لبعض البيانات (مثل الإشارات المستخرجة)${\displaystyle y}$) إلى نموذج معين (على سبيل المثال، دالة كثافة الاحتمال المشتركة المفترضة (pdf)${\displaystyle p_{s}}$(من إشارات المصدر). ^{[ 24 ]}

يتضمن "نموذج" التعلم الآلي مواصفات لملف PDF، وهو في هذه الحالة ملف PDF${\displaystyle p_{s}}$إشارات المصدر المجهول${\displaystyle s}$باستخدام خوارزمية ML ICA ، يتمثل الهدف في إيجاد مصفوفة فصل المكونات التي تُنتج إشارات مُستخرجة.${\displaystyle y=\mathbf {W} x}$مع ملف PDF مشترك مشابه قدر الإمكان لملف PDF المشترك${\displaystyle p_{s}}$إشارات المصدر المجهول${\displaystyle s}$.

وبالتالي، يعتمد تقدير الاحتمال الأقصى على افتراض أنه إذا كان نموذج دالة كثافة الاحتمال${\displaystyle p_{s}}$ومعلمات النموذج${\displaystyle \mathbf {A} }$إذا كانت البيانات صحيحة، فيجب الحصول على احتمالية عالية لها.${\displaystyle x}$التي تمت ملاحظتها بالفعل. وعلى العكس من ذلك، إذا${\displaystyle \mathbf {A} }$إذا كانت القيم بعيدة عن قيم المعلمات الصحيحة، فمن المتوقع أن تكون احتمالية البيانات المرصودة منخفضة.

باستخدام طريقة تقدير الاحتمال الأقصى (MLE) ، نسمي احتمال البيانات المرصودة لمجموعة معينة من قيم معلمات النموذج (على سبيل المثال، دالة كثافة الاحتمال).${\displaystyle p_{s}}$ومصفوفة${\displaystyle \mathbf {A} }$) احتمالية قيم معلمات النموذج بالنظر إلى البيانات المرصودة.

نُعرّف دالة الاحتمالية${\displaystyle \mathbf {L(W)} }$ل${\displaystyle \mathbf {W} }$:

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

وهذا يساوي كثافة الاحتمال عند${\displaystyle x}$، منذ${\displaystyle s=\mathbf {W} x}$.

وبالتالي، إذا أردنا إيجاد${\displaystyle \mathbf {W} }$من المرجح أن يكون ذلك قد أدى إلى تكوين الخلائط المرصودة${\displaystyle x}$إشارات من مصدر مجهول${\displaystyle s}$مع ملف PDF${\displaystyle p_{s}}$إذن كل ما نحتاجه هو أن نجد ذلك${\displaystyle \mathbf {W} }$مما يزيد من الاحتمالية${\displaystyle \mathbf {L(W)} }$. تُعرف مصفوفة الفصل التي تزيد من قيمة المعادلة باسم MLE لمصفوفة الفصل المثلى.

من الممارسات الشائعة استخدام دالة الاحتمال اللوغاريتمي ، لأنها أسهل في التقييم. وبما أن اللوغاريتم دالة رتيبة، فإن${\displaystyle \mathbf {W} }$الذي يزيد من قيمة الدالة${\displaystyle \mathbf {L(W)} }$كما أنه يزيد من قيمة لوغاريتمه${\displaystyle \ln \mathbf {L(W)} }$وهذا يسمح لنا بأخذ لوغاريتم المعادلة أعلاه، مما ينتج عنه دالة الاحتمال اللوغاريتمي

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

إذا استبدلنا نموذج كثافة الاحتمال عالي التفرطح الشائع الاستخدام بإشارات المصدر${\displaystyle p_{s}=(1-\tanh(s)^{2})}$ثم لدينا

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

هذه المصفوفة${\displaystyle \mathbf {W} }$إن الطريقة التي تحقق أقصى قيمة لهذه الدالة هي تقدير الاحتمال الأقصى .