شرح مجموع المربعات

في الإحصاء ، يُعرف مجموع المربعات المُفسَّر ( ESS )، أو مجموع مربعات النموذج ، أو مجموع مربعات الانحدار ( SSR - لا يُخلط بينه وبين مجموع مربعات البواقي (RSS) أو مجموع مربعات الأخطاء)، بأنه مقياس يُستخدم لوصف مدى جودة تمثيل النموذج، وغالبًا ما يكون نموذج انحدار ، للبيانات المُراد نمذجتها. ويقيس مجموع المربعات المُفسَّر مقدار التباين في القيم المُنمذجة، ويُقارن هذا المجموع بمجموع المربعات الكلي (TSS)، الذي يقيس مقدار التباين في البيانات المرصودة، وبمجموع مربعات البواقي ، الذي يقيس التباين في الخطأ بين البيانات المرصودة والقيم المُنمذجة.

مجموع مربعات الانحرافات المُفسَّرة (ESS) هو مجموع مربعات انحرافات القيم المُتوقَّعة عن متوسط ​​قيمة المتغير التابع، في نموذج الانحدار القياسي - على سبيل المثال، yᵢ = a + b₁x₁ᵢ + b₂x₂ᵢ + ... + εᵢ ، حيث yᵢ هي المشاهدة _{رقم i للمتغير} التابع ، _و x₁ᵢ _هي المشاهدة رقم _i للمتغير المُفسِّر _رقم j _، و ^{a و} b₁ᵢ هما معاملان ^، _و i يُشير إلى المشاهدات من 1 إلى n _، و εᵢ _هي القيمة رقم i لحد _الخطأ . ^بشكل عام ، كلما زاد مجموع مربعات الانحرافات المُفسَّرة، كان أداء النموذج المُقدَّر أفضل. 

لو${\displaystyle {\hat {a}}}$و${\displaystyle {\hat {b}}_{i}}$هي المعاملات المقدرة ، إذن

${\displaystyle {\hat {y}}_{i}={\hat {a}}+{\hat {b}}_{1}x_{1i}+{\hat {b}}_{2}x_{2i}+\cdots \,}$

تمثل القيمة المتوقعة ^رقم i للمتغير التابع. وبالتالي، يكون مقياس ESS كما يلي: 

${\displaystyle {\text{ESS}}=\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

أين${\displaystyle {\hat {y}}_{i}}$^{[ 1 ]} هي القيمة المقدرة بواسطة خط الانحدار.

في بعض الحالات (انظر أدناه): مجموع المربعات الكلي  (TSS) = مجموع المربعات المفسر  (ESS) + مجموع المربعات المتبقية  (RSS).

إن المساواة التالية، التي تنص على أن مجموع المربعات الكلي (TSS) يساوي مجموع مربعات البواقي (SSE، مجموع مربعات أخطاء التنبؤ) بالإضافة إلى مجموع المربعات المفسر (SSR، مجموع المربعات الناتج عن الانحدار أو مجموع المربعات المفسر)، صحيحة بشكل عام في الانحدار الخطي البسيط:

${\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-{\hat {y}}_{i}\right)^{2}+\sum _{i=1}^{n}\left({\hat {y}}_{i}-{\bar {y}}\right)^{2}.}$

نموذج الانحدار العام الذي يحتوي على n مشاهدة و k متغير تفسيري، أولها متجه وحدة ثابت معامله هو نقطة تقاطع الانحدار، هو

${\displaystyle y=X\beta +e}$

حيث يمثل y متجهًا من n × 1 لملاحظات المتغير التابع، وكل عمود من المصفوفة X من n × k هو متجه للملاحظات على أحد المتغيرات التفسيرية k ،${\displaystyle \beta }$هو متجه k × 1 للمعاملات الحقيقية، و e متجه n × 1 للأخطاء الأساسية الحقيقية. مقدِّر المربعات الصغرى العادية لـ${\displaystyle \beta }$يكون

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}y.}$

متجه الباقي${\displaystyle {\hat {e}}}$يكون${\displaystyle yX{\hat {\beta }}=yX(X^{T}X)^{-1}X^{T}y}$إذن، مجموع مربعات البواقي${\displaystyle {\hat {e}}^{T}{\hat {e}}}$أي، بعد التبسيط،

${\displaystyle RSS=y^{T}yy^{T}X(X^{T}X)^{-1}X^{T}y.}$

يُشار إليه بـ${\displaystyle {\bar {y}}}$المتجه الثابت الذي تمثل جميع عناصره متوسط ​​العينة${\displaystyle y_{m}}$من قيم المتغير التابع في المتجه y . ثم يكون المجموع الكلي للمربعات هو

${\displaystyle TSS=(y-{\bar {y}})^{T}(y-{\bar {y}})=y^{T}y-2y^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

مجموع المربعات المُفسَّر، والذي يُعرَّف بأنه مجموع مربعات انحرافات القيم المتوقعة عن المتوسط ​​المرصود لـ y ، هو

${\displaystyle ESS=({\hat {y}}-{\bar {y}})^{T}({\hat {y}}-{\bar {y}})={\hat {y}}^{T}{\hat {y}}-2{\hat {y}}^{T}{\bar {y}}+{\bar {y}}^{T}{\bar {y}}.}$

استخدام${\displaystyle {\hat {y}}=X{\hat {\beta }}}$في هذا، وبالتبسيط نحصل على${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}y}$، مما يعطي النتيجة التالية: TSS = ESS + RSS إذا وفقط إذا${\displaystyle y^{T}{\bar {y}}={\hat {y}}^{T}{\bar {y}}}$الجانب الأيسر من هذا هو${\displaystyle y_{m}}$مضروبًا في مجموع عناصر y ، والطرف الأيمن هو${\displaystyle y_{m}}$مضروبًا في مجموع عناصر${\displaystyle {\hat {y}}}$إذن، الشرط هو أن يكون مجموع عناصر y مساوياً لمجموع عناصر${\displaystyle {\hat {y}}}$أو ما يعادل ذلك مجموع أخطاء التنبؤ (البواقي)${\displaystyle y_{i}-{\hat {y}}_{i}}$يساوي صفرًا. ويمكن إثبات صحة ذلك من خلال ملاحظة خاصية المربعات الصغرى العادية المعروفة التي يكون فيها المتجه k × 1${\displaystyle X^{T}{\hat {e}}=X^{T}[I-X(X^{T}X)^{-1}X^{T}]y=0}$بما أن العمود الأول من X عبارة عن متجه من الآحاد، فإن العنصر الأول من هذا المتجه${\displaystyle X^{T}{\hat {e}}}$يمثل مجموع البواقي ويساوي صفرًا. وهذا يثبت أن الشرط متحقق للنتيجة التي مفادها أن TSS = ESS + RSS .

بمصطلحات الجبر الخطي ، لدينا${\displaystyle RSS=\|y-{\hat {y}}\|^{2}}$،${\displaystyle TSS=\|y-{\bar {y}}\|^{2}}$،${\displaystyle ESS=\|{\hat {y}}-{\bar {y}}\|^{2}}$يمكن تبسيط البرهان بملاحظة أن${\displaystyle {\hat {y}}^{T}{\hat {y}}={\hat {y}}^{T}y}$والبرهان كالتالي:

${\displaystyle {\hat {y}}^{T}{\hat {y}}=y^{T}X(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}X^{T}y=y^{T}X(X^{T}X)^{-1}X^{T}y={\hat {y}}^{T}y,}$

هكذا،

${\displaystyle {\begin{aligned}TSS&=\|y-{\bar {y}}\|^{2}=\|y-{\hat {y}}+{\hat {y}}-{\bar {y}}\|^{2}\\&=\|y-{\hat {y}}\|^{2}+\|{\hat {y}}-{\bar {y}}\|^{2}+2\langle y-{\hat {y}},{\hat {y}}-{\bar {y}}\rangle \\&=RSS+ESS+2y^{T}{\hat {y}}-2{\hat {y}}^{T}{\hat {y}}-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\\&=RSS+ESS-2y^{T}{\bar {y}}+2{\hat {y}}^{T}{\bar {y}}\end{aligned}}}$

وهذا يعطينا مرة أخرى النتيجة التالية: TSS = ESS + RSS ، لأن${\displaystyle (y-{\hat {y}})^{T}{\bar {y}}=0}$.

• مجموع المربعات (الإحصاءات)
• مجموع مربعات عدم المطابقة
• نسبة التباين غير المفسر

• إس إي ماكسويل وإتش دي ديلاني (1990)، "تصميم التجارب وتحليل البيانات: منظور مقارنة النماذج". وادزورث. الصفحات  289-290.
• جي إيه ميليكين ودي إي جونسون (1984)، "تحليل البيانات غير المنظمة"، المجلد الأول: التجارب المصممة. فان نوستراند رينهولد. الصفحات  146-151.
• بي جي تاباشنيك و إل إس فيديل (2007)، "التصميم التجريبي باستخدام تحليل التباين". دوكسبري. ص  220.
• BG Tabachnick و LS Fidell (2007)، "استخدام الإحصاءات متعددة المتغيرات"، الطبعة الخامسة. بيرسون للتعليم. ص  217-218.