الانحدار الخطي البسيط

تكون المعادلات المذكورة أعلاه فعالة للاستخدام إذا كان متوسط ​​المتغيرين x و y (${\displaystyle {\bar {x}}{\text{ and }}{\bar {y}}}$إذا كانت الوسائل معروفة، فقد يكون من الأفضل استخدام النسخة الموسعة من${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$المعادلات. يمكن اشتقاق هذه المعادلات الموسعة من معادلات الانحدار متعددة الحدود الأكثر عمومية ^{[ 7 ] [ 8 ]} عن طريق تعريف متعددة حدود الانحدار بأنها من الدرجة 1، كما يلي.

$${\displaystyle {\begin{bmatrix}n&\sum _{i=1}^{n}x_{i}\\[1ex]\sum _{i=1}^{n}x_{i}&\sum _{i=1}^{n}x_{i}^{2}\end{bmatrix}}{\begin{bmatrix}{\widehat {\alpha }}\\[1ex]{\widehat {\beta }}\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}\\[1ex]\sum _{i=1}^{n}y_{i}x_{i}\end{bmatrix}}}$$

يمكن حل نظام المعادلات الخطية المذكور أعلاه مباشرة، أو باستخدام معادلات مستقلة لـ${\displaystyle {\widehat {\alpha }}{\text{ and }}{\widehat {\beta }}}$يمكن اشتقاقها بتوسيع معادلات المصفوفة أعلاه. المعادلات الناتجة مكافئة جبريًا لتلك الموضحة في الفقرة السابقة، وهي معروضة أدناه دون برهان. ^{[ 9 ] [ 7 ]}

$${\displaystyle {\begin{aligned}{\widehat {\alpha }}&={\frac {\sum \limits _{i=1}^{n}y_{i}\sum \limits _{i=1}^{n}x_{i}^{2}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}x_{i}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}\\[2ex]{\widehat {\beta }}&={\frac {n\sum \limits _{i=1}^{n}x_{i}y_{i}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}\end{aligned}}}$$

يمكن إعادة صياغة الحل باستخدام عناصر مصفوفة التغاير : $${\displaystyle {\widehat {\beta }}={\frac {s_{x,y}}{s_{x}^{2}}}=r_{xy}{\frac {s_{y}}{s_{x}}}}$$

أين

باستبدال التعبيرات المذكورة أعلاه بـ${\displaystyle {\widehat {\alpha }}}$و${\displaystyle {\widehat {\beta }}}$يؤدي إدخالها في الحل الأصلي إلى

$${\displaystyle {\frac {y-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}.}$$

هذا يُظهر أن r _xy هو ميل خط الانحدار لنقاط البيانات المعيارية (وأن هذا الخط يمر بنقطة الأصل). بما أن${\displaystyle -1\leq r_{xy}\leq 1}$إذن، نستنتج أنه إذا كان x قياسًا ما، وy قياسًا لاحقًا لنفس العنصر، فإننا نتوقع أن يكون y (في المتوسط) أقرب إلى متوسط ​​القياس مما كان عليه بالنسبة للقيمة الأصلية لـ x. تُعرف هذه الظاهرة باسم الانحدار نحو المتوسط .

تعميم${\displaystyle {\bar {x}}}$باستخدام الترميز، يمكننا كتابة خط أفقي فوق تعبير ما للإشارة إلى متوسط ​​قيمة ذلك التعبير على مجموعة العينات. على سبيل المثال:

$${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.}$$

تتيح لنا هذه الصيغة المختصرة كتابة معادلة لـ r _xy :

$${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}.}$$

معامل التحديد ("R²") يساوي${\displaystyle r_{xy}^{2}}$عندما يكون النموذج خطيًا بمتغير مستقل واحد. انظر معامل الارتباط العيني لمزيد من التفاصيل.

بضرب جميع عناصر المجموع في البسط في  :${\displaystyle {\frac {x_{i}-{\bar {x}}}{x_{i}-{\bar {x}}}}=1}$(وبذلك لا يتم تغييره):

$${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}\\[1ex]&={\frac {\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}{\frac {y_{i}-{\bar {y}}}{x_{i}-{\bar {x}}}}}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}\\[1ex]&=\sum _{i=1}^{n}{\frac {\left(x_{i}-{\bar {x}}\right)^{2}}{\sum _{j=1}^{n}\left(x_{j}-{\bar {x}}\right)^{2}}}{\frac {y_{i}-{\bar {y}}}{x_{i}-{\bar {x}}}}\\[6pt]\end{aligned}}}$$

يمكننا أن نرى أن ميل (ظل الزاوية) خط الانحدار هو المتوسط ​​المرجح لـ${\displaystyle {\frac {y_{i}-{\bar {y}}}{x_{i}-{\bar {x}}}}}$أي ميل (ظل الزاوية) الخط الذي يربط النقطة رقم i بمتوسط ​​جميع النقاط، مرجحًا بـ${\displaystyle (x_{i}-{\bar {x}})^{2}}$لأن كلما كانت النقطة أبعد زادت "أهميتها"، حيث أن الأخطاء الصغيرة في موقعها ستؤثر بشكل أكبر على الميل الذي يربطها بالنقطة المركزية.

المعلمة${\displaystyle {\widehat {\alpha }}}$هو نقطة تقاطع الدالة الخطية${\displaystyle {\begin{aligned}{y}&={\widehat {\alpha }}\ +{\widehat {\beta }}\,{x},\\[5pt]\end{aligned}}}$لذلك، فإن${\displaystyle {y}}$نقطة تقاطع الدالة التي تم الحصول عليها باستخدام الانحدار الخطي البسيط هي

$${\displaystyle y_{\rm {intercept}}={\widehat {\alpha }}={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}}$$.

لأن${\displaystyle {\widehat {\beta }}}$هو ميل الدالة الخطية،${\displaystyle {\widehat {\beta }}=\tan(\theta )}$لذلك، الزاوية${\displaystyle \theta }$الرسم البياني للدالة يصنع مع${\displaystyle {x}}$المحور يساوي

$${\displaystyle \theta =\arctan({\widehat {\beta }})}$$.

في الصيغة أعلاه، لاحظ أن كل${\displaystyle x_{i}}$هي قيمة ثابتة ("معروفة مسبقاً")، بينما${\displaystyle y_{i}}$هي متغيرات عشوائية تعتمد على الدالة الخطية لـ${\displaystyle x_{i}}$والحد العشوائي${\displaystyle \varepsilon _{i}}$. يتم استخدام هذا الافتراض عند اشتقاق الخطأ المعياري للميل وإثبات أنه غير متحيز .

في هذا الإطار، عندما${\displaystyle x_{i}}$إذا لم يكن متغيرًا عشوائيًا في الواقع ، فما نوع المعلمة التي يمثلها الارتباط التجريبي؟${\displaystyle r_{xy}}$التقدير؟ المشكلة هي أنه لكل قيمة i سيكون لدينا:${\displaystyle E(x_{i})=x_{i}}$و${\displaystyle Var(x_{i})=0}$تفسير محتمل لـ${\displaystyle r_{xy}}$هو أن نتخيل ذلك${\displaystyle x_{i}}$يُعرّف متغيرًا عشوائيًا مُستمدًا من التوزيع التجريبي لقيم x في عيّنتنا. على سبيل المثال، إذا كانت x تحتوي على 10 قيم من الأعداد الطبيعية : [1، 2، 3، ...، 10]، فيمكننا حينها اعتبار x توزيعًا منتظمًا منفصلًا . وبناءً على هذا التفسير، فإن جميع${\displaystyle x_{i}}$لدينا نفس التوقع وبعض التباين الإيجابي. بناءً على هذا التفسير، يمكننا التفكير في${\displaystyle r_{xy}}$باعتباره مقدرًا لمعامل ارتباط بيرسون بين المتغير العشوائي y والمتغير العشوائي x (كما عرفناه للتو).

المقدرون${\displaystyle {\widehat {\alpha }}}$و${\displaystyle {\widehat {\beta }}}$غير متحيزين .

_{لإضفاء الطابع الرسمي على هذا الادعاء ،} يجب علينا تحديد إطار عمل تكون فيه هذه المُقدِّرات متغيرات عشوائية. نعتبر البواقي εᵢ متغيرات عشوائية مُستقاة بشكل مستقل من توزيع ما بمتوسط ​​صفر. بعبارة أخرى، لكل قيمة من قيم x ، يتم توليد القيمة المقابلة لـ y كمتوسط ​​استجابة α + βx بالإضافة إلى متغير عشوائي إضافي ε يُسمى حد الخطأ ، ويساوي صفرًا في المتوسط. وفقًا لهذا التفسير، فإن مُقدِّرات المربعات الصغرى${\displaystyle {\widehat {\alpha }}}$و${\displaystyle {\widehat {\beta }}}$ستكون هذه المتغيرات نفسها متغيرات عشوائية، وستكون متوسطاتها مساوية للقيم الحقيقية α و β . هذا هو تعريف المقدر غير المتحيز.

بما أن البيانات في هذا السياق تُعرَّف على أنها أزواج ( س ، ص ) لكل مشاهدة، فإن متوسط ​​الاستجابة عند قيمة معينة لـ س ، ولتكن س _د ، هو تقدير لمتوسط ​​قيم ص في المجتمع عند قيمة س د _، أي${\displaystyle {\hat {E}}(y\mid x_{d})\equiv {\hat {y}}_{d}\!}$. يُعطى تباين متوسط ​​الاستجابة بالصيغة التالية: ^{[ 11 ]}

$${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\operatorname {Var} \left({\hat {\alpha }}\right)+\left(\operatorname {Var} {\hat {\beta }}\right)x_{d}^{2}+2x_{d}\operatorname {Cov} \left({\hat {\alpha }},{\hat {\beta }}\right).}$$

يمكن تبسيط هذا التعبير إلى

$${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)=\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right),}$$

حيث يمثل m عدد نقاط البيانات.

ولتوضيح هذا التبسيط، يمكن للمرء استخدام المتطابقة

$${\displaystyle \sum _{i}(x_{i}-{\bar {x}})^{2}=\sum _{i}x_{i}^{2}-{\frac {1}{m}}\left(\sum _{i}x_{i}\right)^{2}.}$$

يُعرَّف توزيع الاستجابة المتوقع بأنه التوزيع المتوقع للبواقي عند النقطة المعطاة x _d . وبالتالي، يُعطى التباين بالصيغة التالية:

$${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)-2\operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)\\&=\operatorname {Var} (y_{d})+\operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right).\end{aligned}}}$$

وينتج السطر الثاني عن حقيقة أن${\displaystyle \operatorname {Cov} \left(y_{d},\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)}$يساوي صفرًا لأن نقطة التنبؤ الجديدة مستقلة عن البيانات المستخدمة لضبط النموذج. بالإضافة إلى ذلك، فإن المصطلح${\displaystyle \operatorname {Var} \left({\hat {\alpha }}+{\hat {\beta }}x_{d}\right)}$تم حساب متوسط ​​الاستجابة مسبقًا.

منذ${\displaystyle \operatorname {Var} (y_{d})=\sigma ^{2}}$(معامل ثابت ولكنه غير معروف ويمكن تقديره)، يُعطى تباين الاستجابة المتوقعة بواسطة

$${\displaystyle {\begin{aligned}\operatorname {Var} \left(y_{d}-\left[{\hat {\alpha }}+{\hat {\beta }}x_{d}\right]\right)&=\sigma ^{2}+\sigma ^{2}\left({\frac {1}{m}}+{\frac {\left(x_{d}-{\bar {x}}\right)^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)\\[4pt]&=\sigma ^{2}\left(1+{\frac {1}{m}}+{\frac {(x_{d}-{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right).\end{aligned}}}$$

تسمح الصيغ الواردة في القسم السابق بحساب تقديرات نقطية لـ α و β ، أي معاملات خط الانحدار لمجموعة البيانات المعطاة. مع ذلك، لا توضح هذه الصيغ مدى دقة التقديرات، أي مدى دقة المُقدِّرات.${\displaystyle {\widehat {\alpha }}}$و${\displaystyle {\widehat {\beta }}}$تختلف النتائج من عينة لأخرى بالنسبة لحجم العينة المحدد. وقد تم وضع فترات الثقة لإعطاء مجموعة معقولة من القيم للتقديرات التي قد يحصل عليها المرء إذا كرر التجربة عددًا كبيرًا جدًا من المرات.

تعتمد الطريقة القياسية لإنشاء فترات الثقة لمعاملات الانحدار الخطي على افتراض التوزيع الطبيعي، والذي يكون مبرراً إذا:

1. تتوزع الأخطاء في الانحدار توزيعًا طبيعيًا (ما يسمى بافتراض الانحدار الكلاسيكي )، أو
2. عدد المشاهدات n كبير بما فيه الكفاية، وفي هذه الحالة يكون المقدر موزعًا توزيعًا طبيعيًا تقريبًا.

يتم تبرير الحالة الأخيرة بنظرية النهاية المركزية .

افتراض التوزيع الطبيعي

بناءً على الافتراض الأول أعلاه، وهو افتراض التوزيع الطبيعي لحدود الخطأ، فإن مُقدِّر معامل الميل نفسه سيكون موزعًا توزيعًا طبيعيًا بمتوسط ​​β وتباين${\textstyle \sigma ^{2}\left/\sum _{i}(x_{i}-{\bar {x}})^{2}\right.,}$حيث σ² هو تباين حدود الخطأ (انظر ^{البراهين} المتعلقة بطريقة المربعات الصغرى العادية ). في الوقت نفسه ^، يتوزع مجموع مربعات البواقي Q بشكل متناسب مع χ² بدرجات حرية n − 2 ، وبشكل مستقل عن${\displaystyle {\widehat {\beta }}}$وهذا يسمح لنا بإنشاء قيمة t

$${\displaystyle t={\frac {{\widehat {\beta }}-\beta }{s_{\widehat {\beta }}}}\ \sim \ t_{n-2},}$$

أين

$${\displaystyle s_{\widehat {\beta }}={\sqrt {\frac {{\frac {1}{n-2}}\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}$$

هو تقدير الخطأ المعياري غير المتحيز للمُقدِّر${\displaystyle {\widehat {\beta }}}$.

تتبع قيمة t هذه توزيع t للطالب بدرجات حرية n − 2. وباستخدامها، يمكننا إنشاء فترة ثقة لـ β :

$${\displaystyle \beta \in \left[{\widehat {\beta }}-s_{\widehat {\beta }}t_{n-2}^{*},\ {\widehat {\beta }}+s_{\widehat {\beta }}t_{n-2}^{*}\right],}$$

عند مستوى ثقة (1 − γ ) ، حيث${\displaystyle t_{n-2}^{*}}$هو${\displaystyle \scriptstyle \left(1\;-\;{\frac {\gamma }{2}}\right){\text{-th}}}$الكمية المئوية لتوزيع t _{n −2} . على سبيل المثال، إذا كانت γ = 0.05 فإن مستوى الثقة هو 95%.

وبالمثل، تُعطى فترة الثقة لمعامل التقاطع α بالصيغة التالية

$${\displaystyle \alpha \in \left[{\widehat {\alpha }}-s_{\widehat {\alpha }}t_{n-2}^{*},\ {\widehat {\alpha }}+s_{\widehat {\alpha }}t_{n-2}^{*}\right],}$$

عند مستوى ثقة (1 − γ )، حيث

$${\displaystyle s_{\widehat {\alpha }}=s_{\widehat {\beta }}{\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}}}={\sqrt {{\frac {1}{n(n-2)}}\left(\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}\right){\frac {\sum _{i=1}^{n}x_{i}^{2}}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}}}$$

تُعطينا فترات الثقة لـ α و β فكرة عامة عن المواضع التي يُرجّح أن تتواجد فيها معاملات الانحدار هذه. على سبيل المثال، في انحدار قانون أوكون الموضح هنا، تكون تقديرات النقاط هي

$${\displaystyle {\widehat {\alpha }}=0.859,\qquad {\widehat {\beta }}=-1.817.}$$

فترات الثقة بنسبة 95% لهذه التقديرات هي

$${\displaystyle \alpha \in \left[\,0.76,0.96\right],\qquad \beta \in \left[-2.06,-1.58\,\right].}$$

لتمثيل هذه المعلومات بيانيًا، في شكل نطاقات ثقة حول خط الانحدار، يجب توخي الحذر ومراعاة التوزيع المشترك للمُقدِّرات. يمكن إثبات ^{[ 12 ]} أنه عند مستوى ثقة (1  − γ )، يكون لنطاق الثقة شكل زائدي مُعطى بالمعادلة 

$${\displaystyle (\alpha +\beta \xi )\in \left[\,{\widehat {\alpha }}+{\widehat {\beta }}\xi \pm t_{n-2}^{*}{\sqrt {\left({\frac {1}{n-2}}\sum {\widehat {\varepsilon }}_{i}^{\,2}\right)\cdot \left({\frac {1}{n}}+{\frac {(\xi -{\bar {x}})^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}\right)}}\,\right].}$$

عندما افترض النموذج أن نقطة التقاطع ثابتة وتساوي صفرًا (${\displaystyle \alpha =0}$)، يتحول الخطأ المعياري للميل إلى:

$${\displaystyle s_{\widehat {\beta }}={\sqrt {{\frac {1}{n-1}}{\frac {\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}^{\,2}}{\sum _{i=1}^{n}x_{i}^{2}}}}}}$$

مع:${\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}}$

أحيانًا يكون من المناسب إجبار خط الانحدار على المرور بنقطة الأصل، لأن x و y يُفترض أنهما متناسبان. بالنسبة للنموذج بدون الحد الثابت، y = βx ، فإن مُقدِّر المربعات الصغرى العادية لـ β يتبسط إلى

$${\displaystyle {\widehat {\beta }}={\frac {\sum _{i=1}^{n}x_{i}y_{i}}{\sum _{i=1}^{n}x_{i}^{2}}}={\frac {\overline {xy}}{\overline {x^{2}}}}}$$

باستبدال ( x − h , y − k ) بدلاً من ( x , y ) نحصل على الانحدار من خلال ( h , k ) :

$${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-h)(y_{i}-k)}{\sum _{i=1}^{n}(x_{i}-h)^{2}}}={\frac {\overline {(x-h)(y-k)}}{\overline {(x-h)^{2}}}}\\[6pt]&={\frac {{\overline {xy}}-k{\bar {x}}-h{\bar {y}}+hk}{{\overline {x^{2}}}-2h{\bar {x}}+h^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}+({\bar {x}}-h)({\bar {y}}-k)}{{\overline {x^{2}}}-{\bar {x}}^{2}+({\bar {x}}-h)^{2}}}\\[6pt]&={\frac {\operatorname {Cov} (x,y)+({\bar {x}}-h)({\bar {y}}-k)}{\operatorname {Var} (x)+({\bar {x}}-h)^{2}}},\end{aligned}}}$$

حيث يشير Cov و Var إلى التباين والتباين المشترك لبيانات العينة (دون تصحيح الانحياز). يوضح الشكل الأخير أعلاه كيف يؤثر تحريك الخط بعيدًا عن مركز كتلة نقاط البيانات على الميل.