تحليل الانحدار

📅 آخر تحديث: ٢٨ يوليو ٢٠٢٦
✍️ نُشر في: ٢٨ يوليو ٢٠٢٦
📷 يحتوي على 81 صور
الموسوعة الحرة
خط الانحدار لـ 50 نقطة عشوائية في توزيع غاوسي حول الخط y=1.5x+2

في النمذجة الإحصائية ، يُعد تحليل الانحدار أسلوبًا إحصائيًا لتقدير العلاقة بين متغير تابع (يُسمى غالبًا متغير النتيجة أو متغير الاستجابة ، أو تصنيف في مصطلحات التعلم الآلي) ومتغير مستقل واحد أو أكثر (يُسمى غالبًا المتغيرات المستقلة ، أو المتغيرات التنبؤية ، أو المتغيرات المصاحبة ، أو المتغيرات التفسيرية ، أو السمات ). [ 1 ] [ 2 ]

يُعدّ الانحدار الخطي الشكل الأكثر شيوعًا لتحليل الانحدار ، حيث يتم فيه إيجاد الخط (أو توليفة خطية أكثر تعقيدًا ) الذي يُطابق البيانات بدقة وفقًا لمعيار رياضي مُحدد. على سبيل المثال، تحسب طريقة المربعات الصغرى العادية الخط (أو المستوى الفائق ) الوحيد الذي يُقلل مجموع مربعات الفروق بين البيانات الحقيقية وهذا الخط (أو المستوى الفائق). ولأسباب رياضية مُحددة (انظر الانحدار الخطي )، يُتيح ذلك للباحث تقدير القيمة المتوقعة الشرطية (أو متوسط ​​قيمة المجتمع ) للمتغير التابع عندما تأخذ المتغيرات المستقلة مجموعة مُعينة من القيم. تستخدم أشكال الانحدار الأقل شيوعًا إجراءات مُختلفة قليلًا لتقدير معلمات الموقع البديلة (مثل انحدار الكميات أو تحليل الشرط الضروري [ 3 ] ) أو لتقدير القيمة المتوقعة الشرطية عبر مجموعة أوسع من النماذج غير الخطية (مثل الانحدار غير البارامتري ).

يُستخدم تحليل الانحدار بشكل أساسي لغرضين متميزين من حيث المفهوم. أولًا، يُستخدم تحليل الانحدار على نطاق واسع للتنبؤ والتوقع ، حيث يتداخل استخدامه بشكل كبير مع مجال التعلم الآلي . ثانيًا، في بعض الحالات، يُمكن استخدام تحليل الانحدار لاستنتاج العلاقات السببية بين المتغيرات المستقلة والتابعة. ومن المهم الإشارة إلى أن الانحدارات بحد ذاتها لا تكشف إلا عن العلاقات بين متغير تابع ومجموعة من المتغيرات المستقلة في مجموعة بيانات ثابتة. لاستخدام الانحدارات للتنبؤ أو لاستنتاج العلاقات السببية، على التوالي، يجب على الباحث أن يُبرر بدقة سبب امتلاك العلاقات القائمة قدرة تنبؤية في سياق جديد، أو سبب وجود تفسير سببي للعلاقة بين متغيرين. يُعد هذا الأخير بالغ الأهمية، خاصةً عندما يأمل الباحثون في تقدير العلاقات السببية باستخدام بيانات رصدية . [ 4 ] [ 5 ]

تاريخ

ظهرت أولى أشكال الانحدار في أعمال إسحاق نيوتن عام 1700 أثناء دراسته للاعتدالين ، ويُنسب إليه الفضل في تقديم "تحليل انحدار خطي بدائي"، إذ "لم يكتفِ بإجراء عملية حساب متوسط ​​مجموعة من البيانات، قبل توبياس ماير بخمسين عامًا ، بل إنه بجمع البواقي إلى الصفر، أجبر خط الانحدار على المرور بنقطة المتوسط. كما ميّز بين مجموعتين غير متجانستين من البيانات، وربما فكّر في حل أمثل من حيث التحيز، وإن لم يكن من حيث الفعالية." [ 6 ] وكان قد استخدم سابقًا طريقة حساب المتوسط ​​في عمله عام 1671 على حلقات نيوتن ، وهو أمر غير مسبوق في ذلك الوقت. [ 7 ]

نُشرت طريقة المربعات الصغرى بواسطة ليجندر عام 1805 ، [ 8 ] وبواسطة غاوس عام 1809. [ 9 ] وقد طبّق كلٌّ من ليجندر وغوس هذه الطريقة على مشكلة تحديد مدارات الأجرام السماوية حول الشمس (معظمها مذنبات، ولكن أيضًا لاحقًا الكواكب الصغيرة المكتشفة حديثًا آنذاك ) انطلاقًا من الرصد الفلكي. ونشر غاوس تطويرًا إضافيًا لنظرية المربعات الصغرى عام 1821، [ 10 ] متضمنًا صيغةً من نظرية غاوس-ماركوف .

صاغ فرانسيس غالتون مصطلح "الانحدار" في القرن التاسع عشر لوصف ظاهرة بيولوجية. وتتمثل هذه الظاهرة في ميل أطوال أحفاد الأسلاف الطوال إلى الانحدار نحو المتوسط ​​الطبيعي (وهي ظاهرة تُعرف أيضًا بالانحدار نحو المتوسط ). [ 11 ] [ 12 ] بالنسبة لغالتون، كان للانحدار هذا المعنى البيولوجي فقط، [ 13 ] [ 14 ] ولكن تم توسيع نطاق عمله لاحقًا بواسطة أودني يول وكارل بيرسون ليشمل سياقًا إحصائيًا أكثر عمومية. [ 15 ] [ 16 ] في عمل يول وبيرسون، يُفترض أن التوزيع المشترك للمتغير التابع والمتغيرات المستقلة يتبع التوزيع الطبيعي (غاوسي) . وقد تم إضعاف هذا الافتراض بواسطة آر. إيه. فيشر في أعماله عامي 1922 و1925. [ 17 ] [ 18 ] [ 19 ] افترض فيشر أن التوزيع الشرطي للمتغير التابع يتبع التوزيع الطبيعي (غاوسي)، ولكن ليس بالضرورة أن يكون التوزيع المشترك كذلك. وفي هذا الصدد، فإن افتراض فيشر أقرب إلى صياغة جاوس لعام 1821.

في خمسينيات وستينيات القرن العشرين، استخدم الاقتصاديون الآلات الحاسبة المكتبية الكهروميكانيكية لحساب الانحدارات. قبل عام 1970، كان الحصول على نتيجة انحدار واحد يستغرق أحيانًا ما يصل إلى 24 ساعة. [ 20 ]

لا تزال أساليب الانحدار مجالًا خصبًا للبحث العلمي. ففي العقود الأخيرة، طُوّرت أساليب جديدة للانحدار القوي ، والانحدار الذي يتضمن استجابات مترابطة كالسلاسل الزمنية ومنحنيات النمو ، والانحدار الذي تكون فيه المتغيرات المستقلة أو المستجيبة عبارة عن منحنيات أو صور أو رسوم بيانية أو غيرها من البيانات المعقدة، وأساليب الانحدار التي تستوعب أنواعًا مختلفة من البيانات المفقودة، والانحدار غير البارامتري ، والأساليب البايزية للانحدار، والانحدار الذي تُقاس فيه المتغيرات المستقلة مع وجود خطأ، والانحدار الذي يحتوي على عدد من المتغيرات المستقلة يفوق عدد المشاهدات، والاستدلال السببي باستخدام الانحدار. ويُجرى تحليل الانحدار الحديث عادةً باستخدام برامج إحصائية وجداول بيانات على أجهزة الحاسوب، بالإضافة إلى الآلات الحاسبة العلمية والبيانية المحمولة .

نموذج الانحدار

عمليًا، يختار الباحثون أولًا النموذج الذي يرغبون في تقديره، ثم يستخدمون الطريقة التي اختاروها (مثل طريقة المربعات الصغرى العادية ) لتقدير معلمات ذلك النموذج. تتضمن نماذج الانحدار المكونات التالية:

  • المعلمات المجهولة ، والتي غالباً ما يُشار إليها كقيمة عددية أو متجهةβ{\displaystyle \beta }.
  • المتغيرات المستقلة ، التي تُلاحظ في البيانات، وغالبًا ما يُشار إليها كمتجهXأنا{\displaystyle X_{i}}(أينأنا{\displaystyle i}(يشير إلى صف من البيانات).
  • المتغير التابع ، الذي يُلاحظ في البيانات ويُشار إليه غالبًا باستخدام القيمة العدديةYأنا{\displaystyle Y_{i}}.
  • حدود الخطأ ، التي لا تُلاحظ مباشرة في البيانات، وغالبًا ما يُشار إليها باستخدام العدد القياسيهـأنا{\displaystyle e_{i}}.

في مختلف مجالات التطبيق ، يتم استخدام مصطلحات مختلفة بدلاً من المتغيرات التابعة والمستقلة .

تقترح معظم نماذج الانحدار أنYأنا{\displaystyle Y_{i}}هي دالة ( دالة انحدار ) لـXأنا{\displaystyle X_{i}}وβ{\displaystyle \beta }، معهـأنا{\displaystyle e_{i}}يمثل حد خطأ إضافي قد يحل محل المحددات غير المُنمذجة لـYأنا{\displaystyle Y_{i}}أو ضوضاء إحصائية عشوائية:

Yأنا=و(Xأنا،β)+هـأنا{\displaystyle Y_{i}=f(X_{i},\beta )+e_{i}}

في نموذج الانحدار القياسي، المتغيرات المستقلةXأنا{\displaystyle X_{i}}يُفترض أن تكون المتغيرات خالية من الأخطاء. ويمكن استخدام نموذج الأخطاء في المتغيرات إذا افترضنا أن المتغيرات المستقلة تحتوي على أخطاء. كما يمكن إجراء تعديلات أخرى على نموذج الانحدار القياسي لمراعاة سيناريوهات مختلفة، مثل الحالات التي تتضمن متغيرات محذوفة ، أو متغيرات مربكة ، أو مشكلة التداخل الداخلي .

هدف الباحثين هو تقدير الدالةو(Xأنا،β){\displaystyle f(X_{i},\beta )}التي تُناسب البيانات بشكلٍ أدق. لإجراء تحليل الانحدار، يكون شكل الدالةو{\displaystyle f}يجب تحديد ذلك. في بعض الأحيان، يعتمد شكل هذه الدالة على معرفة العلاقة بينYأنا{\displaystyle Y_{i}}وXأنا{\displaystyle X_{i}}لا يعتمد ذلك على البيانات. إذا لم تتوفر مثل هذه المعلومات، فيُستخدم نموذج مرن أو مناسب لـو{\displaystyle f}يتم اختيارها. على سبيل المثال، قد يقترح تحليل الانحدار الأحادي البسيطو(Xأنا،β)=β0+β1Xأنا{\displaystyle f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}}مما يشير إلى أن الباحث يعتقدYأنا=β0+β1Xأنا+هـأنا{\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}}أن تكون تقريبًا معقولًا للعملية الإحصائية التي تولد البيانات.

بمجرد أن يحدد الباحثون النموذج الإحصائي المفضل لديهم ، توفر أشكال مختلفة من تحليل الانحدار أدوات لتقدير المعلمات.β{\displaystyle \beta }على سبيل المثال، تُستخدم طريقة المربعات الصغرى (بما في ذلك أكثر أنواعها شيوعًا، وهي طريقة المربعات الصغرى العادية ) لإيجاد قيمةβ{\displaystyle \beta }الذي يقلل من مجموع مربعات الأخطاء∑أنا(Yأنا-و(Xأنا،β))2{\displaystyle \sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}}ستوفر طريقة الانحدار المحددة في النهاية تقديرًا لـβ{\displaystyle \beta }، ويشار إليه عادة بـβ^{\displaystyle {\hat {\beta }}}لتمييز التقدير عن القيمة الحقيقية (غير المعروفة) للمعلمة التي ولّدت البيانات. باستخدام هذا التقدير، يمكن للباحث بعد ذلك استخدام القيمة المُقدَّرة.Yأنا^=و(Xأنا،β^){\displaystyle {\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})}للتنبؤ أو لتقييم دقة النموذج في تفسير البيانات. ما إذا كان الباحث مهتمًا بشكل جوهري بالتقديرβ^{\displaystyle {\hat {\beta }}}أو القيمة المتوقعةYأنا^{\displaystyle {\hat {Y_{i}}}}سيعتمد ذلك على السياق والأهداف. وكما هو موضح في طريقة المربعات الصغرى العادية ، فإن طريقة المربعات الصغرى تُستخدم على نطاق واسع لأن الدالة المُقدَّرةو(Xأنا،β^){\displaystyle f(X_{i},{\hat {\beta }})}يقارب التوقع الشرطيهـ(Yأنا|Xأنا){\displaystyle E(Y_{i}|X_{i})}[ 9 ] ومع ذلك ، فإن البدائل (مثل الانحرافات المطلقة الصغرى أو انحدار الكميات ) مفيدة عندما يرغب الباحثون في نمذجة وظائف أخرىو(Xأنا،β){\displaystyle f(X_{i},\beta )}.

يجب توفر بيانات كافية لتقدير نموذج الانحدار. على سبيل المثال، لنفترض أن الباحث لديه إمكانية الوصول إلىشمال{\displaystyle N}صفوف من البيانات تحتوي على متغير تابع واحد ومتغيرين مستقلين:(Yأنا،X1أنا،X2أنا){\displaystyle (Y_{i},X_{1i},X_{2i})}لنفترض كذلك أن الباحث يريد تقدير نموذج خطي ثنائي المتغيرات عبر طريقة المربعات الصغرى :Yأنا=β0+β1X1أنا+β2X2أنا+هـأنا{\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}}إذا كان الباحث لا يملك سوى إمكانية الوصول إلىشمال=2{\displaystyle N=2}نقاط البيانات، ثم يمكنهم إيجاد عدد لا نهائي من التركيبات(β^0،β^1،β^2){\displaystyle ({\hat {\beta }}_{0},{\hat {\beta }}_{1},{\hat {\beta }}_{2})}التي تفسر البيانات بنفس القدر من الجودة: يمكن اختيار أي تركيبة تحقق الشروط التالية:Y^أنا=β^0+β^1X1أنا+β^2X2أنا{\displaystyle {\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}}وكل ذلك يؤدي إلى∑أناهـ^أنا2=∑أنا(Y^أنا-(β^0+β^1X1أنا+β^2X2أنا))2=0{\displaystyle \sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0}وبالتالي، فهي حلول صحيحة تقلل مجموع مربعات البواقي . لفهم سبب وجود عدد لا نهائي من الخيارات، لاحظ أن نظامشمال=2{\displaystyle N=2}يجب حل المعادلات لإيجاد ثلاثة مجاهيل، مما يجعل النظام غير محدد . بدلاً من ذلك، يمكن تصور عدد لا نهائي من المستويات ثلاثية الأبعاد التي تمر عبرشمال=2{\displaystyle N=2}نقاط ثابتة.

وبشكل أعم، لتقدير نموذج المربعات الصغرى معك{\displaystyle k}يجب أن تتوفر معايير مميزة.شمال≥ك{\displaystyle N\geq k}نقاط بيانات مميزة. إذاشمال>ك{\displaystyle N>k}إذاً، لا توجد عموماً مجموعة من المعايير التي تتناسب تماماً مع البيانات. الكميةشمال-ك{\displaystyle N-k}يظهر هذا المصطلح بشكل متكرر في تحليل الانحدار، ويُشار إليه بدرجات الحرية في النموذج. علاوة على ذلك، لتقدير نموذج المربعات الصغرى، تُستخدم المتغيرات المستقلة(X1أنا،X2أنا،...،Xكأنا){\displaystyle (X_{1i},X_{2i},...,X_{ki})}يجب أن تكون المتغيرات مستقلة خطيًا : أي لا يمكن إعادة بناء أي من المتغيرات المستقلة عن طريق جمع وضرب المتغيرات المستقلة المتبقية. وكما نوقش في طريقة المربعات الصغرى العادية ، يضمن هذا الشرط أنXتيX{\displaystyle X^{T}X}هي مصفوفة قابلة للعكس، وبالتالي فإن لها حلاً وحيداًβ^{\displaystyle {\hat {\beta }}}موجود.

الافتراضات الأساسية

في حد ذاته، يُعدّ الانحدار مجرد عملية حسابية تُجرى على مجموعة من البيانات. ولتفسير الانحدار الناتج كنموذج إحصائي ذي دلالة يُحدد العلاقات في العالم الحقيقي، يعتمد الباحثون غالبًا على عدد من الافتراضات الكلاسيكية . وتشمل هذه الافتراضات عادةً ما يلي:

  • العينة تمثل السكان بشكل عام.
  • يتم قياس المتغيرات المستقلة بدون خطأ.
  • الانحرافات عن النموذج لها قيمة متوقعة تساوي صفرًا، بشرط وجود المتغيرات المصاحبة:هـ(هـأنا|Xأنا)=0{\displaystyle E(e_{i}|X_{i})=0}
  • تباين البواقيهـأنا{\displaystyle e_{i}}ثابت عبر جميع الملاحظات ( تجانس التباين ).
  • البواقيهـأنا{\displaystyle e_{i}}لا توجد علاقة بينها وبين بعضها البعض. رياضياً، مصفوفة التباين والتباين المشترك للأخطاء قطرية .

يكفي توفر عدد قليل من الشروط لكي يتمتع مُقدِّر المربعات الصغرى بخصائص مرغوبة: على وجه الخصوص، تفترض افتراضات جاوس-ماركوف أن تقديرات المعلمات ستكون غير متحيزة ، ومتسقة ، وفعالة ضمن فئة المُقدِّرات الخطية غير المتحيزة. وقد طوّر الممارسون مجموعة متنوعة من الأساليب للحفاظ على بعض أو كل هذه الخصائص المرغوبة في بيئات العالم الحقيقي، لأن هذه الافتراضات الكلاسيكية من غير المرجح أن تتحقق بدقة. على سبيل المثال، يمكن أن يؤدي نمذجة الأخطاء في المتغيرات إلى تقديرات معقولة، حيث تُقاس المتغيرات المستقلة بأخطاء. وتسمح الأخطاء المعيارية المتسقة مع التباين غير المتجانس بتباينهـأنا{\displaystyle e_{i}}للتغيير عبر قيمXأنا{\displaystyle X_{i}}يمكن معالجة الأخطاء المترابطة الموجودة ضمن مجموعات فرعية من البيانات أو التي تتبع أنماطًا محددة باستخدام الأخطاء المعيارية المجمعة، أو الانحدار الموزون جغرافيًا ، أو أخطاء نيوي-ويست المعيارية، من بين تقنيات أخرى. عندما تتوافق صفوف البيانات مع مواقع في الفضاء، فإن اختيار كيفية نمذجةهـأنا{\displaystyle e_{i}}قد يكون للاختلافات داخل الوحدات الجغرافية عواقب مهمة. [ 21 ] [ 22 ] يركز فرع الاقتصاد القياسي بشكل كبير على تطوير تقنيات تسمح للباحثين بالتوصل إلى استنتاجات معقولة في العالم الحقيقي في بيئات واقعية، حيث لا تنطبق الافتراضات الكلاسيكية تمامًا.

الانحدار الخطي

في الانحدار الخطي، تتمثل مواصفات النموذج في أن المتغير التابع،yأنا{\displaystyle y_{i}}هو توليفة خطية من المعاملات (ولكن ليس بالضرورة أن يكون خطيًا في المتغيرات المستقلة ). على سبيل المثال، في الانحدار الخطي البسيط لنمذجةن{\displaystyle n}توجد نقطة بيانات واحدة تحتوي على متغير مستقل واحد:xأنا{\displaystyle x_{i}}ومعاملان،β0{\displaystyle \beta _{0}}وβ1{\displaystyle \beta _{1}}:

خط مستقيم:yأنا=β0+β1xأنا+εأنا،أنا=1،...،ن.{\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!}

في الانحدار الخطي المتعدد، توجد عدة متغيرات مستقلة أو دوال للمتغيرات المستقلة.

إضافة مصطلح فيxأنا2{\displaystyle x_{i}^{2}}يؤدي تطبيق الانحدار السابق إلى:

القطع المكافئ:yأنا=β0+β1xأنا+β2xأنا2+εأنا، أنا=1،...،ن.{\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!}

هذا لا يزال انحدارًا خطيًا؛ على الرغم من أن التعبير الموجود على الجانب الأيمن هو تعبير تربيعي في المتغير المستقلxأنا{\displaystyle x_{i}}، فهو خطي في المعاملاتβ0{\displaystyle \beta _{0}}،β1{\displaystyle \beta _{1}}وβ2.{\displaystyle \beta _{2}.}

في كلتا الحالتين،εأنا{\displaystyle \varepsilon _{i}}هو حد خطأ والرمز السفليأنا{\displaystyle i}يشير إلى ملاحظة معينة.

بالعودة إلى حالة الخط المستقيم: بالنظر إلى عينة عشوائية من المجتمع، نقوم بتقدير معلمات المجتمع ونحصل على نموذج الانحدار الخطي للعينة:

y^أنا=β^0+β^1xأنا.{\displaystyle {\widehat {y}}_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}.}

الباقي ،​هـأنا=yأنا-y^أنا{\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}، هو الفرق بين قيمة المتغير التابع المتوقعة بواسطة النموذج،y^أنا{\displaystyle {\widehat {y}}_{i}}، والقيمة الحقيقية للمتغير التابع،yأنا{\displaystyle y_{i}}إحدى طرق التقدير هي طريقة المربعات الصغرى العادية . تُنتج هذه الطريقة تقديرات للمعلمات تُقلل مجموع مربعات البواقي ( SSR) .

SSR=∑أنا=1نهـأنا2{\displaystyle SSR=\sum _{i=1}^{n}e_{i}^{2}}

يؤدي تصغير هذه الدالة إلى مجموعة من المعادلات العادية ، وهي مجموعة من المعادلات الخطية المتزامنة في المعاملات، والتي يتم حلها للحصول على مقدرات المعاملات.β^0،β^1{\displaystyle {\widehat {\beta }}_{0},{\widehat {\beta }}_{1}}.

توضيح للانحدار الخطي على مجموعة بيانات

في حالة الانحدار البسيط، تكون صيغ تقديرات المربعات الصغرى كما يلي:

β^1=∑(xأنا-x¯)(yأنا-y¯)∑(xأنا-x¯)2{\displaystyle {\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}}
β^0=y¯-β^1x¯{\displaystyle {\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}}

أينx¯{\displaystyle {\bar {x}}}هو المتوسط ​​(المعدل) لـx{\displaystyle x}القيم وy¯{\displaystyle {\bar {y}}}هو متوسطy{\displaystyle y}قيم.

بافتراض أن حد الخطأ في المجتمع له تباين ثابت، فإن تقدير هذا التباين يُعطى بالصيغة التالية:

σ^ε2=SSRن-2{\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {SSR}{n-2}}}

يُطلق على هذا اسم متوسط ​​مربع الخطأ (MSE) للانحدار. المقام هو حجم العينة مطروحًا منه عدد معلمات النموذج المقدرة من نفس البيانات.(ن-ص){\displaystyle (n-p)}لص{\displaystyle p}المتغيرات التراجعية أو(ن-ص-1){\displaystyle (n-p-1)}إذا تم استخدام نقطة تقاطع. [ 23 ] في هذه الحالة،ص=1{\displaystyle p=1}إذن المقام هون-2{\displaystyle n-2}.

تُعطى الأخطاء المعيارية لتقديرات المعلمات بالصيغة التالية:

σ^β1=σ^ε1∑(xأنا-x¯)2{\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}}
σ^β0=σ^ε1ن+x¯2∑(xأنا-x¯)2=σ^β1∑xأنا2ن.{\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}.}

وبافتراض إضافي أن حد الخطأ في المجتمع موزع توزيعًا طبيعيًا، يمكن للباحث استخدام هذه الأخطاء المعيارية المقدرة لإنشاء فترات ثقة وإجراء اختبارات الفرضيات حول معلمات المجتمع .

النموذج الخطي العام

في نموذج الانحدار المتعدد الأكثر عمومية، هناكص{\displaystyle p}المتغيرات المستقلة:

yأنا=β1xأنا1+β2xأنا2+⋯+βصxأناص+εأنا،{\displaystyle y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i},\,}

أينxأناج{\displaystyle x_{ij}}هوأنا{\displaystyle i}الملاحظة رقم - علىج{\displaystyle j}المتغير المستقل رقم - إذا كان المتغير المستقل الأول يأخذ القيمة 1 لجميعأنا{\displaystyle i}،xأنا1=1{\displaystyle x_{i1}=1}، ثمβ1{\displaystyle \beta _{1}}يُطلق عليه اسم نقطة التقاطع في الانحدار .

يتم الحصول على تقديرات معلمات المربعات الصغرى منص{\displaystyle p}المعادلات العادية. يمكن كتابة الباقي على النحو التالي

εأنا=yأنا-β^1xأنا1-⋯-β^صxأناص.{\displaystyle \varepsilon _{i}=y_{i}-{\hat {\beta }}_{1}x_{i1}-\cdots -{\hat {\beta }}_{p}x_{ip}.}

المعادلات العادية هي

∑أنا=1ن∑ك=1صxأناجxأناكβ^ك=∑أنا=1نxأناجyأنا، ج=1،...،ص.{\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{p}x_{ij}x_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}x_{ij}y_{i},\ j=1,\dots ,p.\,}

في تدوين المصفوفات، تُكتب المعادلات العادية على النحو التالي

(X⊤X)β^=X⊤Y،{\displaystyle \mathbf {(X^{\top }X){\hat {\boldsymbol {\beta }}}={}X^{\top }Y} ,\,}

حيثأناج{\displaystyle ij}عنصر منX{\displaystyle \mathbf {X} }يكونxأناج{\displaystyle x_{ij}}، الأنا{\displaystyle i}عنصر من متجه العمودY{\displaystyle Y}يكونyأنا{\displaystyle y_{i}}وج{\displaystyle j}عنصر منβ^{\displaystyle {\hat {\boldsymbol {\beta }}}}يكونβ^ج{\displaystyle {\hat {\beta }}_{j}}. هكذاX{\displaystyle \mathbf {X} }يكونن×ص{\displaystyle n\times p}،Y{\displaystyle Y}يكونن×1{\displaystyle n\times 1}، وβ^{\displaystyle {\hat {\boldsymbol {\beta }}}}يكونص×1{\displaystyle p\times 1}الحل هو

β^=(X⊤X)-1X⊤Y.{\displaystyle \mathbf {{\hat {\boldsymbol {\beta }}}=(X^{\top }X)^{-1}X^{\top }Y} .\,}

التشخيص

بعد بناء نموذج الانحدار، قد يكون من المهم التأكد من جودة مطابقة النموذج والدلالة الإحصائية للمعاملات المُقدَّرة. تشمل طرق التحقق الشائعة من جودة المطابقة معامل التحديد (R²) ، وتحليل نمط البواقي ، واختبار الفرضيات. ويمكن التحقق من الدلالة الإحصائية عن طريق اختبار F للمطابقة الكلية، متبوعًا باختبارات t للمعاملات الفردية.

تعتمد تفسيرات هذه الاختبارات التشخيصية بشكل كبير على افتراضات النموذج. ورغم إمكانية استخدام فحص البواقي لإبطال النموذج، إلا أن نتائج اختبار t أو اختبار F قد تكون أكثر صعوبة في التفسير إذا لم تتحقق افتراضات النموذج. على سبيل المثال، إذا لم يتبع حد الخطأ التوزيع الطبيعي، فلن تتبع المعلمات المقدرة التوزيع الطبيعي في العينات الصغيرة، مما يعقد عملية الاستدلال. أما في العينات الكبيرة نسبيًا، فيمكن تطبيق نظرية النهاية المركزية، بحيث يمكن إجراء اختبار الفرضيات باستخدام التقريبات التقاربية.

متغيرات تابعة محدودة

غالباً ما تظهر المتغيرات التابعة المحدودة ، وهي متغيرات الاستجابة التي تكون فئوية أو مقيدة بالوقوع فقط في نطاق معين، في الاقتصاد القياسي .

قد يكون المتغير التابع غير متصل (أي يقتصر على مجموعة فرعية من خط الأعداد الحقيقية). بالنسبة للمتغيرات الثنائية (صفر أو واحد)، إذا تم التحليل باستخدام الانحدار الخطي للمربعات الصغرى، يُسمى النموذج بنموذج الاحتمالية الخطية . تشمل النماذج غير الخطية للمتغيرات التابعة الثنائية نموذجي البروبيت واللوجيت . يُعد نموذج البروبيت متعدد المتغيرات طريقة قياسية لتقدير العلاقة المشتركة بين عدة متغيرات تابعة ثنائية وبعض المتغيرات المستقلة. بالنسبة للمتغيرات الفئوية التي تحتوي على أكثر من قيمتين، يوجد نموذج اللوجيت متعدد الحدود . أما بالنسبة للمتغيرات الترتيبية التي تحتوي على أكثر من قيمتين، فيوجد نموذجا اللوجيت المرتب والبروبيت المرتب . يمكن استخدام نماذج الانحدار الخاضعة للرقابة عندما يُلاحظ المتغير التابع في بعض الأحيان فقط، ويمكن استخدام نماذج تصحيح هيكمان عندما لا يتم اختيار العينة عشوائيًا من مجتمع الدراسة.

يُعدّ الانحدار الخطي القائم على الارتباط متعدد الفئات (أو الارتباطات التسلسلية المتعددة) بين المتغيرات الفئوية بديلاً لهذه الإجراءات . وتختلف هذه الإجراءات في الافتراضات المُعتمدة حول توزيع المتغيرات في المجتمع. فإذا كان المتغير موجبًا بقيم منخفضة ويمثل تكرار وقوع حدث ما، فيمكن استخدام نماذج العد مثل انحدار بواسون أو نموذج ذي الحدين السالب .

الانحدار غير الخطي

عندما لا تكون دالة النموذج خطية في المعاملات، يجب تقليل مجموع المربعات باستخدام إجراء تكراري. وهذا يُسبب العديد من التعقيدات التي تم تلخيصها في قسم " الاختلافات بين المربعات الصغرى الخطية وغير الخطية" .

التنبؤ (الاستيفاء والاستقراء)

في المنتصف، يمثل الخط المستقيم المُلائم أفضل توازن بين النقاط أعلى وأسفل هذا الخط. وتمثل الخطوط المستقيمة المتقطعة الخطين المتطرفين، مع الأخذ في الاعتبار فقط تغير الميل. وتمثل المنحنيات الداخلية النطاق المُقدَّر للقيم مع مراعاة تغير كل من الميل ونقطة التقاطع. أما المنحنيات الخارجية فتمثل تنبؤًا لقياس جديد. [ 24 ]

تتنبأ نماذج الانحدار بقيمة المتغير Y بناءً على القيم المعروفة للمتغيرات X. يُعرف التنبؤ ضمن نطاق القيم في مجموعة البيانات المستخدمة لتركيب النموذج بشكل غير رسمي باسم الاستيفاء . أما التنبؤ خارج هذا النطاق من البيانات فيُعرف باسم الاستقراء . يعتمد الاستقراء بشكل كبير على افتراضات الانحدار. وكلما ابتعد الاستقراء عن نطاق البيانات، زادت احتمالية فشل النموذج بسبب الاختلافات بين الافتراضات وبيانات العينة أو القيم الحقيقية.

قد تُرفق فترة تنبؤ تمثل عدم اليقين بالتنبؤ النقطي. وتميل هذه الفترات إلى التوسع بسرعة عندما تتحرك قيم المتغير (المتغيرات) المستقل خارج النطاق الذي تغطيه البيانات المرصودة.

لهذه الأسباب وغيرها، يميل البعض إلى القول بأنه قد يكون من غير الحكمة القيام بالاستقراء. [ 25 ]

اختيار الطراز

يُعدّ افتراض شكلٍ مُحدد للعلاقة بين Y و X مصدرًا آخر للشك. يتضمن تحليل الانحدار المُجرى بشكلٍ صحيح تقييمًا لمدى تطابق الشكل المفترض مع البيانات المرصودة، ولكنه لا يُمكنه القيام بذلك إلا ضمن نطاق قيم المتغيرات المستقلة المُتاحة فعليًا. هذا يعني أن أي استقراء يعتمد بشكلٍ خاص على الافتراضات المُتخذة بشأن الشكل الهيكلي لعلاقة الانحدار. إذا كانت هذه المعرفة تتضمن حقيقة أن المتغير التابع لا يُمكن أن يتجاوز نطاقًا مُعينًا من القيم، فيُمكن الاستفادة من ذلك في اختيار النموذج - حتى لو لم تحتوي مجموعة البيانات المرصودة على قيم قريبة من هذه الحدود. يُمكن أن تكون آثار هذه الخطوة المتمثلة في اختيار شكل وظيفي مُناسب للانحدار كبيرة عند النظر في الاستقراء. على الأقل، يُمكنها ضمان أن يكون أي استقراء ناتج عن نموذج مُلائم "واقعيًا" (أو مُتوافقًا مع ما هو معروف).

حسابات القوة الإحصائية وحجم العينة

لا توجد طرق متفق عليها عمومًا لربط عدد المشاهدات بعدد المتغيرات المستقلة في النموذج. إحدى الطرق التي اقترحها جود وهاردين هيشمال=من{\displaystyle N=m^{n}}، أينشمال{\displaystyle N}حجم العينة،ن{\displaystyle n}يمثل عدد المتغيرات المستقلة وم{\displaystyle m}يمثل عدد الملاحظات اللازمة للوصول إلى الدقة المطلوبة إذا كان النموذج يحتوي على متغير مستقل واحد فقط. [ 26 ] على سبيل المثال، يقوم باحث ببناء نموذج انحدار خطي باستخدام مجموعة بيانات تحتوي على 1000 مريض (شمال{\displaystyle N}). إذا قرر الباحث أن خمس ملاحظات ضرورية لتحديد خط مستقيم بدقة (م{\displaystyle m}ثم الحد الأقصى لعدد المتغيرات المستقلة (ن{\displaystyle n}) يمكن للنموذج أن يدعم 4، لأن

سجل⁡1000سجل⁡5≈4.29{\displaystyle {\frac {\log 1000}{\log 5}}\approx 4.29}.

طرق أخرى

على الرغم من أن معلمات نموذج الانحدار تُقدّر عادةً باستخدام طريقة المربعات الصغرى، إلا أن هناك طرقًا أخرى تم استخدامها تشمل:

برمجة

تُجري جميع حزم البرامج الإحصائية الرئيسية تحليل الانحدار باستخدام طريقة المربعات الصغرى والاستدلال الإحصائي. ويمكن إجراء الانحدار الخطي البسيط والانحدار المتعدد باستخدام هذه الطريقة في بعض تطبيقات جداول البيانات وبعض الآلات الحاسبة. ورغم أن العديد من حزم البرامج الإحصائية قادرة على إجراء أنواع مختلفة من الانحدار غير البارامتري والانحدار القوي، إلا أن هذه الطرق أقل توحيدًا. إذ تُطبّق حزم البرامج المختلفة طرقًا مختلفة، وقد تُطبّق طريقة تحمل اسمًا معينًا بشكل مختلف في حزم مختلفة. وقد طُوّرت برامج انحدار متخصصة للاستخدام في مجالات مثل تحليل الاستبيانات والتصوير العصبي.

انظر أيضاً

مراجع

  1. ↑ يان، شين؛ سو، شياوغانغ (2009). تحليل الانحدار الخطي: النظرية والحساب . دار النشر العالمية العلمية. الصفحات 2-3 . ISBN  9789812834102.
  2. ↑ فروند، رودولف ج.؛ موهر، دونا ل.؛ ويلسون، ويليام ج. (2010). الأساليب الإحصائية . إلسيفير ساينس. ص 323. ISBN  9780080961033.
  3. ↑ تحليل الشروط الضرورية
  4. ↑ ديفيد أ. فريدمان (27 أبريل 2009). النماذج الإحصائية: النظرية والتطبيق . مطبعة جامعة كامبريدج. ISBN 978-1-139-47731-4.
  5. ↑ آر. دينيس كوك؛ سانفورد وايزبرغ، النقد وتحليل التأثير في الانحدار ، المنهجية الاجتماعية ، المجلد 13 (1982)، الصفحات 313-361
  6. ↑ بيلينكي، آري؛ إتشاغ، إدواردو فيلا (2008). "الخوض في تحليل الانحدار الخطي: تحليل نيوتن لملاحظات هيبارخوس عن الاعتدال". arXiv : 0810.4948 [ physics.hist-ph ].
  7. ↑ بوخوالد، جيد ز.؛ فينغولد، موردخاي (2013). نيوتن وأصل الحضارة . مطبعة جامعة برينستون . الصفحات 90-93 ، 101-103 . ISBN  978-0-691-15478-7.
  8. ^ صباحا ليجيندر . طرق جديدة لتحديد مدارات الكواكب ، فيرمين ديدوت، باريس، 1805. يظهر "Sur la Méthode des Moindres quarrés" كملحق.
  9. الفصل الأول من: أنغريست، جيه دي، وبيشكي، جيه إس (2008). الاقتصاد القياسي غير الضار في الغالب: دليل تجريبي . مطبعة جامعة برينستون.
  10. ^ غاوس، قوات التحالف (1821-1823). مزيج النظرية هو ملاحظة خطأ الحد الأدنى البغيض – عبر كتب جوجل.
  11. ↑ موغول، روبرت ج. (2004). الإحصاء التطبيقي للفصل الدراسي الثاني . شركة كيندال/هانت للنشر. ص 59. ISBN  978-0-7575-1181-3.
  12. ↑ غالتون، فرانسيس (1989). "القرابة والارتباط (أعيد طبعه عام 1989)" . العلوم الإحصائية . 4 (2): 80-86 . doi : 10.1214/ss/1177012581 . JSTOR 2245330 . 
  13. ↑ فرانسيس جالتون . "القوانين النموذجية للوراثة"، مجلة نيتشر 15 (1877)، 492-495، 512-514، 532-533. (يستخدم جالتون مصطلح "الارتداد" في هذه الورقة، التي تناقش حجم حبات البازلاء.)
  14. ↑ فرانسيس جالتون. الخطاب الرئاسي، القسم H، علم الإنسان. (1885) (يستخدم جالتون مصطلح "التراجع" في هذه الورقة، التي تناقش طول البشر.)
  15. ↑ يول، جي. أودني (1897). "حول نظرية الارتباط" . مجلة الجمعية الإحصائية الملكية . 60 (4): 812-854 . doi : 10.2307/2979746 . JSTOR 2979746 . 
  16. ↑ بيرسون، كارل ؛ يول، جي يو؛ بلانشارد، نورمان؛ لي، أليس (1903). "قانون الوراثة السلفية" . بيومتريكا . 2 (2): 211-236 . doi : 10.1093/biomet/2.2.211 . JSTOR 2331683 . 
  17. ↑ فيشر، ر. أ. (1922). "مدى ملاءمة صيغ الانحدار، وتوزيع معاملات الانحدار" . مجلة الجمعية الإحصائية الملكية . 85 (4): 597-612 . doi : 10.2307/2341124 . JSTOR 2341124. PMC 1084801 .  
  18. ↑ رونالد أ. فيشر (1970). الأساليب الإحصائية للباحثين ( الطبعة الثانية عشرة). إدنبرة : أوليفر وبويد. ISBN  978-0-05-002170-5.
  19. ↑ ألدريتش، جون (2005). "فيشر والانحدار" (ملف PDF) . العلوم الإحصائية . 20 (4): 401-417 . doi : 10.1214/088342305000000331 . JSTOR 20061201 . 
  20. ↑ رودني رامشاران. الانحدارات: لماذا يهتم الاقتصاديون بها بشدة؟ مارس 2006. تاريخ الوصول: 3 ديسمبر 2011.
  21. ↑ فوثرينغهام، أ. ستيوارت؛ برونسدون، كريس؛ تشارلتون، مارتن (2002). الانحدار الموزون جغرافيًا: تحليل العلاقات المتغيرة مكانيًا (طبعة مُعاد طباعتها ). تشيتشستر، إنجلترا: جون وايلي. ISBN  978-0-471-49616-8.
  22. ↑ فوثرينغهام، أ.س.؛ وونغ، د.و.س. (1 يناير 1991). "مشكلة الوحدة المساحية القابلة للتعديل في التحليل الإحصائي متعدد المتغيرات". البيئة والتخطيط أ . 23 (7): 1025-1044 . رمز Bibcode : 1991EnPlA..23.1025F . doi : 10.1068/a231025 . S2CID 153979055 . 
  23. ↑ ستيل، آر جي دي، وتوري، جيه إتش، مبادئ وإجراءات الإحصاء مع إشارة خاصة إلى العلوم البيولوجية. ، ماكجرو هيل ، 1960، صفحة 288.
  24. ↑ روود، ماثيو (2013). الاحتمالات والإحصاء والتقدير (ملف PDF) . ص 60. 
  25. ↑ تشيانغ، سي إل، (2003) الأساليب الإحصائية للتحليل ، وورلد ساينتيفيك. ISBN 981-238-310-7- الصفحة 274 القسم 9.7.4 "الاستيفاء مقابل الاستقراء"
  26. ↑ جود، بي آي ؛ هاردين، جيه دبليو (2009). الأخطاء الشائعة في الإحصاء (وكيفية تجنبها) ( الطبعة الثالثة). هوبوكين، نيو جيرسي: وايلي. ص 211. ISBN   978-0-470-45798-6.
  27. ↑ توفاليس، سي. (2009). "انحدار النسبة المئوية للمربعات الصغرى" . مجلة الأساليب الإحصائية التطبيقية الحديثة . 7 : 526-534 . doi : 10.2139/ssrn.1406472 . hdl : 2299/965 . SSRN 1406472 . 

للمزيد من القراءة

إيفان ج. ويليامز، "أولاً: الانحدار"، الصفحات 523-41.
جوليان سي. ستانلي ، "II. تحليل التباين"، الصفحات 541-554.