الانحدار القوي

من الحالات التي يُنصح فيها باللجوء إلى التقدير القوي وجود شك قوي في تباين التباين . في نموذج التباين المتجانس ، يُفترض أن تباين حد الخطأ ثابت لجميع قيم x . يسمح تباين التباين بأن يكون التباين تابعًا لـ x ، وهو ما يُعد أكثر دقة في العديد من السيناريوهات الواقعية. على سبيل المثال، غالبًا ما يكون تباين الإنفاق أكبر لدى الأفراد ذوي الدخل المرتفع مقارنةً بالأفراد ذوي الدخل المنخفض. عادةً ما تستخدم حزم البرامج نموذج التباين المتجانس افتراضيًا، على الرغم من أن هذا النموذج قد يكون أقل دقة من نموذج التباين غير المتجانس. يتمثل أحد الأساليب البسيطة ( توفاليس، 2008 ) في تطبيق طريقة المربعات الصغرى على الأخطاء النسبية، حيث يقلل ذلك من تأثير القيم الأكبر للمتغير التابع مقارنةً بطريقة المربعات الصغرى العادية.

يُستخدم التقدير القوي في حالات أخرى شائعة، لا سيما عند احتواء البيانات على قيم متطرفة. ففي وجود قيم متطرفة لا تنتمي إلى نفس عملية توليد البيانات، يصبح تقدير المربعات الصغرى غير فعال وقد يكون متحيزًا. ونظرًا لأن تنبؤات المربعات الصغرى تميل نحو القيم المتطرفة، ولأن تباين التقديرات يتضخم بشكل مصطنع، فإن النتيجة هي إمكانية إخفاء القيم المتطرفة. (في كثير من الحالات، بما في ذلك بعض مجالات الإحصاء الجغرافي والإحصاء الطبي، تكون القيم المتطرفة هي محل الاهتمام تحديدًا).

على الرغم من الادعاء أحيانًا بأن طريقة المربعات الصغرى (أو الطرق الإحصائية الكلاسيكية عمومًا) تتمتع بمتانة عالية، إلا أن هذه المتانة تقتصر على عدم ارتفاع معدل الخطأ من النوع الأول عند وجود انتهاكات للنموذج. في الواقع، يميل معدل الخطأ من النوع الأول إلى أن يكون أقل من المستوى الاسمي عند وجود قيم متطرفة، وغالبًا ما يرتفع معدل الخطأ من النوع الثاني بشكل ملحوظ . وقد وُصف انخفاض معدل الخطأ من النوع الأول بأنه تحفظ الطرق الكلاسيكية.

أبسط طرق تقدير المعلمات في نموذج الانحدار، والتي تكون أقل حساسية للقيم المتطرفة من تقديرات المربعات الصغرى، هي استخدام أقل الانحرافات المطلقة . ومع ذلك، لا تزال القيم المتطرفة الكبيرة قادرة على التأثير بشكل ملحوظ على النموذج، مما يحفز البحث عن مناهج أكثر قوة.

في عام 1964، قدّم هوبر تقدير M للانحدار. يشير الحرف M في تقدير M إلى "نوع الاحتمال الأقصى". تتميز هذه الطريقة بمتانتها في مواجهة القيم المتطرفة في المتغير التابع، ولكن تبيّن أنها غير مقاومة للقيم المتطرفة في المتغيرات المستقلة ( نقاط التأثير ). في الواقع، عند وجود قيم متطرفة في المتغيرات المستقلة، لا تتمتع هذه الطريقة بأي ميزة على طريقة المربعات الصغرى.

في ثمانينيات القرن الماضي، طُرحت عدة بدائل لتقدير M في محاولة للتغلب على ضعف مقاومته. للاطلاع على مراجعة عملية، يُرجى مراجعة كتاب روسيو وليروي . يُعدّ تقدير المربعات الصغرى المُقَلَّمة (LTS) بديلاً قابلاً للتطبيق، وهو الخيار المُفضَّل حاليًا (2007) وفقًا لروسيو وريان (1997، 2008). يتميز مُقدِّر ثيل-سين بنقطة انهيار أقل من LTS، ولكنه فعال إحصائيًا وشائع الاستخدام. من الحلول المقترحة الأخرى تقدير S. تُحدد هذه الطريقة خطًا (مستوى أو مستوى فائق) يُقلل من تقدير قوي لمقياس البواقي (الذي يُشتق منه حرف S في اسم الطريقة). تتميز هذه الطريقة بمقاومة عالية لنقاط التأثير، كما أنها قوية في مواجهة القيم الشاذة في الاستجابة. مع ذلك، وُجد أن هذه الطريقة غير فعالة أيضًا.

تسعى طريقة التقدير MM إلى الحفاظ على متانة ومقاومة طريقة التقدير S، مع اكتساب كفاءة طريقة التقدير M. تعتمد هذه الطريقة على إيجاد تقدير S عالي المتانة والمقاومة يقلل من تقدير M لمقياس البواقي (الحرف M الأول في اسم الطريقة). ثم يُثبَّت المقياس المُقدَّر أثناء البحث عن تقدير M قريب للمعلمات (الحرف M الثاني).

يتمثل أحد الأساليب الأخرى لتقدير نماذج الانحدار بدقة في استبدال التوزيع الطبيعي بتوزيع ذي ذيل سميك. وقد أشارت الدراسات إلى أن توزيع t بدرجات حرية تتراوح بين 4 و6 يُعد خيارًا مناسبًا في العديد من الحالات العملية. ويعتمد الانحدار البايزي القوي، كونه بارامتريًا بالكامل، اعتمادًا كبيرًا على هذه التوزيعات.

بافتراض أن البواقي موزعة وفقًا لتوزيع t ، فإن التوزيع ينتمي إلى عائلة التوزيع المكاني-المقياسي. أي،${\displaystyle x\leftarrow (x-\mu )/\sigma }$تُسمى درجات حرية توزيع t أحيانًا بمعامل التفرطح . ناقش لانج وليتل وتايلور (1989) هذا النموذج بتفصيل من منظور غير بايزي. أما العرض البايزي فيظهر في جيلمان وآخرون (2003).

يتمثل أحد الأساليب البارامترية البديلة في افتراض أن البواقي تتبع مزيجًا من التوزيعات الطبيعية ( دايمي وآخرون، 2019 )؛ وتحديدًا، توزيعًا طبيعيًا ملوثًا حيث تنتمي غالبية المشاهدات إلى توزيع طبيعي محدد، بينما تنتمي نسبة صغيرة منها إلى توزيع طبيعي ذي تباين أعلى بكثير. أي أن للبواقي احتمالية${\displaystyle 1-\varepsilon }$من التوزيع الطبيعي بتباين${\displaystyle \sigma ^{2}}$، أين${\displaystyle \varepsilon }$صغير، والاحتمال${\displaystyle \varepsilon }$من التوزيع الطبيعي بتباين${\displaystyle c\sigma ^{2}}$بالنسبة للبعض${\displaystyle c>1}$:

${\displaystyle e_{i}\sim (1-\varepsilon )N(0,\sigma ^{2})+\varepsilon N(0,c\sigma ^{2}).}$

عادة،${\displaystyle \varepsilon <0.1}$يُطلق على هذا أحيانًا اسم${\displaystyle \varepsilon }$نموذج التلوث.

تتميز الأساليب البارامترية بميزة أن نظرية الاحتمالية توفر منهجًا جاهزًا للاستدلال (على الرغم من أن نماذج الخليط مثل...${\displaystyle \varepsilon }$في نموذج التلوث (حيث قد لا تنطبق شروط الانتظام المعتادة)، من الممكن بناء نماذج محاكاة من خلال المطابقة. ومع ذلك، تفترض هذه النماذج البارامترية أن النموذج الأساسي صحيح حرفيًا. ولذلك، فهي لا تأخذ في الحسبان التوزيعات المتبقية المنحرفة أو دقة الملاحظة المحدودة.

من الطرق الفعّالة الأخرى استخدام الأوزان الموحدة ( واينر وثيسن، 1976)، وهي طريقة يمكن تطبيقها عند وجود عدة عوامل تنبؤية لنتيجة واحدة. استخدم إرنست بورغيس (1928) الأوزان الموحدة للتنبؤ بنجاح الإفراج المشروط. قيّم 21 عاملاً إيجابياً على أنها موجودة (مثلاً، "عدم وجود سوابق اعتقال" = 1) أو غائبة ("وجود سوابق اعتقال" = 0)، ثم جمعها للحصول على درجة تنبؤية، والتي ثبت أنها مؤشر مفيد لنجاح الإفراج المشروط. أظهر صموئيل س. ويلكس (1938) أن جميع مجموعات أوزان الانحدار تقريباً، بما في ذلك الأوزان الموحدة، تُجمع لتكوين قيم مركبة شديدة الارتباط ببعضها البعض، وهي نتيجة تُعرف أحياناً بنظرية ويلكس (ري، كاريتا، وإيرلز، 1998). درست روبين داوز (1979) عملية صنع القرار في سياقات تطبيقية، موضحةً أن النماذج البسيطة ذات الأوزان الموحدة غالباً ما تتفوق على الخبراء البشريين. قام بوبكو وروث وباستر (2007) بمراجعة الأدبيات المتعلقة بأوزان الوحدة وخلصوا إلى أن عقودًا من الدراسات التجريبية تُظهر أن أوزان الوحدة تؤدي أداءً مشابهًا لأوزان الانحدار العادية في التحقق المتبادل.

من النتائج الأخرى لعدم كفاءة طريقة المربعات الصغرى العادية إخفاء العديد من القيم الشاذة نتيجة لتضخيم تقدير مقياس البواقي؛ إذ تقترب البواقي المُقاسة من الصفر مقارنةً باستخدام تقدير أكثر دقة للمقياس. تظهر أدناه رسوم بيانية للبواقي المُقاسة من النموذجين. يُمثل المتغير على المحور السيني رقم المشاهدة كما ورد في مجموعة البيانات. يحتوي كتاب روسيو وليروي (1986) على العديد من هذه الرسوم البيانية.

تقع خطوط المرجعية الأفقية عند 2 و -2، لذا يمكن اعتبار أي قيمة متبقية مُقاسة مُلاحظة خارج هذه الحدود قيمةً شاذة. من الواضح أن طريقة المربعات الصغرى تؤدي إلى إخفاء العديد من الملاحظات المهمة.

بينما يمكن الكشف عن القيم الشاذة يدويًا في بُعد أو بُعدين باستخدام الطرق التقليدية، إلا أن مشكلة الحجب قد تجعل تحديد العديد من القيم الشاذة مستحيلاً مع مجموعات البيانات الكبيرة وفي الأبعاد العالية. تكتشف الطرق القوية هذه القيم تلقائيًا، مما يوفر ميزة كبيرة على الطرق التقليدية عند وجود قيم شاذة.