الأخطاء والبواقي
في الإحصاء والتحسين ، يُعدّ كلٌّ من الخطأ والبواقي مقياسين مترابطين ارتباطًا وثيقًا، وقد يُساء فهمهما بسهولة، لقياس انحراف القيمة المرصودة لعنصر من عينة إحصائية عن " قيمتها الحقيقية " ( التي قد لا تكون قابلة للملاحظة). يُعرَّف خطأ الملاحظة بأنه انحراف القيمة المرصودة عن القيمة الحقيقية لكمية مُراد دراستها (على سبيل المثال، متوسط المجتمع ). أما الباقي فهو الفرق بين القيمة المرصودة والقيمة المُقدَّرة للكمية المُراد دراستها (على سبيل المثال، متوسط العينة ). يبرز هذا التمييز بشكلٍ خاص في تحليل الانحدار ، حيث يُطلق على هذين المفهومين أحيانًا اسم أخطاء الانحدار وبواقي الانحدار ، وهما يُفضيَان إلى مفهوم البواقي المعيارية . في الاقتصاد القياسي ، تُسمى "الأخطاء" أيضًا بالاضطرابات . [ 1 ] [ 2 ] [ 3 ]
مقدمة
لنفترض وجود سلسلة من المشاهدات من توزيع أحادي المتغير، ونريد تقدير متوسط هذا التوزيع (ما يُسمى بنموذج الموقع ). في هذه الحالة، تمثل الأخطاء انحرافات المشاهدات عن متوسط المجتمع، بينما تمثل البواقي انحرافات المشاهدات عن متوسط العينة.
الخطأ الإحصائي (أو الاضطراب ) هو مقدار اختلاف قيمة مُشاهدة عن قيمتها المتوقعة ، والتي تُحسب بناءً على جميع أفراد المجتمع الإحصائي الذي اختيرت منه الوحدة الإحصائية عشوائيًا. على سبيل المثال، إذا كان متوسط طول مجموعة من الرجال في سن 21 عامًا هو 1.75 مترًا، وكان طول رجل تم اختياره عشوائيًا 1.80 مترًا، فإن "الخطأ" هو 0.05 مترًا؛ أما إذا كان طول الرجل المختار عشوائيًا 1.70 مترًا، فإن "الخطأ" هو -0.05 مترًا. القيمة المتوقعة، كونها متوسط جميع أفراد المجتمع الإحصائي، عادةً ما تكون غير قابلة للملاحظة، وبالتالي لا يمكن ملاحظة الخطأ الإحصائي أيضًا.
أما الباقي (أو الانحراف المُلائم)، فهو تقدير قابل للملاحظة للخطأ الإحصائي غير القابل للملاحظة. لنأخذ المثال السابق المتعلق بأطوال الرجال، ولنفترض أن لدينا عينة عشوائية مكونة من n شخصًا . يمكن أن يكون متوسط العينة مُقدِّرًا جيدًا لمتوسط المجتمع . عندئذٍ لدينا:
- يُعدّ الفرق بين طول كل رجل في العينة ومتوسط طول المجتمع غير القابل للملاحظة خطأً إحصائيًا ، بينما
- الفرق بين طول كل رجل في العينة ومتوسط العينة القابل للملاحظة هو الباقي .
لاحظ أنه، بحسب تعريف متوسط العينة، فإن مجموع البواقي داخل عينة عشوائية يساوي صفرًا بالضرورة، وبالتالي فإن البواقي ليست مستقلة بالضرورة . أما الأخطاء الإحصائية، فهي مستقلة، ومجموعها داخل العينة العشوائية لا يساوي صفرًا على الأرجح .
يمكن للمرء توحيد الأخطاء الإحصائية (خاصة ذات التوزيع الطبيعي ) في درجة z (أو "الدرجة المعيارية")، وتوحيد البواقي في إحصائية t ، أو بشكل عام البواقي المعيارية .
في التوزيعات أحادية المتغير
إذا افترضنا توزيعًا طبيعيًا للمجتمع بمتوسط μ وانحراف معياري σ، واخترنا الأفراد بشكل مستقل، فسنحصل على
ومتوسط العينة
متغير عشوائي موزع بحيث
ثم تكون الأخطاء الإحصائية
بقيم متوقعة تساوي صفرًا، [ 4 ] بينما تكون البواقي
مجموع مربعات الأخطاء الإحصائية ، مقسومًا على σ 2 ، له توزيع كاي تربيع بدرجات حرية n :
مع ذلك، لا يمكن رصد هذه الكمية لأن متوسط المجتمع غير معروف. أما مجموع مربعات البواقي ، فهو قابل للرصد. ويخضع ناتج قسمة هذا المجموع على σ² لتوزيع كاي تربيع بدرجات حرية n − 1 فقط.
ينتج عن هذا الفرق بين درجات الحرية n و n − 1 تصحيح بيسل لتقدير تباين العينة لمجتمع إحصائي ذي متوسط وتباين مجهولين. ولا يلزم إجراء أي تصحيح إذا كان متوسط المجتمع الإحصائي معروفًا.
ملاحظة
من اللافت للنظر أنه يمكن إثبات استقلال مجموع مربعات البواقي ومتوسط العينة عن بعضهما البعض، باستخدام، على سبيل المثال، نظرية باسو . هذه الحقيقة، بالإضافة إلى التوزيعات الطبيعية وتوزيعات كاي تربيع المذكورة أعلاه، تشكل أساس الحسابات التي تتضمن إحصائية t.
أينيمثل الأخطاء،يمثل الانحراف المعياري للعينة لعينة حجمها n ، و σ غير معروفة ، وحد المقاميأخذ في الاعتبار الانحراف المعياري للأخطاء وفقًا لـ [ 5 ]
تعتمد التوزيعات الاحتمالية للبسط والمقام بشكل منفصل على قيمة الانحراف المعياري غير القابل للملاحظة للمجتمع σ ، ولكن σ يظهر في كل من البسط والمقام ويُحذف. وهذا أمرٌ جيد، لأنه يعني أنه على الرغم من أننا لا نعرف σ ، فإننا نعرف التوزيع الاحتمالي لهذا الناتج: فهو يتبع توزيع t للطالب بدرجة حرية n − 1. وبالتالي، يمكننا استخدام هذا الناتج لإيجاد فترة ثقة لـ μ . ويمكن تفسير إحصائية t هذه على أنها "عدد الأخطاء المعيارية بعيدًا عن خط الانحدار". [ 6 ]
الانحدارات
في تحليل الانحدار ، يُعدّ التمييز بين الأخطاء والبواقي دقيقًا وهامًا، ويؤدي إلى مفهوم البواقي المعيارية . بافتراض وجود دالة غير قابلة للملاحظة تربط المتغير المستقل بالمتغير التابع - كخط مستقيم مثلًا - فإن انحرافات مشاهدات المتغير التابع عن هذه الدالة هي الأخطاء غير القابلة للملاحظة. عند إجراء تحليل انحدار على بيانات معينة، فإن انحرافات مشاهدات المتغير التابع عن الدالة المُطابقة هي البواقي. إذا كان النموذج الخطي مناسبًا، فإن مخطط التشتت للبواقي المرسومة مقابل المتغير المستقل يجب أن يكون عشوائيًا حول الصفر دون أي اتجاه واضح للبواقي. [ 5 ] إذا أظهرت البيانات اتجاهًا، فمن المرجح أن يكون نموذج الانحدار غير صحيح؛ على سبيل المثال، قد تكون الدالة الحقيقية دالة تربيعية أو دالة متعددة الحدود من رتبة أعلى. أما إذا كانت البواقي عشوائية، أو ليس لها اتجاه، ولكنها تتباعد، فإنها تُظهر ظاهرة تُسمى عدم تجانس التباين . إذا كانت جميع البواقي متساوية، أو لم تتباعد، فإنها تُظهر تجانس التباين .
مع ذلك، يظهر اختلاف مصطلحي في مصطلح متوسط مربع الخطأ (MSE). يُحسب متوسط مربع الخطأ في الانحدار من مجموع مربعات البواقي المحسوبة ، وليس من مجموع مربعات الأخطاء غير القابلة للملاحظة . إذا قُسِّم مجموع المربعات على n ، وهو عدد المشاهدات، فإن النتيجة هي متوسط مربعات البواقي. ولأن هذا تقدير متحيز لتباين الأخطاء غير القابلة للملاحظة، يُزال التحيز بقسمة مجموع مربعات البواقي على df = n − p − 1، بدلاً من n ، حيث df هو عدد درجات الحرية ( n ناقص عدد المعاملات (باستثناء الحد الثابت) p التي يتم تقديرها - 1). يُشكل هذا تقديرًا غير متحيز لتباين الأخطاء غير القابلة للملاحظة، ويُسمى متوسط مربع الخطأ. [ 7 ]
هناك طريقة أخرى لحساب متوسط مربع الخطأ عند تحليل تباين الانحدار الخطي باستخدام تقنية مشابهة لتلك المستخدمة في تحليل التباين (ANOVA ) (فهما متطابقان لأن ANOVA نوع من أنواع الانحدار)، حيث يُقسم مجموع مربعات البواقي (أي مجموع مربعات الخطأ) على درجات الحرية (حيث تساوي درجات الحرية n − p − 1، و p هو عدد المعاملات المُقدَّرة في النموذج (معامل واحد لكل متغير في معادلة الانحدار، باستثناء الحد الثابت)). ويمكن بعد ذلك حساب متوسط مربع النموذج بقسمة مجموع مربعات النموذج مطروحًا منه درجات الحرية، وهو عدد المعاملات. ثم تُحسب قيمة F بقسمة متوسط مربع النموذج على متوسط مربع الخطأ، ومن ثم يُمكن تحديد الدلالة الإحصائية (وهذا هو سبب الحاجة إلى حساب متوسط المربعات في البداية). [ 8 ]
مع ذلك، ونظرًا لطبيعة عملية الانحدار، قد تختلف توزيعات البواقي عند نقاط البيانات المختلفة (للمتغير المُدخل) حتى لو كانت الأخطاء نفسها موزعة توزيعًا متطابقًا. فعلى سبيل المثال، في الانحدار الخطي حيث تكون الأخطاء موزعة توزيعًا متطابقًا، يكون تباين البواقي للمدخلات في منتصف المجال أعلى من تباينها عند طرفي المجال: [ 9 ] إذ يُناسب الانحدار الخطي النقاط الطرفية بشكل أفضل من المنتصف. وينعكس هذا أيضًا في دوال تأثير نقاط البيانات المختلفة على معاملات الانحدار : فالنقاط الطرفية لها تأثير أكبر.
لذا، لمقارنة البواقي عند مدخلات مختلفة، يلزم تعديل البواقي وفقًا للتباين المتوقع للبواقي، وهو ما يُعرف بالتعديل المعياري . يُعدّ هذا الأمر بالغ الأهمية عند اكتشاف القيم الشاذة ، حيث تختلف الحالة قيد الدراسة عن غيرها في مجموعة البيانات. على سبيل المثال، قد يُتوقع وجود قيمة باقية كبيرة في منتصف المجال، ولكنها تُعتبر قيمة شاذة في نهايته.
استخدامات أخرى لكلمة "خطأ" في الإحصاء
يُستخدم مصطلح "الخطأ" كما نوقش في الأقسام السابقة بمعنى انحراف قيمة ما عن قيمة افتراضية غير مُلاحظة. ويُستخدم المصطلح أيضاً في الإحصاء في سياقين آخرين على الأقل، وكلاهما يشير إلى أخطاء التنبؤ القابلة للملاحظة .
يشير متوسط مربع الخطأ (MSE) إلى مقدار اختلاف القيم المتوقعة بواسطة المُقدِّر عن القيم المُقدَّرة (عادةً خارج العينة التي تم تقدير النموذج منها). جذر متوسط مربع الخطأ (RMSE) هو الجذر التربيعي لمتوسط مربع الخطأ. مجموع مربعات الأخطاء (SSE) هو متوسط مربع الخطأ مضروبًا في حجم العينة.
مجموع مربعات البواقي (SSR) هو مجموع مربعات انحرافات القيم الفعلية عن القيم المتوقعة، ضمن العينة المستخدمة في التقدير. وهذا هو أساس تقدير المربعات الصغرى ، حيث يتم اختيار معاملات الانحدار بحيث يكون مجموع مربعات البواقي في أدنى قيمة له (أي أن مشتقته تساوي صفرًا).
وبالمثل، فإن مجموع الأخطاء المطلقة (SAE) هو مجموع القيم المطلقة للبواقي، والذي يتم تقليله في نهج أقل الانحرافات المطلقة للانحدار.
الخطأ المتوسط (ME) هو الانحياز. أما متوسط الباقي (MR) فيكون دائمًا صفرًا بالنسبة لمقدرات المربعات الصغرى.
انظر أيضاً
- الانحراف المطلق
- التوقعات المتفق عليها
- اكتشاف الأخطاء وتصحيحها
- شرح مجموع المربعات
- الابتكار (معالجة الإشارات)
- مجموع مربعات عدم المطابقة
- هامش الخطأ
- متوسط الخطأ المطلق
- خطأ الملاحظة
- انتشار الخطأ
- خطأ محتمل
- الأخطاء العشوائية والمنهجية
- إحصائية مربع كاي المخفضة
- تخفيف الانحدار
- خطأ المعاينة
- الخطأ المعياري
- الباقي المُقاس بالطلاب
- أخطاء النوع الأول والنوع الثاني
مراجع
- ↑ كينيدي، ب. (2008). دليل الاقتصاد القياسي . وايلي. ص 576. ISBN 978-1-4051-8257-7تم الاطلاع عليه بتاريخ 13-05-2022 .
- ↑ وولدريدج، جيه إم (2019). مدخل إلى الاقتصاد القياسي: منهج حديث . سينجايج ليرنينج. ص 57. ISBN 978-1-337-67133-0تم الاطلاع عليه بتاريخ 13-05-2022 .
- ↑ داس، ب. (2019). الاقتصاد القياسي في النظرية والتطبيق: تحليل البيانات المقطعية، والسلاسل الزمنية، وبيانات اللوحات باستخدام برنامج Stata 15.1 . سبرينغر سنغافورة. ص 7. ISBN 978-981-329-019-8تم الاطلاع عليه بتاريخ 13-05-2022 .
- ↑ ويثرل، جي. باري. (1981). الأساليب الإحصائية المتوسطة . لندن: تشابمان وهول. ISBN 0-412-16440-X. OCLC 7779780 .
- 1 2 فريدريك ميشيل ديكينج؛ كورنيليس كرايكامب؛ هندريك بول لوبوها؛ لودولف إروين ميستر (15-06-2005). مقدمة حديثة في الاحتمالات والإحصاء : فهم لماذا وكيف . لندن: سبرينغر لندن. ISBN 978-1-85233-896-1. OCLC 262680588 .
- ↑ بيتر بروس؛ أندرو بروس (10 مايو 2017). الإحصاء العملي لعلماء البيانات : 50 مفهومًا أساسيًا ( الطبعة الأولى). سيباستوبول، كاليفورنيا: أورايلي ميديا إنك. ISBN 978-1-4919-5296-2. OCLC 987251007 .
- ↑ ستيل، روبرت جي دي؛ توري، جيمس إتش. (1960). مبادئ وإجراءات الإحصاء، مع إشارة خاصة إلى العلوم البيولوجية . ماكجرو هيل. ص 288 .
- ^ زيلترمان ، دانيال (2010). النماذج الخطية التطبيقية مع SAS (Online-Ausg. ed.). كامبريدج: مطبعة جامعة كامبريدج. رقم ISBN 9780521761598.
- ↑ "7.3: أنواع القيم المتطرفة في الانحدار الخطي" . إحصاءات ليبر تيكستس . 21-11-2013 . تم الاطلاع عليه بتاريخ 22-11-2019 .
للمزيد من القراءة
- كوك، ر. دينيس؛ وايزبرغ، سانفورد (1982). البواقي والتأثير في الانحدار (طبعة مُعاد طباعتها). نيويورك: تشابمان وهول . ISBN 041224280Xتم الاطلاع عليه بتاريخ 23 فبراير 2013 .
- كوكس، ديفيد ر .؛ سنيل، إي. جويس (1968). "تعريف عام للبواقي". مجلة الجمعية الإحصائية الملكية، السلسلة ب . 30 (2): 248-275 . JSTOR 2984505 .
- وايزبرغ، سانفورد (1985). الانحدار الخطي التطبيقي ( الطبعة الثانية). نيويورك: وايلي. ISBN 9780471879572تم الاطلاع عليه بتاريخ 23 فبراير 2013 .
- "نظرية الأخطاء" ، موسوعة الرياضيات ، دار نشر EMS، 2001 [1994]
روابط خارجية
الوسائط المتعلقة بالأخطاء والبقايا في ويكيميديا كومنز
- الأخطاء والبواقي
- الانحراف الإحصائي والتشتت
- تحليل الانحدار
