الإحصاءات متعددة الأبعاد
في نظرية الإحصاء ، يدرس مجال الإحصاء عالي الأبعاد البيانات التي يكون بُعدها أكبر (مقارنةً بعدد نقاط البيانات) مما يُؤخذ عادةً في الاعتبار في التحليل متعدد المتغيرات الكلاسيكي . وقد نشأ هذا المجال نتيجةً لظهور العديد من مجموعات البيانات الحديثة التي قد يكون بُعد متجهات البيانات فيها مُقارباً لحجم العينة ، أو حتى أكبر منه ، مما أدى إلى غياب مبرر لاستخدام التقنيات التقليدية، التي غالباً ما تستند إلى حجج تقاربية مع تثبيت البُعد مع زيادة حجم العينة. [ 1 ] [ 2 ]
توجد عدة مفاهيم للتحليل عالي الأبعاد للأساليب الإحصائية، بما في ذلك:
أمثلة
تقدير المعلمات في النماذج الخطية

النموذج الإحصائي الأساسي للعلاقة بين متجه المتغيرات المشتركةومتغير استجابةهو النموذج الخطي
أينهو متجه معلمات غير معروف، وهي ضوضاء عشوائية بمتوسط صفر وتباينبالنظر إلى الاستجابات المستقلة، مع المتغيرات المصاحبة المقابلةانطلاقاً من هذا النموذج، يمكننا تكوين متجه الاستجابةومصفوفة التصميم. متىوإذا كانت مصفوفة التصميم ذات رتبة عمودية كاملة (أي أن أعمدتها مستقلة خطيًا )، فإن مقدر المربعات الصغرى العادية لـيكون
متىمن المعروف أن. هكذا،هو مُقدِّر غير متحيز لـوتخبرنا نظرية جاوس-ماركوف أنه أفضل مقدر خطي غير متحيز .
ومع ذلك، فإن الإفراط في التخصيص يمثل مصدر قلق عندماوهي ذات حجم مماثل لـالمصفوفةفي تعريفقد تصبح غير مستقرة ، مع قيمة ذاتية دنيا صغيرة . في مثل هذه الظروفسيكون كبيرًا (لأن أثر المصفوفة هو مجموع قيمها الذاتية). والأسوأ من ذلك، عندما، المصفوفةمفرد . (انظر القسم 1.2 والتمرين 1.2 في [ 1 ] ).
إن تدهور أداء التقدير في الأبعاد العالية، الذي لوحظ في الفقرة السابقة، لا يقتصر على مُقدِّر المربعات الصغرى العادي. في الواقع، يُعد الاستدلال الإحصائي في الأبعاد العالية صعبًا بطبيعته، وهي ظاهرة تُعرف باسم " لعنة الأبعاد" ، ويمكن إثبات أنه لا يوجد مُقدِّر يمكنه أن يُحسِّن الأداء في أسوأ الحالات دون معلومات إضافية (انظر المثال 15.10 [ 2 ] ). ومع ذلك، قد لا يكون الوضع في الإحصاءات عالية الأبعاد ميؤوسًا منه عندما تمتلك البيانات بنية منخفضة الأبعاد. أحد الافتراضات الشائعة للانحدار الخطي عالي الأبعاد هو أن متجه معاملات الانحدار متفرق ، بمعنى أن معظم إحداثياتتكون القيم صفرًا. وقد تم اقتراح العديد من الإجراءات الإحصائية، بما في ذلك طريقة لاسو ، لتناسب النماذج الخطية عالية الأبعاد في ظل افتراضات التباعد هذه.
تقدير مصفوفة التغاير
مثال آخر على ظاهرة إحصائية عالية الأبعاد يمكن إيجاده في مشكلة تقدير مصفوفة التغاير . لنفترض أننا نلاحظوهي عبارة عن عينات مستقلة ومتطابقة التوزيع من توزيع متوسطه صفري بمصفوفة تباين غير معروفة. مُقدِّر طبيعي غير متحيز لـهي مصفوفة التغاير العيني
في الإطار ذي الأبعاد المنخفضة حيثزيادة ومثبتة بشكل ثابت،هو مُقدِّر ثابت لـفي أي معيار للمصفوفة . عندماينمو معمن ناحية أخرى، قد لا تصح نتيجة الاتساق هذه. على سبيل المثال، لنفترض أن كلو. لوكان الهدف هو التقدير باستمرارثم القيم الذاتية لـينبغي أن يقترب المرء من شخص مايزداد. لكن اتضح أن هذا ليس هو الحال في هذا الإطار عالي الأبعاد. في الواقع، أكبر وأصغر القيم الذاتية لـالتركيز حولو، على التوالي، وفقًا للتوزيع الحدي الذي استنتجه تريسي وويدوم ، وهذه تنحرف بوضوح عن القيم الذاتية للوحدة لـمزيد من المعلومات حول السلوك التقاربي للقيم الذاتية لـيمكن الحصول عليها من قانون مارشينكو-باستور . من وجهة نظر غير تقاربية، فإن القيمة الذاتية القصوىليرضي
مرة أخرى، يلزم وجود بنية إضافية منخفضة الأبعاد لتقدير مصفوفة التغاير بنجاح في الأبعاد العالية. ومن أمثلة هذه البنى: التباعد ، وانخفاض الرتبة ، والترابط . وينطبق الأمر نفسه عند تقدير مصفوفة التغاير العكسية (مصفوفة الدقة) .
تاريخ
من منظور تطبيقي، كان الدافع وراء البحث في الإحصاءات عالية الأبعاد هو إدراك أن التطورات في تكنولوجيا الحوسبة قد زادت بشكل كبير من القدرة على جمع البيانات وتخزينها ، وأن الأساليب الإحصائية التقليدية، كتلك المذكورة في الأمثلة السابقة، غالبًا ما تكون غير قادرة على التعامل مع التحديات الناتجة. ويمكن تتبع التطورات النظرية في هذا المجال إلى النتيجة البارزة التي حققها تشارلز شتاين عام 1956 [ 4 ] ، حيث أثبت أن المُقدِّر المعتاد للمتوسط الطبيعي متعدد المتغيرات غير مقبول فيما يتعلق بفقدان مربع الخطأ في ثلاثة أبعاد أو أكثر. في الواقع، قدم مُقدِّر جيمس-شتاين [ 5 ] رؤية مفادها أنه في البيئات عالية الأبعاد، يمكن الحصول على أداء تقدير مُحسَّن من خلال الانكماش، الذي يقلل التباين على حساب إدخال قدر ضئيل من التحيز. وقد تم استغلال هذه المفاضلة بين التحيز والتباين بشكل أكبر في سياق النماذج الخطية عالية الأبعاد من قِبل هورل وكينارد عام 1970 مع تقديم انحدار ريدج . [ 6 ] وقد شكّل عمل روبرت تيبشيراني على اللاسو في عام 1996 دافعًا رئيسيًا آخر لهذا المجال، والذي استخدمالتنظيم لتحقيق اختيار النموذج وتقدير المعلمات في آن واحد في الانحدار الخطي المتفرق عالي الأبعاد. [ 7 ] ومنذ ذلك الحين، تم اقتراح عدد كبير من مقدرات الانكماش الأخرى لاستغلال الهياكل المختلفة منخفضة الأبعاد في مجموعة واسعة من المشكلات الإحصائية عالية الأبعاد.
مواضيع في الإحصاءات عالية الأبعاد
فيما يلي أمثلة على المواضيع التي حظيت باهتمام كبير في أدبيات الإحصاء عالي الأبعاد في السنوات الأخيرة:
- النماذج الخطية في الأبعاد العالية. تُعدّ النماذج الخطية من أكثر الأدوات استخدامًا في الإحصاء وتطبيقاته. ولذلك، يُعتبر الانحدار الخطي المتفرق من أكثر المواضيع دراسةً في البحوث الإحصائية عالية الأبعاد. واستنادًا إلى أعمال سابقة حول انحدار ريدج ولاسّو ، تم اقتراح ودراسة العديد من مُقدِّرات الانكماش الأخرى في هذه المسألة والمسائل ذات الصلة. وتشمل هذه المُقدِّرات ما يلي :
- يستخدم مُحدِّد دانتزيج، الذي يُقلِّل من أقصى ارتباط بين المتغيرات المصاحبة والباقي، بدلاً من مجموع مربعات البواقي كما في طريقة لاسو، مع مراعاة[ 8 ] قيد على المعاملات.
- الشبكة المرنة ، التي تجمعتنظيم لاسو معتنظيم انحدار ريدج للسماح باختيار المتغيرات المشتركة شديدة الارتباط في وقت واحد بمعاملات انحدار متشابهة. [ 9 ]
- تتيح طريقة Group Lasso اختيار مجموعات محددة مسبقًا من المتغيرات المشتركة بشكل مشترك. [ 10 ]
- تُستخدم طريقة "لاسو المدمج " لتنظيم الفرق بين المعاملات القريبة عندما تعكس معاملات الانحدار العلاقات المكانية أو الزمنية، وذلك لفرض بنية ثابتة جزئياً. [ 11 ]
- اختيار المتغيرات عالية الأبعاد . بالإضافة إلى تقدير المعلمة الأساسية في نماذج الانحدار، يُعدّ تحديد المعاملات غير الصفرية موضوعًا بالغ الأهمية، إذ تُشير هذه المعاملات إلى المتغيرات اللازمة في النموذج النهائي. يمكن استخدام كل تقنية من التقنيات المذكورة تحت العنوان السابق لهذا الغرض، وتُدمج أحيانًا مع أفكار أخرى مثل أخذ عينات فرعية من خلال اختيار الاستقرار. [ 12 ] [ 13 ]
- تقدير مصفوفة التباين والدقة عالية الأبعاد. تم تقديم هذه المشكلات أعلاه؛ انظر أيضًا تقدير الانكماش . تشمل الطرق مقدرات التناقص التدريجي [ 14 ] والمقيدةمقدر التقليل. [ 15 ]
- تحليل المكونات الرئيسية المتفرقة . يُعد تحليل المكونات الرئيسية تقنية أخرى تفشل في الأبعاد العالية؛ وبشكل أدق، في ظل شروط معينة، يكون المتجه الذاتي الرئيسي لمصفوفة التغاير العيني مُقدِّرًا غير متسق لنظيره في المجتمع الإحصائي عندما تكون نسبة عدد المتغيراتنسبة إلى عدد الملاحظات[ 16 ] وبافتراض أن هذا المتجه الذاتي الرئيسي متفرق (مما قد يُسهّل التفسير)، يمكن استعادة الاتساق. [ 17 ]
- إكمال المصفوفة . اكتسب هذا الموضوع، الذي يتعلق بمهمة ملء الإدخالات المفقودة لمصفوفة مرصودة جزئيًا، شعبية كبيرة ويرجع ذلك إلى حد كبير إلى جائزة Netflix للتنبؤ بتقييمات المستخدمين للأفلام.
- التصنيف عالي الأبعاد. لا يمكن استخدام تحليل التمييز الخطي عندمالأن مصفوفة التغاير العينية منفردة . وقد تم اقتراح مناهج بديلة تعتمد على بايز الساذج [ 18 ] ، واختيار الميزات [ 19 ] ، والإسقاطات العشوائية [ 20 ] .
- النماذج البيانية للبيانات عالية الأبعاد . تُستخدم النماذج البيانية لترميز بنية التبعية الشرطية بين المتغيرات المختلفة. وبافتراض التوزيع الطبيعي، تُختزل المشكلة إلى تقدير مصفوفة دقة متفرقة، كما ذُكر سابقًا.
ملحوظات
- ليدرر ، يوهانس (2022). أساسيات الإحصاء عالي الأبعاد: مع تمارين ومختبرات R. سلسلة كتب سبرينغر في الإحصاء. doi : 10.1017/9781108627771 . ISBN 9781108498029. S2CID 128095693 .
- 1 2 3 واينرايت، مارتن ج. (2019). الإحصاءات عالية الأبعاد: منظور غير تقاربي . مطبعة جامعة كامبريدج. doi : 10.1017/9781108627771 . ISBN 9781108498029. S2CID 128095693 .
- ↑ واينرايت، إم جيه. الإحصاءات عالية الأبعاد: وجهة نظر غير تقاربية. كامبريدج: مطبعة جامعة كامبريدج؛ 2019. doi:10.1017/9781108627771
- ↑ شتاين، سي. (1956)، "عدم قبول المُقدِّر المعتاد لمتوسط التوزيع متعدد المتغيرات"، وقائع ندوة بيركلي الثالثة للإحصاء الرياضي والاحتمالات ، المجلد 1، الصفحات 197-206 ، MR 0084922 ، Zbl 0073.35602
- ↑ جيمس، دبليو؛ شتاين، سي (1961)، "التقدير مع الخسارة التربيعية"، وقائع ندوة بيركلي الرابعة للإحصاء الرياضي والاحتمالات ، المجلد 1، الصفحات 361-379 ، MR 0133191
- ↑ هورل، آرثر إي، وروبرت دبليو كينارد. "انحدار ريدج: تقدير متحيز للمسائل غير المتعامدة". مجلة تكنومتركس ، المجلد 12، العدد 1، 1970، الصفحات 55-67. [www.jstor.org/stable/1267351 JSTOR]. تاريخ الوصول: 13 مارس 2021.
- ↑ تيبشيراني، روبرت (1996). "انكماش الانحدار والاختيار عبر طريقة لاسو". مجلة الجمعية الإحصائية الملكية . السلسلة ب (المنهجية). 58 (1). وايلي: 267-288 . JSTOR 2346178 .
- ↑ كانديس، إيمانويل ؛ تاو، تيرينس (2007). "محدد دانتزيج: التقدير الإحصائي عندما تكون قيمة p أكبر بكثير من n " . حوليات الإحصاء . 35 (6): 2313-2351 . arXiv : math/0506081 . doi : 10.1214/009053606000001523 . MR 2382644. S2CID 88524200 .
- ↑ زو، هوي؛ هاستي، تريفور (2005). "التنظيم واختيار المتغيرات عبر الشبكة المرنة" . مجلة الجمعية الإحصائية الملكية . السلسلة ب (المنهجية الإحصائية). 67 (2). وايلي: 301-320 . doi : 10.1111/j.1467-9868.2005.00503.x . JSTOR 3647580 .
- ↑ يوان، مينغ؛ لين، يي (2006). "اختيار النموذج وتقديره في الانحدار مع المتغيرات المجمعة" . مجلة الجمعية الإحصائية الملكية . السلسلة ب (المنهجية الإحصائية). 68 (1). وايلي: 49-67 . doi : 10.1111 /j.1467-9868.2005.00532.x . JSTOR 3647556. S2CID 6162124 .
- ↑ تيبشيراني، روبرت، مايكل سوندرز، ساهارون روسيت، جي تشو، وكيث نايت. 2005. "التناثر والنعومة عبر اللاسو المنصهر". مجلة الجمعية الإحصائية الملكية. السلسلة ب (المنهجية الإحصائية) 67(1). وايلي: 91-108. https://www.jstor.org/stable/3647602 .
- ↑ مينشاوزن، نيكولاي؛ بوهلمان، بيتر (2010). "اختيار الاستقرار" . مجلة الجمعية الإحصائية الملكية، السلسلة ب (المنهجية الإحصائية) . 72 (4): 417-473 . doi : 10.1111/j.1467-9868.2010.00740.x . ISSN 1467-9868 . S2CID 1231300 .
- ↑ شاه، راجين د.؛ سامورث، ريتشارد ج. (2013). "اختيار المتغيرات مع التحكم في الخطأ: نظرة أخرى على اختيار الاستقرار" . مجلة الجمعية الإحصائية الملكية. السلسلة ب (المنهجية الإحصائية) . 75 (1): 55-80 . arXiv : 1105.5578 . doi : 10.1111/j.1467-9868.2011.01034.x . ISSN 1369-7412 . JSTOR 23361014. S2CID 18211609 .
- ↑ كاي، توني تي؛ تشانغ، كون هوي؛ تشو، هاريسون إتش. (أغسطس 2010). "معدلات التقارب المثلى لتقدير مصفوفة التغاير" . حوليات الإحصاء . 38 (4): 2118-2144 . arXiv : 1010.3866 . doi : 10.1214/09-AOS752 . ISSN 0090-5364 . S2CID 14038500. تاريخ الاسترجاع: 2021-04-06 .
- ^ توني كاي. ليو، ويدونغ؛ لوه شي (2011/06/01). " أ مقيد"نهج التصغير لتقدير مصفوفة الدقة المتفرقة" . مجلة الجمعية الإحصائية الأمريكية . 106 (494): 594-607 . arXiv : 1102.2233 . doi : 10.1198/jasa.2011.tm10155 . ISSN 0162-1459 . S2CID 15900101. تاريخ الاسترجاع: 2021-04-06 .
- ↑ جونستون، إيان م.؛ لو، آرثر يو (1 يونيو 2009). "حول الاتساق والتباعد في تحليل المكونات الرئيسية في الأبعاد العالية" . مجلة الجمعية الإحصائية الأمريكية . 104 (486): 682-693 . doi : 10.1198/jasa.2009.0121 . ISSN 0162-1459 . PMC 2898454. PMID 20617121 .
- ↑ فو، فينسنت كيو؛ لي، جينغ (ديسمبر 2013). "تقدير الفضاء الفرعي الرئيسي المتناثر باستخدام طريقة مينيمكس في الأبعاد العالية" . حوليات الإحصاء . 41 (6): 2905-2947 . arXiv : 1211.0373 . doi : 10.1214/13-AOS1151 . ISSN 0090-5364 . S2CID 562591 .
- ↑ بيكل، بيتر جيه ؛ ليفينا، إليزافيتا (2004). "بعض النظريات حول دالة التمييز الخطي لفيشر، وطريقة بايز البسيطة، وبعض البدائل عندما يكون عدد المتغيرات أكبر بكثير من عدد المشاهدات" . برنولي . 10 (6): 989-1010 . doi : 10.3150/bj/1106314847 .
- ↑ فان، جيانكينغ؛ فان، يينغينغ (ديسمبر 2008). "التصنيف عالي الأبعاد باستخدام قواعد استقلال الميزات المُحسَّنة" . حوليات الإحصاء . 36 (6): 2605-2637 . arXiv : math/0701108 . doi : 10.1214 / 07-AOS504 . PMC 2630123. PMID 19169416. S2CID 2982392 .
- ↑ كانينغز، تيموثي آي؛ سامورث، ريتشارد جيه (2017). "تصنيف التجميع بالإسقاط العشوائي" . مجلة الجمعية الإحصائية الملكية، السلسلة ب (المنهجية الإحصائية) . 79 (4): 959-1035 . arXiv : 1504.04595 . doi : 10.1111/rssb.12228 . S2CID 88520328 .
مراجع
- ليدرير، يوهانس (2022). أساسيات الإحصاءات عالية الأبعاد . تشام: سبرينغر.
- جيرو، كريستوف (2015). مقدمة في الإحصاءات عالية الأبعاد . فيلادلفيا: تشابمان وهال/سي آر سي.
- كاي، تي. توني؛ شين، شياوتونغ، محرران. (2011). تحليل البيانات عالية الأبعاد . حدود الإحصاء. سنغافورة: وورلد ساينتيفيك.
- بوهلمان، بيتر ؛ فان دي جير، سارة (2011). إحصاءات البيانات عالية الأبعاد: الأساليب والنظرية والتطبيقات . هايدلبرغ؛ نيويورك: سبرينغر.
- واينرايت، مارتن ج. (2019). الإحصاءات عالية الأبعاد: وجهة نظر غير تقاربية . كامبريدج، المملكة المتحدة: مطبعة جامعة كامبريدج.
- الإحصاءات متعددة المتغيرات
- نظرية الاحتمالات
- التحليل الوظيفي
