تحليل البيانات الاستكشافي

📅 آخر تحديث: ١ أغسطس ٢٠٢٦
✍️ نُشر في: ١ أغسطس ٢٠٢٦
📷 يحتوي على 5 صور
الموسوعة الحرة

في الإحصاء ، يُعدّ تحليل البيانات الاستكشافي (EDA) أو التحليلات الاستكشافية منهجًا لتحليل مجموعات البيانات بهدف تلخيص خصائصها الرئيسية، وغالبًا ما يُستخدم فيه الرسوم البيانية الإحصائية وغيرها من أساليب تصوير البيانات . يمكن استخدام نموذج إحصائي أو عدم استخدامه، ولكن الهدف الأساسي من تحليل البيانات الاستكشافي هو استكشاف ما يمكن أن تكشفه البيانات بما يتجاوز النمذجة الرسمية، وهو ما يتناقض مع اختبار الفرضيات التقليدي، حيث يُفترض اختيار نموذج قبل الاطلاع على البيانات. وقد روّج جون توكي لتحليل البيانات الاستكشافي منذ عام 1970 لتشجيع الإحصائيين على استكشاف البيانات، وربما صياغة فرضيات قد تُفضي إلى جمع بيانات جديدة وإجراء تجارب. يختلف تحليل البيانات الاستكشافي عن تحليل البيانات الأولي (IDA) ، [ 1 ] [ 2 ] الذي يركز بشكل أدق على التحقق من الافتراضات اللازمة لملاءمة النموذج واختبار الفرضيات، ومعالجة القيم المفقودة، وإجراء تحويلات المتغيرات حسب الحاجة. يشمل تحليل البيانات الاستكشافي تحليل البيانات الأولي.

ملخص

عرّف توكي تحليل البيانات في عام 1961 على النحو التالي: "إجراءات تحليل البيانات، وتقنيات تفسير نتائج هذه الإجراءات، وطرق تخطيط جمع البيانات لجعل تحليلها أسهل أو أكثر دقة أو أكثر صحة، وجميع آليات ونتائج الإحصاءات (الرياضية) التي تنطبق على تحليل البيانات." [ 3 ]

يُعدّ تحليل البيانات الاستكشافي أسلوبًا لتحليل مجموعة بيانات ودراستها وتلخيص خصائصها الرئيسية. ومن أهم مزايا هذا الأسلوب توفير تصور مرئي للبيانات بعد إجراء التحليل.

شجع دعم توكي لتحليل البيانات الاستكشافي على تطوير حزم الحوسبة الإحصائية ، وخاصةً برنامج S في مختبرات بيل . [ 4 ] وقد ألهمت لغة البرمجة S نظامي S-PLUS و R. تميزت هذه المجموعة من بيئات الحوسبة الإحصائية بقدرات تصوير ديناميكي محسّنة بشكل كبير ، مما سمح للإحصائيين بتحديد القيم الشاذة والاتجاهات والأنماط في البيانات التي تستحق المزيد من الدراسة .

ارتبط تحليل البيانات الاستكشافي لتوكي بتطورين آخرين في النظرية الإحصائية : الإحصاءات القوية والإحصاءات اللامعلمية ، وكلاهما سعى إلى تقليل حساسية الاستدلالات الإحصائية للأخطاء في صياغة النماذج الإحصائية . شجع توكي على استخدام ملخص الأرقام الخمسة للبيانات العددية - القيمتان المتطرفتان ( القصوى والدنيا )، والوسيط ، والربيعات - لأن الوسيط والربيعات ، كونهما دالتين للتوزيع التجريبي ، مُعرّفان لجميع التوزيعات، على عكس المتوسط ​​والانحراف المعياري . علاوة على ذلك، فإن الربيعات والوسيط أكثر قوة في مواجهة التوزيعات الملتوية أو ذات الذيول السميكة من الملخصات التقليدية (المتوسط ​​والانحراف المعياري). تضمنت الحزم البرمجية S و S-PLUS و R إجراءات تستخدم إحصاءات إعادة التوزيع ، مثل طريقة كوينويل وجاكنايف لتوكي وطريقة بوتستراب لإيفرون ، وهي طرق لامعةلمية وقوية (في العديد من المسائل) .

ساهم تحليل البيانات الاستكشافي، والإحصاءات القوية، والإحصاءات اللامعلمية، وتطوير لغات البرمجة الإحصائية في تسهيل عمل الإحصائيين في حل المشكلات العلمية والهندسية. وشملت هذه المشكلات تصنيع أشباه الموصلات وفهم شبكات الاتصالات، وكلاهما كان محل اهتمام مختبرات بيل. وقد صُممت هذه التطورات الإحصائية، التي دافع عنها توكي، لتكملة النظرية التحليلية لاختبار الفرضيات الإحصائية ، ولا سيما تركيز مدرسة لابلاس على العائلات الأسية . [ 5 ]

بالإضافة إلى ذلك، هناك حجج تدعو إلى تصور البيانات أولاً أثناء عملية التحليل الاستكشافي للبيانات قبل النمذجة لتجنب الاستنتاجات المضللة كما في رباعية أنسكومب .

تطوير

مخطط انسيابي لعملية علم البيانات

ألف جون دبليو توكي كتاب "تحليل البيانات الاستكشافي" عام ١٩٧٧. [ ٦ ] ورأى توكي أن التركيز المفرط في الإحصاء ينصب على اختبار الفرضيات الإحصائية (تحليل البيانات التأكيدي)؛ بينما ينبغي التركيز أكثر على استخدام البيانات لاقتراح فرضيات لاختبارها. وعلى وجه الخصوص، رأى أن الخلط بين نوعي التحليل وتطبيقهما على نفس مجموعة البيانات قد يؤدي إلى تحيز منهجي بسبب المشكلات الكامنة في اختبار الفرضيات التي تقترحها البيانات .

تتمثل أهداف EDA فيما يلي:

تم اعتماد العديد من تقنيات تحليل البيانات الاستكشافي في مجال استخراج البيانات . كما يتم تدريسها للطلاب الصغار كوسيلة لتعريفهم بالتفكير الإحصائي. [ 8 ]

التقنيات والأدوات

توجد العديد من الأدوات المفيدة في تحليل البيانات الاستكشافي، ولكن ما يميز تحليل البيانات الاستكشافي هو النهج المتبع أكثر من التقنيات المحددة. [ 9 ]

تتضمن التقنيات الرسومية النموذجية المستخدمة في تصميم الدوائر الإلكترونية ما يلي:

تقليل الأبعاد :

تشمل الأساليب الكمية النموذجية ما يلي:

تاريخ

يمكن إرجاع العديد من أفكار تحليل البيانات الاستكشافي إلى مؤلفين سابقين، على سبيل المثال:

لقد أخذت دورة الجامعة المفتوحة " الإحصاء في المجتمع " (MDST 242) الأفكار المذكورة أعلاه ودمجتها مع عمل جوتفريد نوثر ، الذي قدم الاستدلال الإحصائي من خلال رمي العملة واختبار الوسيط .

مثال

نتائج التحليل الاستكشافي مستقلة عن مهمة التحليل الأساسية. على سبيل المثال، لنأخذ دراسة من كوك وآخرون، حيث تتمثل مهمة التحليل في إيجاد المتغيرات التي تتنبأ بشكل أفضل بالإكرامية التي سيقدمها رواد المطعم للنادل. [ 12 ] المتغيرات المتاحة في البيانات التي جُمعت لهذه المهمة هي: مبلغ الإكرامية، إجمالي الفاتورة، جنس الدافع، قسم المدخنين/غير المدخنين، وقت اليوم، يوم الأسبوع، وعدد أفراد المجموعة. تُجرى مهمة التحليل الأساسية من خلال بناء نموذج انحدار يكون فيه معدل الإكرامية هو المتغير التابع. النموذج المُطابق هو

( معدل الإكرامية ) = 0.18 - 0.01 × (عدد أفراد المجموعة)

وهذا يعني أنه مع زيادة حجم مجموعة تناول الطعام بشخص واحد (مما يؤدي إلى فاتورة أعلى)، سينخفض ​​معدل الإكرامية بنسبة 1٪ في المتوسط.

ومع ذلك، يكشف استكشاف البيانات عن سمات أخرى مثيرة للاهتمام لم يصفها هذا النموذج.

تختلف النتائج المستخلصة من الرسوم البيانية عما يوضحه نموذج الانحدار، على الرغم من أن التجربة لم تُصمم لدراسة أي من هذه الاتجاهات الأخرى. تشير الأنماط التي تم التوصل إليها من خلال تحليل البيانات إلى فرضيات حول نقطة التحول ربما لم تكن متوقعة مسبقًا، والتي قد تُفضي إلى تجارب متابعة مثيرة للاهتمام حيث تُصاغ الفرضيات رسميًا ويتم اختبارها من خلال جمع بيانات جديدة.

برمجة

  • JMP ، حزمة EDA من معهد SAS .
  • KNIME ، Konstanz Information Miner – منصة مفتوحة المصدر لاستكشاف البيانات تعتمد على Eclipse.
  • برنامج Minitab ، وهو حزمة إحصاءات عامة وتحليلات البيانات الإلكترونية، يستخدم على نطاق واسع في البيئات الصناعية والشركات.
  • أورانج ، مجموعة برامج مفتوحة المصدر لاستخراج البيانات والتعلم الآلي .
  • بايثون ، لغة برمجة مفتوحة المصدر تستخدم على نطاق واسع في استخراج البيانات والتعلم الآلي.
  • تُعدّ مكتبتا Matplotlib و Seaborn من مكتبات بايثون المستخدمة حاليًا في تحليل البيانات الاستكشافي ورسم البيانات/تصورها. (تاريخ التحديث: 2025)
  • لغة البرمجة R هي لغة مفتوحة المصدر تُستخدم في الحوسبة الإحصائية والرسومات البيانية. وتُعدّ، إلى جانب لغة بايثون، من أكثر اللغات شيوعًا في مجال علم البيانات.
  • TinkerPlots هو برنامج EDA لطلاب المرحلة الابتدائية العليا والمتوسطة.
  • Weka هي حزمة مفتوحة المصدر لاستخراج البيانات تتضمن أدوات التصور والتحليل الاستكشافي للبيانات مثل البحث عن الإسقاط المستهدف .

انظر أيضاً

مراجع

  1. ↑ تشاتفيلد، سي. (1995). حل المشكلات: دليل إحصائي (  الطبعة الثانية). تشابمان وهول. ISBN 978-0-412-60630-4.
  2. ↑ بايلي، مارك؛ لو سيسي، ساسكيا؛ شميدت، كارستن أوليفر؛ لوسا، لارا؛ هوبنر، ماريان؛ مجموعة موضوع "تحليل البيانات الأولية" التابعة لمبادرة ستراتوس (2022). "عشر قواعد بسيطة لتحليل البيانات الأولية" . مجلة PLOS لعلم الأحياء الحاسوبي . 18 (2) e1009819. رمز Bibcode : 2022PLSCB..18E9819B . doi : 10.1371/journal.pcbi.1009819 . PMC 8870512. PMID 35202399 .  
  3. ↑ جون توكي - مستقبل تحليل البيانات - يوليو 1961
  4. ↑ بيكر، ريتشارد أ.، تاريخ موجز لـ S ، موراي هيل، نيو جيرسي: مختبرات AT&T Bell، مؤرشف من الأصل (PS) في 2015-07-23 ، تم استرجاعه في 2015-07-23 ، ... أردنا أن نكون قادرين على التفاعل مع بياناتنا، باستخدام تقنيات تحليل البيانات الاستكشافية (توكي، 1971).
  5. ↑ مورغنثالر، ستيفان؛ فيرنهولز، لويزا ت. (2000). "حوار مع جون دبليو. توكي وإليزابيث توكي، لويزا ت. فيرنهولز وستيفان مورغنثالر" . العلوم الإحصائية . 15 (1): 79-94 . doi : 10.1214/ss/1009212675 .
  6. ↑ توكي، جون دبليو. (1977). تحليل البيانات الاستكشافي . بيرسون. ISBN 978-0-201-07616-5.
  7. ↑ بيرنز - مبادئ وإجراءات تحليل البيانات الاستكشافية - الجمعية الأمريكية لعلم النفس - 1997
  8. ↑ كونولد، سي. (1999). "الإحصاء يذهب إلى المدرسة". علم النفس المعاصر . 44 (1): 81-82 . doi : 10.1037/001949 .
  9. ↑ توكي، جون دبليو. (1980). "نحن بحاجة إلى كل من الاستكشاف والتأكيد". الإحصائي الأمريكي . 34 (1): 23-25 . doi : 10.1080/00031305.1980.10482706 .
  10. ↑ سايلم، هبة ز.؛ سيرو، جوليا إي.؛ باكال، كريس (2015-01-08). "تصوير بيانات التصوير الخلوي باستخدام فينوبلوت" . نيتشر كوميونيكيشنز . 6 (1): 5825. Bibcode : 2015NatCo...6.5825S . doi : 10.1038/ncomms6825 . ISSN 2041-1723 . PMC 4354266. PMID 25569359 .   
  11. ↑ دليل أساسيات الإحصاء (الطبعة الثالثة، 1920) https://archive.org/details/cu31924013702968/page/n5
  12. ↑ كوك، د. وسوين ، د. ف. (مع أ. بوجا، د. تمبل لانغ، هـ. هوفمان، هـ. ويكهام، م. لورانس) (2007) "الرسومات التفاعلية والديناميكية لتحليل البيانات: باستخدام R وGGobi" سبرينغر، 978-0387717616

فهرس

  • أندريينكو، ن . وأندريينكو، ج. (2005). التحليل الاستكشافي للبيانات المكانية والزمانية: منهجية نظامية . سبرينغر. ISBN 3-540-25994-5
  • كوك، د. وسوين ، د. ف. (مع أ. بوجا، د. تمبل لانغ، هـ. هوفمان، هـ. ويكهام، م. لورانس) (12 ديسمبر 2007). الرسومات التفاعلية والديناميكية لتحليل البيانات: باستخدام لغة R و GGobi . سبرينغر. ISBN 978-0-387-71761-6.{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  • كوك، د. وسوين، د. ف. (مع أ. بوجا، د. تمبل لانغ، هـ. هوفمان، هـ. ويكهام، م. لورانس) (12 ديسمبر 2007). الرسومات التفاعلية والديناميكية لتحليل البيانات: باستخدام لغة R و GGobi. سبرينغر. ISBN 9780387717616.
  • هوغلين، دي سي؛ موستيلر، إف وتوكي، جون وايلدر (محررون) (1985). استكشاف جداول البيانات والاتجاهات والأشكال. ISBN 978-0-471-09776-1.
  • هوغلين، دي سي؛ موستيلر، إف وتوكي، جون وايلدر (محررون) (1983). فهم تحليل البيانات القوي والاستكشافي. ISBN 978-0-471-09777-8.
  • يونغ، إف دبليو، فاليرو-مورا، بي، وفريندلي، إم (2006). الإحصاء المرئي: رؤية بياناتك باستخدام الرسومات التفاعلية الديناميكية. وايلي، ISBN 978-0-471-68160-1. جامبو، إم (1991). تحليل البيانات الاستكشافي ومتعدد المتغيرات. أكاديميك برس، ISBN 0123800900.
  • SHC DuToit، AGW Steyn، RH Stumpf (1986) التحليل الاستكشافي البياني للبيانات. Springer ISBN 978-1-4612-9371-2
  • هوغلين، دي سي؛ موستيلر، إف؛ وتوكي، جون وايلدر (محررون) (1985). استكشاف جداول البيانات والاتجاهات والأشكال . وايلي. ISBN 978-0-471-09776-1.{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  • هوغلين، دي سي؛ موستيلر، إف؛ وتوكي، جون وايلدر (محررون) (1983). فهم تحليل البيانات القوي والاستكشافي . وايلي. ISBN 978-0-471-09777-8.{{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  • إنسلبرغ، ألفريد (2009). الإحداثيات المتوازية: الهندسة البصرية متعددة الأبعاد وتطبيقاتها . لندن - نيويورك: سبرينغر. ISBN 978-0-387-68628-8.
  • Leinhardt, G., Leinhardt, S., تحليل البيانات الاستكشافي: أدوات جديدة لتحليل البيانات التجريبية ، مراجعة البحوث في التعليم، المجلد 8، 1980 (1980)، ص  85-157.
  • مارتينيز، دبليو إل ؛ مارتينيز، إيه آر وسولكا، جيه. (2010). تحليل البيانات الاستكشافي باستخدام MATLAB، الطبعة الثانية . تشابمان آند هول/سي آر سي. رقم ISBN 978-1-4398-1220-4.
  • ثيوس، م.، أوربانيك، س. (2008)، الرسومات التفاعلية لتحليل البيانات: المبادئ والأمثلة، مطبعة سي آر سي، بوكا راتون، فلوريدا، رقم ISBN 978-1-58488-594-8
  • تاكر، إل؛ ماك كالوم، آر. (1993). تحليل العوامل الاستكشافي .
  • توكي، جون وايلدر (1977). تحليل البيانات الاستكشافي . أديسون-ويسلي. ISBN 978-0-201-07616-5.
  • فيلمان، بي إف؛ هوغلين، دي سي (1981). تطبيقات وأساسيات وحوسبة تحليل البيانات الاستكشافي . دار نشر دوكسبوري. رقم ISBN 978-0-87150-409-8.
  • يونغ، إف دبليو، فاليرو-مورا، بي، وفريندلي، إم (2006). الإحصاءات المرئية: عرض بياناتك باستخدام الرسومات التفاعلية الديناميكية . وايلي، رقم ISBN 978-0-471-68160-1
  • جامبو م. (1991) تحليل البيانات الاستكشافي والمتعدد المتغيرات . دار النشر الأكاديمية ISBN 0123800900
  • SHC DuToit، AGW Steyn، RH Stumpf (1986) التحليل الاستكشافي البياني للبيانات . Springer ISBN 978-1-4612-9371-2