استكشاف البيانات
استكشاف البيانات هو نهج مشابه لتحليل البيانات الأولي ، حيث يستخدم محلل البيانات الاستكشاف البصري لفهم ما يوجد في مجموعة البيانات وخصائص البيانات، بدلاً من أنظمة إدارة البيانات التقليدية. [1] يمكن أن تتضمن هذه الخصائص حجم أو كمية البيانات، واكتمال البيانات، وصحة البيانات، والعلاقات المحتملة بين عناصر البيانات أو الملفات/الجداول في البيانات.
يتم إجراء استكشاف البيانات عادةً باستخدام مجموعة من الأنشطة الآلية واليدوية. [1] [2] [3] يمكن أن تتضمن الأنشطة الآلية إنشاء ملف تعريف للبيانات أو تصور البيانات أو التقارير الجدولية لإعطاء المحلل نظرة أولية للبيانات وفهمًا للخصائص الرئيسية. [1]
غالبًا ما يتبع ذلك التنقيب اليدوي أو تصفية البيانات لتحديد الشذوذ أو الأنماط التي تم تحديدها من خلال الإجراءات الآلية. يمكن أن يتطلب استكشاف البيانات أيضًا البرمجة النصية والاستعلامات اليدوية في البيانات (على سبيل المثال باستخدام لغات مثل SQL أو R ) أو استخدام جداول البيانات أو أدوات مماثلة لعرض البيانات الخام . [4]
تهدف كل هذه الأنشطة إلى إنشاء نموذج ذهني وفهم للبيانات في ذهن المحلل، وتحديد البيانات الوصفية الأساسية (الإحصائيات، والبنية، والعلاقات) لمجموعة البيانات التي يمكن استخدامها في التحليل الإضافي. [1]
بمجرد الحصول على هذا الفهم الأولي للبيانات، يمكن تقليم البيانات أو تحسينها عن طريق إزالة الأجزاء غير القابلة للاستخدام من البيانات ( تطهير البيانات )، وتصحيح العناصر ذات التنسيق السيئ وتحديد العلاقات ذات الصلة عبر مجموعات البيانات. [2] تُعرف هذه العملية أيضًا بتحديد جودة البيانات . [4]
يمكن أن يشير استكشاف البيانات أيضًا إلى الاستعلام أو التصور المخصص للبيانات لتحديد العلاقات أو الأفكار المحتملة التي قد تكون مخفية في البيانات ولا يتطلب صياغة افتراضات مسبقًا. [1]
تقليديًا، كان هذا مجالًا رئيسيًا للتركيز بالنسبة للإحصائيين، وكان جون توكي من المبشرين الرئيسيين في هذا المجال. [5] اليوم، أصبح استكشاف البيانات أكثر انتشارًا وهو محور تركيز محللي البيانات وعلماء البيانات ؛ حيث يعتبر الأخير دورًا جديدًا نسبيًا داخل المؤسسات والمنظمات الأكبر حجمًا.
استكشاف البيانات التفاعلية
أصبح هذا المجال من استكشاف البيانات مجال اهتمام في مجال التعلم الآلي . هذا مجال جديد نسبيًا ولا يزال يتطور. [4] وباعتبارها المستوى الأساسي، يمكن تغذية خوارزمية التعلم الآلي بمجموعة بيانات ويمكن استخدامها لتحديد ما إذا كانت الفرضية صحيحة بناءً على مجموعة البيانات. يمكن أن تركز خوارزميات التعلم الآلي الشائعة على تحديد أنماط معينة في البيانات. [2] تتضمن العديد من الأنماط الشائعة الانحدار والتصنيف أو التجميع ، ولكن هناك العديد من الأنماط والخوارزميات المحتملة التي يمكن تطبيقها على البيانات عبر التعلم الآلي.
من خلال استخدام التعلم الآلي، من الممكن العثور على أنماط أو علاقات في البيانات يكون من الصعب أو المستحيل العثور عليها من خلال التفتيش اليدوي أو التجربة والخطأ أو تقنيات الاستكشاف التقليدية. [6]
برمجة
- Trifacta – منصة لإعداد وتحليل البيانات
- Paxata – برنامج تحضير البيانات ذاتي الخدمة
- Alteryx – برنامج دمج البيانات وتحليل البيانات المتقدم
- Microsoft Power BI - أداة تفاعلية لتحليل البيانات والتصور
- OpenRefine - تطبيق سطح مكتب مفتوح المصدر مستقل لتنظيف البيانات وتحويلها
- برنامج Tableau – برنامج لتصور البيانات التفاعلية
انظر أيضا
مراجع
- ^ abcde فوستر العلوم المفتوحة، نظرة عامة على تقنيات استكشاف البيانات: ستراتوس إدريوس، أولغا بابايمونويل، سوراجيت تشودري.
- ^ abc Stanford.edu، 2011 Wrangler: المواصفات البصرية التفاعلية لبرامج تحويل البيانات، كاندل، بايبك، هيلرشتاين هير.
- ^ أرناب ناندي؛ إتش في جاغاديش. التفاعل الموجه: إعادة التفكير في نموذج الاستعلام والنتيجة (PDF) . المؤتمر الدولي حول قواعد البيانات الضخمة للغاية (VLDB) 2011.
- ^ abc Stanford.edu، IEEE Visual Analytics Science & Technology (VAST)، أكتوبر 2012 تحليل البيانات المؤسسية وتصورها: دراسة مقابلة، شون كاندل، أندرياس بايبك، جوزيف هيليرشتاين، جيفري هير إجراءات.
- ^ تحليل البيانات الاستكشافية، بيرسون. ISBN 978-0201076165
- ^ التعلم الآلي لاستكشاف البيانات
