معالجة البيانات

تُعرف عملية معالجة البيانات ، أو ما يُشار إليها أحيانًا بتنقيح البيانات ، بأنها عملية تحويل البيانات وتنسيقها من شكلها الخام إلى شكل آخر ، بهدف جعلها أكثر ملاءمة وقيمة لأغراض لاحقة متنوعة، مثل التحليلات. ويهدف هذا إلى ضمان جودة البيانات وفائدتها. ويقضي محللو البيانات عادةً معظم وقتهم في عملية معالجة البيانات مقارنةً بتحليلها الفعلي.

قد تشمل عملية معالجة البيانات المزيد من عمليات التنظيف ، وتصوير البيانات ، وتجميعها، وتدريب نموذج إحصائي ، بالإضافة إلى العديد من الاستخدامات المحتملة الأخرى. وتتبع معالجة البيانات عادةً مجموعة من الخطوات العامة التي تبدأ باستخراج البيانات بصيغتها الخام من مصدرها، ثم تنظيفها (مثل فرزها) أو تحليلها إلى هياكل بيانات محددة مسبقًا، وأخيرًا تخزين المحتوى الناتج في وجهة بيانات لاستخدامه لاحقًا. ^{[ 1 ]} وهي تتوافق بشكل وثيق مع عملية استخراج البيانات وتحويلها وتحميلها (ETL) .

يُقال غالبًا أن مصطلح "مُعالج البيانات" غير التقني مُشتق من عمل برنامج البنية التحتية الرقمية الوطنية للمعلومات والحفظ (NDIIPP) التابع لمكتبة الكونغرس الأمريكية، وشريكه في البرنامج، شراكة MetaArchive التابعة لمكتبات جامعة إيموري . ويُشتق مصطلح "مُنج" من عملية " مونجينج " كما هو موضح في ملف المصطلحات . ^{[ 2 ]} كما اقتُرح مصطلح "مُعالج البيانات" كأفضل تشبيه لوصف شخص يعمل مع البيانات. ^{[ 3 ]}

كان دونالد كلاين من أوائل من أشاروا إلى معالجة البيانات في سياق علمي خلال تجربة ناسا/الإدارة الوطنية للمحيطات والغلاف الجوي (NOAA) حول عمليات الأراضي الباردة. ^{[ 4 ]} ذكر كلاين أن معالجي البيانات "ينسقون عملية جمع بيانات التجربة بأكملها". كما حدد كلاين المهام التي يتولاها عادةً مسؤول التخزين عند التعامل مع كميات كبيرة من البيانات . يحدث هذا في مجالات مثل المشاريع البحثية الكبرى وإنتاج الأفلام التي تتضمن كميات هائلة من الصور المعقدة المولدة بالحاسوب . في مجال البحث، يشمل ذلك نقل البيانات من أجهزة البحث إلى شبكة التخزين أو مرفق التخزين، بالإضافة إلى معالجة البيانات لإعادة تحليلها باستخدام أجهزة الحوسبة عالية الأداء أو الوصول إليها عبر المكتبات الرقمية القائمة على البنية التحتية الإلكترونية .

مع ظهور الذكاء الاصطناعي في علم البيانات، بات من الضروري وجود ضوابط صارمة لأتمتة معالجة البيانات، ولذلك لم تتم أتمتة عملية تنظيف البيانات باستخدام التعلم الآلي . تتطلب عملية تنظيف البيانات أكثر من مجرد حل آلي، فهي تتطلب معرفة المعلومات التي يجب حذفها، والذكاء الاصطناعي لم يصل بعد إلى مستوى فهم هذه الأمور. ^{[ 5 ]}

معالجة البيانات هي عملية شاملة لاستخراج البيانات ، وتتطلب عمليات تستخدمها بعض عمليات استخراج البيانات، ولكن ليس دائمًا. تهدف عملية استخراج البيانات إلى إيجاد أنماط ضمن مجموعات بيانات ضخمة، بينما تقوم معالجة البيانات بتحويل البيانات لاستخلاص رؤى قيّمة عنها. ورغم أن معالجة البيانات هي عملية شاملة لاستخراج البيانات، إلا أن ذلك لا يعني أن استخراج البيانات لا يستخدمها، بل هناك العديد من حالات استخدام معالجة البيانات في استخراج البيانات. يمكن لمعالجة البيانات أن تفيد استخراج البيانات من خلال إزالة البيانات التي لا تُفيد المجموعة ككل، أو التي لم يتم تنسيقها بشكل صحيح، مما يُحسّن نتائج عملية استخراج البيانات بشكل عام.

ومن الأمثلة على استخراج البيانات التي ترتبط ارتباطًا وثيقًا بمعالجة البيانات هو تجاهل البيانات من مجموعة غير مرتبطة بالهدف: لنفترض أن هناك مجموعة بيانات متعلقة بولاية تكساس والهدف هو الحصول على إحصائيات عن سكان هيوستن، فإن البيانات الموجودة في المجموعة والمتعلقة بسكان دالاس ليست مفيدة للمجموعة ككل ويمكن إزالتها قبل المعالجة لتحسين كفاءة عملية استخراج البيانات.

يمكن أن توفر معالجة البيانات المصممة جيدًا الفوائد التالية في سير العمل التحليلي:

• الاستعداد للتحليل وتحسين جودة البيانات. من خلال تحويل مجموعات البيانات إلى هياكل متسقة ومنظمة، تقلل عملية معالجة البيانات من التلاعب المخصص وتجعل نمذجة البيانات وتصورها أسهل. ^{[ 6 ]}

• إمكانية التكرار والتدقيق. يُتيح تسجيل عمليات التحويل كنصوص برمجية أو دفاتر ملاحظات إنشاء سجل واضح لكيفية إنتاج النتائج؛ وتُنشئ الأنظمة التفاعلية مثل Wrangler سجلات قابلة للتعديل ونصوص تحويل قابلة للتدقيق، مما يقلل من التحرير اليدوي لمرة واحدة. ^{[ 7 ] [ 8 ]}

• الكفاءة وإعادة الاستخدام. يمكن لأدوات المبادرة المختلطة استنتاج التحويلات المرشحة ودعم إعادة استخدام نصوص التحويل المحفوظة عند تحديث البيانات، مما يحسن الإنتاجية. ^{[ 7 ]}

• التكامل والإثراء. تساعد أدوات معالجة البيانات في دمج المصادر غير المتجانسة وإثراء السجلات عبر التوفيق أو خدمات الويب. على سبيل المثال، يدعم OpenRefine التجميع والتحويل والتوفيق مع المصادر الخارجية. ^{[ 9 ]}

ملاحظة: تعتمد الفوائد على توثيق الخطوات واستخدام سير العمل الخاضع للتحكم في الإصدارات؛ وإلا، فقد تستغرق عملية المعالجة وقتاً طويلاً وتكون عرضة للأخطاء. ^{[ 8 ]}

الخطوات الرئيسية في معالجة البيانات هي كما يلي:

تُمثل هذه الخطوات عملية تكرارية تُفضي إلى مجموعة بيانات نظيفة وقابلة للاستخدام، يُمكن توظيفها لاحقًا في التحليل. ورغم أن هذه العملية شاقة، إلا أنها مُجزية، إذ تُمكّن المحللين من استخلاص المعلومات التي يحتاجونها من مجموعة بيانات ضخمة كانت ستظل غير قابلة للقراءة لولاها.

أظهرت نتائج تطبيق عملية معالجة البيانات على هذه المجموعة الصغيرة من البيانات سهولةً ملحوظةً في قراءة البيانات. فقد تم تنسيق جميع الأسماء بنفس الطريقة (الاسم الأول الاسم الأخير)، وكذلك أرقام الهواتف (رمز المنطقة-XXX-XXXX)، والتواريخ (السنة-الشهر-اليوم)، ولم تعد الولايات مختصرة. أما بيانات جاكوب آلان، فكانت ناقصة (رمز المنطقة مفقود في رقم الهاتف، وتاريخ الميلاد غير مذكور فيه السنة)، لذا تم استبعادها من مجموعة البيانات. والآن، بعد تنظيف مجموعة البيانات وجعلها قابلة للقراءة، أصبحت جاهزةً للاستخدام أو التقييم.

يتم تطبيق تحويلات البيانات عادةً على كيانات متميزة (مثل الحقول والصفوف والأعمدة وقيم البيانات وما إلى ذلك) داخل مجموعة البيانات، ويمكن أن تشمل إجراءات مثل الاستخراج والتحليل والربط والتوحيد والتوسيع والتنظيف والدمج والتصفية لإنشاء مخرجات معالجة البيانات المطلوبة التي يمكن الاستفادة منها في المراحل اللاحقة.

قد يكون المتلقون أفرادًا، مثل مهندسي البيانات أو علماء البيانات الذين سيقومون بدراسة البيانات بشكل أكبر، أو مستخدمي الأعمال الذين سيستهلكون البيانات مباشرة في التقارير، أو الأنظمة التي ستقوم بمعالجة البيانات بشكل أكبر وكتابتها في أهداف مثل مستودعات البيانات أو بحيرات البيانات أو التطبيقات النهائية.

بحسب كمية البيانات الواردة وتنسيقها، جرت العادة على معالجة البيانات يدويًا (مثلًا باستخدام جداول البيانات كبرنامج Excel)، أو باستخدام أدوات مثل KNIME ، أو عبر برامج نصية بلغات مثل Python أو SQL . وتُستخدم لغة R ، الشائعة في استخراج البيانات وتحليلها الإحصائي، أحيانًا في معالجة البيانات أيضًا. ^{[ 10 ]} يمتلك معالجو البيانات عادةً مهارات في لغات مثل R أو Python، وSQL، وPHP، وScala، وغيرها من اللغات المستخدمة في تحليل البيانات.

طُوِّرت أنظمة معالجة البيانات المرئية لتسهيل عملية معالجة البيانات لغير المبرمجين، وتبسيطها للمبرمجين. تتضمن بعض هذه الأنظمة أيضًا أنظمة توصية مدمجة تعمل بالذكاء الاصطناعي ، وميزات البرمجة بالأمثلة لتوفير مساعدة للمستخدم، وتقنيات توليف البرامج لإنشاء شفرة تدفق بيانات قابلة للتوسع تلقائيًا. من بين النماذج الأولية لأدوات معالجة البيانات المرئية OpenRefine ونظام البحث Wrangler التابع لجامعتي ستانفورد وبيركلي ؛ ^{[ 11 ]} وقد تطور الأخير ليصبح Trifacta .

وقد تضمنت المصطلحات الأخرى لهذه العمليات امتياز البيانات، ^{[ 12 ]} وإعداد البيانات ، ومعالجة البيانات.

إذا كان لديك مجموعة بيانات تحتوي على معلومات عن المرضى، فإن هدفك هو إيجاد علاقة بين مرض معين وحالة صحية معينة. قبل البدء في تحليل البيانات، تأكد من فهمك للنتيجة، هل تبحث عن مرضى مصابين بالمرض؟ هل هناك أمراض أخرى قد تكون السبب؟ بمجرد فهم النتيجة، يمكنك البدء في معالجة البيانات.

ابدأ بتحديد بنية النتيجة، وما هو المهم لفهم تشخيص المرض.

بمجرد تحديد الهيكل النهائي، قم بتنظيف البيانات عن طريق إزالة أي نقاط بيانات غير مفيدة أو مشوهة، وقد يشمل ذلك المرضى الذين لم يتم تشخيص إصابتهم بأي مرض.

بعد تنظيف البيانات، ألقِ نظرة عليها مرة أخرى، هل هناك أي معلومات يمكن إضافتها إلى مجموعة البيانات المعروفة مسبقًا والتي من شأنها أن تفيدها؟ على سبيل المثال، يمكن الاطلاع على أكثر الأمراض شيوعًا في المنطقة، حيث تختلف أمريكا والهند اختلافًا كبيرًا فيما يتعلق بأكثر الأمراض شيوعًا.

والآن تأتي خطوة التحقق، وتحديد قواعد التحقق التي يجب التحقق من صحة نقاط البيانات الخاصة بها، وقد يشمل ذلك تاريخ الميلاد أو التحقق من أمراض معينة.

بعد خطوة التحقق، ينبغي تنظيم البيانات وإعدادها إما للتطبيق أو للتقييم. تُعدّ هذه العملية مفيدة لتحديد الارتباطات في تشخيص الأمراض، إذ تُقلّص كمية البيانات الهائلة إلى بيانات يسهل تحليلها للوصول إلى نتائج دقيقة.

• ألتريكس
• مُنظِّم البيانات
• إعداد البيانات
• أوبن ريفاين
• ترايفاكتا

• "ما هي معالجة البيانات؟ فوائدها وأدواتها ومهاراتها؟" . رحلتي كمؤثر . تم الاطلاع عليه بتاريخ 26 يناير 2022 .