إعداد البيانات

إعداد البيانات هو عملية معالجة (أو تجهيز) البيانات الأولية (التي قد تأتي من مصادر بيانات متباينة) وتحويلها إلى شكل يمكن تحليله بسهولة ودقة، على سبيل المثال لأغراض تجارية. ^{[ 1 ]}

يُعد إعداد البيانات الخطوة الأولى في مشاريع تحليل البيانات، ويمكن أن يشمل العديد من المهام المنفصلة مثل تحميل البيانات أو استيعاب البيانات ، ودمج البيانات ، وتنظيف البيانات ، وتوسيع البيانات ، وتسليم البيانات . ^{[ 2 ]}

تندرج القضايا التي يتعين معالجتها ضمن فئتين رئيسيتين:

• أخطاء منهجية تشمل أعدادًا كبيرة من سجلات البيانات، ربما لأنها جاءت من مصادر مختلفة؛
• أخطاء فردية تؤثر على عدد قليل من سجلات البيانات، ربما بسبب أخطاء في إدخال البيانات الأصلي.

تتمثل الخطوة الأولى في وضع مواصفات كاملة ومفصلة لتنسيق كل حقل من حقول البيانات ومعنى كل قيمة فيه. وينبغي أن يراعي ذلك بدقة ما يلي:

• والأهم من ذلك كله، التشاور مع مستخدمي البيانات
• أي مواصفات متاحة للنظام الذي سيستخدم البيانات لإجراء التحليل
• فهم كامل للمعلومات المتاحة، وأي ثغرات، في بيانات المصدر.

انظر أيضًا إلى مواصفات تعريف البيانات .

لنفترض وجود حقل أبجدي مكون من حرفين يشير إلى الموقع الجغرافي. من الممكن أن يعني الرمز "EE" في أحد مصادر البيانات "أوروبا"، بينما يعني في مصدر بيانات آخر "إستونيا". لذا، يلزم وضع مجموعة رموز واضحة لا لبس فيها، وتعديل الرمز في إحدى مجموعات السجلات وفقًا لذلك.

علاوة على ذلك، قد تشير "المنطقة الجغرافية" إلى أيٍّ مما يلي، مثل عنوان التسليم، أو عنوان الفوترة، أو العنوان الذي يتم منه توريد البضائع، أو عملة الفوترة، أو اللوائح الوطنية المعمول بها. يجب تغطية جميع هذه الأمور في المواصفات.

قد تحتوي بعض السجلات على "X" أو "555" في ذلك الحقل. من الواضح أن هذه بيانات غير صالحة لأنها لا تتوافق مع المواصفات. إذا كان عدد هذه السجلات قليلاً، فيمكن تصحيحها يدويًا، أو حذفها من الملف إذا لم تكن الدقة مهمة. كما يمكن إنشاء فئة "غير معروف".

• أرقام الهواتف بالصيغة الصحيحة وتحتوي على القيم الصحيحة للمنطقة المحددة في حقل الموقع الجغرافي. قد يظهر رمز الدولة في بعض السجلات دون غيرها؛ لذا يجب حذفه أو إضافته (بحسب الموقع الجغرافي) وفقًا لمواصفات البيانات. وبالمثل، قد تكون صيغ التواريخ ووحدات القياس (الأوزان، الأطوال) غير متناسقة.
• في بعض الحالات، يجب توفير البيانات المفقودة من مصادر خارجية (على سبيل المثال، العثور على الرمز البريدي لعنوان ما عبر مصدر بيانات خارجي).
• ينبغي أن تكون البيانات متسقة بين سجلات البيانات المختلفة ولكن ذات الصلة (على سبيل المثال، قد يكون للشخص نفسه تواريخ ميلاد مختلفة في سجلات أو مجموعات بيانات مختلفة).

ينبغي التحقق من البيانات، حيثما كان ذلك ممكناً واقتصادياً، بالرجوع إلى مصدر موثوق (على سبيل المثال، تتم مقارنة معلومات الأعمال بقاعدة بيانات D&B لضمان دقتها). ^{[ 3 ] [ 4 ]}

نظراً لتنوع مصادر البيانات (مثل قواعد البيانات وتطبيقات الأعمال ) التي توفر البيانات ، وتنوع تنسيقاتها ، فإن عملية إعداد البيانات قد تكون معقدة ومتشعبة. تتوفر العديد من الأدوات والتقنيات ^{[ 5 ]} المستخدمة في إعداد البيانات. ينبغي دائماً موازنة تكلفة تنظيف البيانات مع قيمة تحسين دقتها.

إن الأدوات والتقنيات التقليدية، مثل لغات البرمجة النصية أو أدوات استخراج البيانات وتحويلها وتحميلها (ETL) وأدوات جودة البيانات، ليست مصممة لمستخدمي الأعمال. فهي تتطلب عادةً مهارات برمجية أو تقنية معلومات لا يمتلكها معظم مستخدمي الأعمال.

توفر العديد من الشركات، مثل Paxata و Trifacta و Alteryx و Talend و Ataccama ، واجهات مرئية تعرض البيانات وتسمح للمستخدم باستكشاف البيانات النموذجية التي يقدمها المستخدم وهيكلتها وتنظيفها وتوسيعها وتحديثها بشكل مباشر.

بمجرد اكتمال أعمال التحضير، يمكن تطبيق الخطوات الأساسية على مجموعات بيانات أخرى لتنفيذ العمليات نفسها. توفر هذه إعادة الاستخدام زيادة كبيرة في الإنتاجية مقارنةً بالأساليب اليدوية التقليدية لإعداد البيانات.

• تحرير البيانات ، وتصحيح الأخطاء في مجموعة من البيانات
• المعالجة المسبقة للبيانات ، وهي خطوة من خطوات تنظيف البيانات في استخراج البيانات لأغراض التحليل.
• يُعنى التنقيب في البيانات باكتشاف الأنماط والرؤى داخل مجموعات البيانات.
• نقل البيانات