تحرير البيانات
تُعرَّف عملية تحرير البيانات بأنها مراجعة وتعديل بيانات الاستبيانات التي جُمعت . [ 1 ] تُساعد عملية تحرير البيانات في وضع إرشادات تُقلل من التحيز المحتمل وتضمن تقديرات متسقة، مما يُؤدي إلى تحليل واضح لمجموعة البيانات من خلال تصحيح البيانات غير المتسقة باستخدام الطرق المذكورة لاحقًا في هذه المقالة. [ 2 ] والهدف من ذلك هو ضبط جودة البيانات التي جُمعت. [ 3 ] يُمكن إجراء تحرير البيانات يدويًا، أو بمساعدة الحاسوب، أو باستخدام كليهما. [ 4 ]
أساليب التحرير
تشير أساليب التحرير إلى مجموعة من الإجراءات والعمليات المستخدمة لاكتشاف الأخطاء في البيانات ومعالجتها. يُستخدم تحرير البيانات بهدف تحسين جودة البيانات الإحصائية المُنتجة. يمكن لهذه التعديلات أن تُحسّن بشكل كبير جودة التحليلات المُنشأة من خلال اكتشاف الأخطاء وتصحيحها. ومن أمثلة تقنيات تحرير البيانات المختلفة: التحرير الجزئي، والتحرير الكلي، والتحرير الانتقائي، بالإضافة إلى الأدوات المختلفة المستخدمة في تحرير البيانات، مثل التحرير الرسومي والتحرير التفاعلي.
التحرير التفاعلي
يُستخدم مصطلح التحرير التفاعلي عادةً للإشارة إلى التحرير اليدوي الحديث بمساعدة الحاسوب. تتيح معظم أدوات تحرير البيانات التفاعلية المُطبقة في المعاهد الإحصائية الوطنية (NSIs) إمكانية التحقق من التعديلات المُحددة أثناء إدخال البيانات أو بعده، وتصحيح البيانات الخاطئة فورًا عند الضرورة. ويمكن اتباع عدة طرق لتصحيح البيانات الخاطئة:
- أعد الاتصال بالمستجيب
- قارن بيانات المستجيب ببياناته من العام السابق
- قارن بيانات المستجيب ببيانات من مستجيبين مماثلين
- استعن بمعرفة المحرر البشري بالموضوع
يُعدّ التحرير التفاعلي طريقةً قياسيةً لتحرير البيانات، ويمكن استخدامه لتحرير البيانات الفئوية والبيانات المستمرة على حدٍ سواء . [ 5 ] يُقلّل التحرير التفاعلي من الوقت اللازم لإتمام عملية المراجعة والتعديل الدورية. [ 6 ] كما يتطلّب التحرير التفاعلي فهمًا لمجموعة البيانات والنتائج المحتملة لتحليلها.
التحرير الانتقائي
التحرير الانتقائي مصطلح شامل لعدة طرق لتحديد الأخطاء المؤثرة، [ ملاحظة 1 ] والقيم الشاذة . [ ملاحظة 2 ] تهدف تقنيات التحرير الانتقائي إلى تطبيق التحرير التفاعلي على مجموعة فرعية مختارة بعناية من السجلات، بحيث يتم تخصيص الوقت والموارد المحدودة المتاحة للتحرير التفاعلي لتلك السجلات التي يكون لها أكبر تأثير على جودة التقديرات النهائية للأرقام المنشورة. في التحرير الانتقائي، تُقسّم البيانات إلى مسارين:
- التيار الحرج
- التيار غير الحرج
يتألف المسار الحرج من السجلات التي يُحتمل أن تحتوي على أخطاء مؤثرة. تُحرر هذه السجلات الحرجة بطريقة تفاعلية تقليدية. أما السجلات في المسار غير الحرج، والتي من غير المرجح أن تحتوي على أخطاء مؤثرة، فلا تُحرر بطريقة بمساعدة الحاسوب. [ 7 ]
تقنيات تحرير البيانات
يمكن إنجاز تحرير البيانات بطرق عديدة، ويعتمد ذلك بشكل أساسي على مجموعة البيانات التي يتم استكشافها. [ 8 ]
صحة البيانات واكتمالها
تعتمد صحة مجموعة البيانات على اكتمال إجابات المشاركين. ومن طرق تحرير البيانات التأكد من اكتمال جميع الإجابات في الحقول التي تتطلب إجابة رقمية أو غير رقمية. انظر المثال أدناه.

إدخال البيانات المكررة
يُعدّ التحقق من فرادة البيانات جانبًا مهمًا من عملية تحرير البيانات، لضمان إدخال كل بيانات مرة واحدة فقط. وهذا يقلل من احتمالية تكرار البيانات، الأمر الذي قد يُؤثر سلبًا على تقارير التحليلات . انظر المثال أدناه.

القيم الشاذة
من الشائع وجود قيم شاذة في مجموعات البيانات، وهي، كما ذُكر سابقًا، قيم لا تتوافق جيدًا مع نموذج البيانات. يمكن تحديد هذه القيم المتطرفة بناءً على توزيع نقاط البيانات من سلاسل بيانات سابقة أو سلاسل بيانات موازية لنفس مجموعة البيانات. تُعتبر هذه القيم خاطئة وتتطلب مزيدًا من التحليل للتحقق من صحتها. انظر المثال أدناه.

التناقضات المنطقية
الاتساق المنطقي هو وجود علاقات منطقية وترابط بين المتغيرات. يتطلب هذا النوع من التحرير فهمًا دقيقًا لمجموعة البيانات والقدرة على تحديد الأخطاء فيها استنادًا إلى التقارير أو المعلومات السابقة. يُستخدم هذا النوع من تحرير البيانات لمعالجة الاختلافات بين حقول البيانات أو المتغيرات. انظر المثال أدناه.

تحرير الماكرو
هناك طريقتان لتحرير الماكرو: [ 7 ]
طريقة التجميع
تُتبع هذه الطريقة في معظم الوكالات الإحصائية قبل النشر: التحقق من مدى معقولية الأرقام المراد نشرها. ويتم ذلك بمقارنة القيم في جداول النشر مع القيم نفسها في المنشورات السابقة. وفي حال رُصدت قيمة غير معتادة، تُطبق عملية تدقيق دقيقة على السجلات والحقول الفردية التي تُساهم في القيمة المشبوهة. [ 6 ]
طريقة التوزيع
تُستخدم البيانات المتاحة لتوصيف توزيع المتغيرات . ثم تُقارن جميع القيم الفردية بالتوزيع. وتُعتبر السجلات التي تحتوي على قيم قد تُعتبر غير شائعة (بالنظر إلى التوزيع) مرشحة لمزيد من الفحص وربما للتعديل. [ 9 ]
التحرير التلقائي
في التحرير الآلي، تُحرَّر السجلات بواسطة الحاسوب دون تدخل بشري. [ 10 ] يمكن صياغة المعرفة المسبقة بقيم متغير واحد أو مجموعة من المتغيرات كمجموعة من قواعد التحرير التي تحدد أو تقيد القيم المسموح بها.
محددات تحرير البيانات
تُقيّد عملية تحرير البيانات بقدرات وموارد أي دراسة. ويمكن أن يكون لهذه العوامل تأثير إيجابي أو سلبي على تحليل البيانات بعد إجرائها. فيما يلي بعض العوامل المؤثرة في تحرير البيانات. [ 8 ]
الموارد المتاحة: [ 8 ]
- الوقت المخصص للمشروع
- القيود المالية والميزانية
البرامج المتاحة: [ 8 ]
- الأدوات المستخدمة لتحليل البيانات
- الأدوات المتاحة لتحديد الأخطاء في مجموعة البيانات
- إمكانية توفير البرامج بشكل فوري بناءً على أهداف وغايات البيانات
مصدر البيانات: [ 8 ]
- محدودية قدرة المستجيبين على الإجابة وفقًا للتوقعات
- المعلومات المفقودة من المستجيبين والتي لا تتوفر بسهولة
- يصعب الحفاظ على عمليات المتابعة في مجموعات البيانات الكبيرة
تنسيق إجراءات تحرير البيانات: [ 8 ]
- وجهات نظر شخصية حول مجموعة البيانات
- الخلافات بين الأهداف العامة للبيانات
- الأساليب المستخدمة في معالجة تحرير البيانات
انظر أيضاً
ملحوظات
مراجع
- ↑ فيرغسون، دانيا ب. "مقدمة في عملية تحرير البيانات" (ملف PDF) . unece.org/ .
- ↑ "الصفحة الرئيسية للمركز الوطني لإحصاءات التعليم (NCES)، التابع لوزارة التعليم الأمريكية" . nces.ed.gov . تم الاطلاع عليه بتاريخ 6 ديسمبر 2020 .
- ↑ "اللجنة الاقتصادية لأوروبا التابعة للأمم المتحدة" .
- ↑ " الإحصاء: قوة البيانات! تحرير البيانات" . www150.statcan.gc.ca
- ↑ Waal, Ton de et al. "Handbook of Statistical Data Editing and Imputation". Wiley publication, 2011, p.15.
- 1 2 "الصفحة الرئيسية للجنة الأمم المتحدة الاقتصادية لأوروبا" . www.unece.org .
- 1 2 Waal, Ton de et al. "Handbook of Statistical Data Editing and Imputation". Wiley publication, 2011, p.16.
- 1 2 3 4 5 6 SCAD. "SCAD" . SCAD . تم الاسترجاع في 2020-12-07 .
- ↑ بيت لحم، ج. "أساليب المسح التطبيقية: منظور إحصائي". منشورات وايلي، 2009، ص 205.
- ↑ وال، تون دي وآخرون. "دليل تحرير البيانات الإحصائية وإسنادها". منشورات وايلي
- منهجية المسح
- البحث الكمي
