معالجة البيانات المسبقة

تتيح المعالجة المسبقة للبيانات إزالة البيانات غير المرغوب فيها من خلال تنظيفها، مما يُمكّن المستخدم من الحصول على مجموعة بيانات تحتوي على معلومات قيّمة بعد مرحلة المعالجة، ما يُسهّل معالجتها لاحقًا في عملية استخراج البيانات. يُعدّ تحرير هذه المجموعة من البيانات، سواءً لتصحيح تلف البيانات أو الأخطاء البشرية، خطوةً حاسمةً للحصول على مؤشرات كمية دقيقة، مثل الإيجابيات الحقيقية، والسلبيات الحقيقية، والإيجابيات الكاذبة، والسلبيات الكاذبة، الموجودة في مصفوفة الارتباك ، والتي تُستخدم عادةً في التشخيص الطبي. يستطيع المستخدمون دمج ملفات البيانات معًا واستخدام المعالجة المسبقة لتصفية أي تشويش غير ضروري، ما يُحسّن دقة البيانات. يستخدم المستخدمون نصوص برمجة بايثون مع مكتبة Pandas، التي تُمكّنهم من استيراد البيانات من قيم مفصولة بفواصل كإطار بيانات. يُستخدم إطار البيانات هذا لمعالجة البيانات، وهو أمر قد يكون صعبًا في برنامج Excel. تُعدّ Pandas (برنامجًا) أداةً قويةً لتحليل البيانات ومعالجتها، ما يُسهّل إنشاء تصورات البيانات، وإجراء العمليات الإحصائية، وغير ذلك الكثير. يستخدم الكثيرون أيضاً لغة البرمجة R للقيام بمثل هذه المهام.

تتعدد الأسباب التي تدفع المستخدم إلى تحويل الملفات الموجودة إلى ملفات جديدة. تشمل جوانب معالجة البيانات المسبقة استكمال القيم المفقودة، وتجميع الكميات العددية، وتحويل البيانات المستمرة إلى فئات ( تصنيف البيانات ). ^{[ 2 ]} أما التقنيات الأكثر تقدماً، مثل تحليل المكونات الرئيسية واختيار الميزات ، فتعتمد على الصيغ الإحصائية وتُطبق على مجموعات البيانات المعقدة التي تُسجلها أجهزة تتبع نظام تحديد المواقع العالمي (GPS) وأجهزة التقاط الحركة.

يُعدّ التنقيب الدلالي عن البيانات فرعًا من فروع التنقيب عن البيانات، ويهدف تحديدًا إلى دمج المعرفة المتخصصة ، كالدلالات الرسمية، في عملية التنقيب عن البيانات. والمعرفة المتخصصة هي معرفة البيئة التي عُولجت فيها البيانات. ويمكن أن يكون لهذه المعرفة تأثير إيجابي على جوانب عديدة من التنقيب عن البيانات، مثل تصفية البيانات الزائدة أو المتناقضة خلال مرحلة المعالجة المسبقة. ^{[ 3 ]} كما تعمل المعرفة المتخصصة كقيد، وذلك باستخدامها كمجموعة من المعارف المسبقة لتقليل المساحة المطلوبة للبحث، وتوجيه البيانات. باختصار، تسعى المعالجة المسبقة الدلالية إلى تصفية البيانات باستخدام بيئتها الأصلية بشكل أكثر دقة وكفاءة.

تتزايد تعقيد المشكلات التي تتطلب حلولاً بتقنيات أكثر تطوراً لتحليل المعلومات المتاحة بشكل أفضل. وبدلاً من إنشاء برنامج بسيط لتجميع القيم العددية المختلفة في قيمة واحدة، يُفضّل التركيز على المعالجة المسبقة للبيانات القائمة على الدلالات. ^{[ 4 ]} وتتمثل الفكرة في بناء أنطولوجيا متخصصة ، تُفسّر جوهر المشكلة على مستوى أعمق. ^{[ 5 ]} وفيما يتعلق باستخراج البيانات الدلالية والمعالجة المسبقة الدلالية، تُعدّ الأنطولوجيات وسيلةً لتصوّر المعرفة والبيانات الدلالية وتحديدها بشكل رسمي. ويُعتبر برنامج Protégé الأداة القياسية لبناء الأنطولوجيا. وبشكل عام، يُسهم استخدام الأنطولوجيات في سدّ الفجوات بين البيانات والتطبيقات والخوارزميات والنتائج الناتجة عن عدم تطابق الدلالات. ونتيجةً لذلك، فإنّ لاستخراج البيانات الدلالية المُدمج مع الأنطولوجيا تطبيقات عديدة حيث يُمكن أن يؤثر الغموض الدلالي على فائدة وكفاءة أنظمة البيانات. وتشمل التطبيقات المجال الطبي، ومعالجة اللغة، والخدمات المصرفية، ^{[ 6 ]} وحتى التدريس الخصوصي، ^{[ 7 ]} من بين العديد من المجالات الأخرى.

تتعدد مزايا استخدام منهجية استخراج البيانات الدلالية والمنهجية القائمة على علم الوجود. وكما ذُكر سابقًا، تُسهم هذه الأدوات في تسهيل مرحلة المعالجة الأولية من خلال استبعاد البيانات غير المرغوب فيها من مجموعة البيانات. إضافةً إلى ذلك، يُمكن للدلالات الرسمية المُهيكلة جيدًا، والمُدمجة في أنطولوجيات مُصممة بدقة، أن تُوفر بيانات قيّمة يسهل على الآلات قراءتها ومعالجتها. ^{[ 8 ]} ويُعدّ الاستخدام الطبي لمعالجة البيانات الدلالية مثالًا عمليًا على ذلك. فعلى سبيل المثال، يُنقل مريضٌ إلى المستشفى في حالة طوارئ طبية، ويحاول المسعفون تحديد الدواء الأمثل له. في ظل معالجة البيانات التقليدية، قد يستغرق البحث في جميع البيانات الطبية للمريض لضمان حصوله على أفضل علاج وقتًا طويلًا، مما يُعرّض صحته أو حتى حياته للخطر. ولكن باستخدام الأنطولوجيات المُعالجة دلاليًا، يُمكن للمسعفين إنقاذ حياة المريض. تستطيع أدوات مثل المُستدل الدلالي استخدام علم الوجود لاستنتاج أفضل دواء يُعطى للمريض بناءً على تاريخه الطبي، كأن يكون مصابًا بنوع معين من السرطان أو غيره من الحالات، وذلك بمجرد فحص اللغة الطبيعية المستخدمة في سجلاته الطبية. ^{[ 9 ]} وهذا يُتيح للمسعفين البحث عن الدواء بسرعة وكفاءة دون الحاجة إلى القلق بشأن التاريخ الطبي للمريض، إذ يكون المُستدل الدلالي قد حلل هذه البيانات مسبقًا ووجد الحلول. يُوضح هذا، بشكل عام، القوة الهائلة لاستخدام التنقيب الدلالي عن البيانات وعلم الوجود. فهما يُتيحان استخراج البيانات بشكل أسرع وأكثر كفاءة من جانب المستخدم، نظرًا لقلة المتغيرات التي عليه مراعاتها، لأن البيانات المُعالجة دلاليًا وعلم الوجود المُصمم لها قد أخذا في الحسبان العديد من هذه المتغيرات. مع ذلك، توجد بعض العيوب لهذا النهج، أبرزها أنه يتطلب قدرة حاسوبية عالية وتعقيدًا كبيرًا، حتى مع مجموعات البيانات الصغيرة نسبيًا. ^{[ 10 ]} قد يؤدي ذلك إلى ارتفاع التكاليف وزيادة الصعوبات في بناء وصيانة أنظمة معالجة البيانات الدلالية. ويمكن التخفيف من ذلك إلى حد ما إذا كانت مجموعة البيانات منظمة ومنسقة بشكل جيد، ولكن حتى في هذه الحالة، يظل التعقيد أعلى مقارنةً بمعالجة البيانات القياسية.

فيما يلي رسم تخطيطي بسيط يجمع بعض العمليات، ولا سيما استخراج البيانات الدلالية واستخدامها في علم الوجود.

يوضح الرسم التخطيطي تقسيم مجموعة البيانات إلى جزأين: خصائص مجالها، أو المعرفة الخاصة به، ثم البيانات الفعلية المكتسبة. تُعالَج خصائص المجال لتصبح معرفة مفهومة للمستخدم، قابلة للتطبيق على البيانات. في الوقت نفسه، تُعالَج مجموعة البيانات وتُخزَّن لتطبيق المعرفة الخاصة بالمجال عليها، ما يسمح باستمرار العملية. يُشكِّل هذا التطبيق الأنطولوجيا. ومن ثم، يمكن استخدام الأنطولوجيا لتحليل البيانات ومعالجة النتائج.

المعالجة المسبقة الضبابية هي تقنية أخرى أكثر تطورًا لحل المشكلات المعقدة. تستخدم المعالجة المسبقة الضبابية واستخراج البيانات الضبابية مجموعات ضبابية . تتكون هذه المجموعات من عنصرين: مجموعة ودالة انتماء لهذه المجموعة تتضمن القيمتين 0 و1. تستخدم المعالجة المسبقة الضبابية هذه المجموعة الضبابية لربط القيم العددية بالمعلومات اللغوية، ثم تُحوّل البيانات الخام إلى لغة طبيعية . في النهاية، يهدف استخراج البيانات الضبابية إلى المساعدة في التعامل مع المعلومات غير الدقيقة، مثل قواعد البيانات غير المكتملة. حاليًا، تُستخدم المعالجة المسبقة الضبابية، بالإضافة إلى تقنيات استخراج البيانات الأخرى القائمة على المنطق الضبابي، بشكل متكرر مع الشبكات العصبية والذكاء الاصطناعي. ^{[ 11 ]}