البيانات غير المهيكلة

📅 آخر تحديث: ٢ أغسطس ٢٠٢٦
✍️ نُشر في: ٢ أغسطس ٢٠٢٦
📷 يحتوي على 2 صور
الموسوعة الحرة
سجلات غير مصنفة تم الاستيلاء عليها من ألمانيا النازية في مركز السجلات العسكرية التابع للأرشيف الوطني الأمريكي في الإسكندرية، فيرجينيا ، عام 1956

البيانات غير المهيكلة (أو المعلومات غير المهيكلة ) هي معلومات إما أنها لا تملك نموذج بيانات مُحدد مسبقًا أو أنها غير مُنظمة بطريقة مُحددة مسبقًا. عادةً ما تكون المعلومات غير المهيكلة غنية بالنصوص، ولكنها قد تحتوي أيضًا على بيانات مثل التواريخ والأرقام والحقائق. ينتج عن ذلك عدم انتظام وغموض يجعل فهمها صعبًا باستخدام البرامج التقليدية مقارنةً بالبيانات المخزنة في قواعد البيانات أو المُصنفة دلاليًا في المستندات.

في عام ١٩٩٨، ذكرت شركة ميريل لينش أن "البيانات غير المهيكلة تشكل الغالبية العظمى من البيانات الموجودة في أي مؤسسة، وتشير بعض التقديرات إلى أنها تصل إلى ٨٠٪". [ ١ ] لا يزال مصدر هذا الرقم غير واضح، ولكنه مع ذلك مقبول لدى البعض. [ ٢ ] وقد أفادت مصادر أخرى بنسب مماثلة أو أعلى من البيانات غير المهيكلة. [ ٣ ] [ ٤ ] [ ٥ ]

في عام 2012، توقعت مؤسسة البيانات الدولية (IDC) وشركة ديل إي إم سي أن يصل حجم البيانات إلى 40 زيتابايت بحلول عام 2020، أي بزيادة قدرها 50 ضعفًا منذ بداية عام 2010. [ 6 ] وفي الآونة الأخيرة، توقعت مؤسسة البيانات الدولية وشركة سيجيت أن يصل حجم البيانات العالمية إلى 163 زيتابايت بحلول عام 2025 [ 7 ] ، وأن يكون معظمها غير مُهيكل. وتشير مجلة "عالم الكمبيوتر" إلى أن المعلومات غير المُهيكلة قد تُمثل أكثر من 70-80% من إجمالي البيانات في المؤسسات.

خلفية

ركزت الأبحاث الأولى في مجال ذكاء الأعمال على البيانات النصية غير المهيكلة، بدلاً من البيانات الرقمية. [ 8 ] فمنذ عام 1958، انصب اهتمام باحثي علوم الحاسوب ، مثل إتش بي لونه، على استخراج وتصنيف النصوص غير المهيكلة. [ 8 ] إلا أن التكنولوجيا لم تواكب هذا الاهتمام البحثي إلا مع مطلع القرن. ففي عام 2004، طور معهد SAS برنامج SAS Text Miner، الذي يستخدم تحليل القيم المفردة (SVD) لتقليص فضاء نصي متعدد الأبعاد إلى أبعاد أصغر، مما يُحسّن كفاءة التحليل الآلي بشكل ملحوظ. [ 9 ] وقد حفزت التطورات الرياضية والتكنولوجية التي أحدثها التحليل النصي الآلي العديد من الشركات على البحث في تطبيقاته، مما أدى إلى ظهور مجالات مثل تحليل المشاعر ، واستخراج آراء العملاء ، وتحسين مراكز الاتصال. [ 10 ] كما أدى ظهور البيانات الضخمة في أواخر العقد الأول من الألفية الثانية إلى زيادة الاهتمام بتطبيقات تحليلات البيانات غير المهيكلة في مجالات معاصرة مثل التحليلات التنبؤية وتحليل الأسباب الجذرية . [ 11 ]

مشاكل في المصطلحات

هذا المصطلح غير دقيق لعدة أسباب:

  1. على الرغم من أن البنية غير محددة رسمياً، إلا أنه لا يزال من الممكن استنتاجها.
  2. قد تُصنف البيانات التي تحتوي على شكل من أشكال البنية على أنها غير منظمة إذا لم تكن بنيتها مفيدة لمهمة المعالجة المطروحة.
  3. قد تحتوي المعلومات غير المنظمة على بعض البنية ( شبه منظمة ) أو حتى تكون منظمة للغاية ولكن بطرق غير متوقعة أو غير معلنة.

التعامل مع البيانات غير المهيكلة

توفر تقنيات مثل استخراج البيانات ، ومعالجة اللغة الطبيعية ، وتحليل النصوص ، أساليب متنوعة لاكتشاف الأنماط في هذه المعلومات أو تفسيرها. تتضمن التقنيات الشائعة لهيكلة النصوص عادةً إضافة علامات يدوية باستخدام البيانات الوصفية أو علامات أجزاء الكلام، وذلك لهيكلة النصوص بشكل أكبر باستخدام استخراج البيانات . وقد وفر معيار بنية إدارة المعلومات غير المهيكلة (UIMA) إطارًا مشتركًا لمعالجة هذه المعلومات لاستخلاص المعنى وإنشاء بيانات مهيكلة عنها.

يمكن للبرمجيات التي تُنشئ بنية قابلة للمعالجة الآلية الاستفادة من البنية اللغوية والسمعية والبصرية الموجودة في جميع أشكال التواصل البشري. [ 12 ] تستطيع الخوارزميات استنتاج هذه البنية الكامنة من النصوص، على سبيل المثال، من خلال فحص صرف الكلمات ، وبنية الجمل، وأنماط أخرى صغيرة وكبيرة. بعد ذلك، يمكن إثراء المعلومات غير المهيكلة ووضع علامات عليها لمعالجة الغموض، ثم استخدام تقنيات قائمة على الصلة لتسهيل البحث والاكتشاف. تشمل أمثلة "البيانات غير المهيكلة" الكتب، والمجلات، والوثائق، والبيانات الوصفية ، والسجلات الصحية، والتسجيلات الصوتية ، والفيديوهات ، والبيانات التناظرية ، والصور، والملفات، والنصوص غير المهيكلة مثل نص رسالة بريد إلكتروني ، أو صفحة ويب ، أو مستند معالج نصوص . على الرغم من أن المحتوى الرئيسي المنقول لا يمتلك بنية محددة، إلا أنه عادةً ما يأتي مُغلفًا في كائنات (مثل الملفات أو الوثائق، ...) التي تمتلك بدورها بنية، وبالتالي فهي مزيج من البيانات المهيكلة وغير المهيكلة، ولكن يُشار إليها مجتمعةً باسم "البيانات غير المهيكلة". [ 13 ] على سبيل المثال، تُوسَم صفحة ويب HTML ، لكن ترميز HTML يُستخدم عادةً لعرض الصفحة فقط . فهو لا يُجسّد معنى أو وظيفة العناصر الموسومة بطرق تدعم المعالجة الآلية لمحتوى الصفحة. يسمح وسم XHTML بالمعالجة الآلية للعناصر، مع أنه لا يُجسّد عادةً المعنى الدلالي للمصطلحات الموسومة أو ينقله.

نظراً لشيوع البيانات غير المهيكلة في المستندات الإلكترونية ، يُفضّل استخدام نظام إدارة المحتوى أو المستندات القادر على تصنيف المستندات بأكملها، بدلاً من نقل البيانات ومعالجتها من داخل المستندات نفسها. وبذلك، توفر إدارة المستندات وسيلةً لإضفاء بنية على مجموعات المستندات .

أصبحت محركات البحث أدوات شائعة لفهرسة هذه البيانات والبحث فيها، وخاصة النصوص.

مناهج معالجة اللغة الطبيعية

طُوِّرت مسارات عمل حسابية مُحدَّدة لإضفاء بنية على البيانات غير المُهيكلة الموجودة في المستندات النصية. صُمِّمت هذه المسارات عمومًا للتعامل مع مجموعات من آلاف أو حتى ملايين المستندات، أو أكثر بكثير مما تسمح به أساليب الشرح اليدوية. يعتمد العديد من هذه الأساليب على مفهوم المعالجة التحليلية الفورية (OLAP )، ويمكن دعمها بنماذج بيانات مثل مكعبات النصوص. [ 14 ] بمجرد توفر بيانات وصف المستند من خلال نموذج بيانات، يُمكن إنشاء ملخصات لمجموعات فرعية من المستندات (أي الخلايا داخل مكعب نص) باستخدام أساليب تعتمد على العبارات. [ 15 ]

استخلاص المعلومات

استخلاص المعلومات هو مهمة استخراج المعلومات المنظمة تلقائيًا من المستندات غير المنظمة أو شبه المنظمة القابلة للقراءة آليًا، وغيرها من المصادر الإلكترونية. يتضمن ذلك عادةً معالجة النصوص المكتوبة بلغة بشرية باستخدام تقنيات معالجة اللغة الطبيعية . [ 16 ] ويمكن اعتبار الأنشطة الحديثة في معالجة مستندات الوسائط المتعددة ، مثل الشرح التلقائي واستخراج المحتوى من الصور والصوت والفيديو والمستندات، من قبيل استخلاص المعلومات.

أتاحت التطورات الحديثة في تقنيات معالجة اللغة الطبيعية تحسينًا ملحوظًا في الأداء مقارنةً بالسنوات السابقة. [ 17 ] ومن الأمثلة على ذلك استخلاص المعلومات من تقارير وكالات الأنباء حول عمليات اندماج الشركات، كما هو موضح بالعلاقة الرسمية التالية:

الاندماج بين⁡(جoمصأنy1،جoمصأنy2،دأتهـ){\displaystyle \operatorname {MergerBetween} (\mathrm {company} _{1}،\mathrm {company} _{2}،\mathrm {date} )}،

من جملة إخبارية على الإنترنت مثل:

أعلنت شركة Foo Inc. التي تتخذ من نيويورك مقراً لها أمس عن استحواذها على شركة Bar Corp.

يتمثل أحد الأهداف العامة لهندسة المعلومات في تمكين إجراء العمليات الحسابية على البيانات غير المهيكلة سابقًا. أما الهدف الأكثر تحديدًا فهو تمكين الاستدلال الآلي حول الشكل المنطقي لبيانات الإدخال. البيانات المهيكلة هي بيانات محددة دلاليًا من مجال مستهدف مُختار، ويتم تفسيرها وفقًا للفئة والسياق .

يُعدّ استخلاص المعلومات جزءًا من معضلة أكبر تتناول مشكلة ابتكار أساليب آلية لإدارة النصوص، تتجاوز مجرد نقلها وتخزينها وعرضها. وقد طوّر مجال استرجاع المعلومات [ 18 ] أساليب آلية، ذات طابع إحصائي في الغالب، لفهرسة مجموعات الوثائق الكبيرة وتصنيفها. ويُعدّ معالجة اللغة الطبيعية نهجًا تكميليًا آخر ، إذ نجح إلى حد كبير في حلّ مشكلة نمذجة معالجة اللغة البشرية، مع مراعاة حجم المهمة. أما استخلاص المعلومات، من حيث الصعوبة والتركيز، فيتعامل مع مهام تقع بين استرجاع المعلومات ومعالجة اللغة الطبيعية. فعلى صعيد المدخلات، يفترض استخلاص المعلومات وجود مجموعة من الوثائق، حيث تتبع كل وثيقة منها نموذجًا محددًا، أي أنها تصف كيانًا واحدًا أو أكثر، أو حدثًا واحدًا أو أكثر، بطريقة مشابهة لتلك الموجودة في الوثائق الأخرى، ولكنها تختلف في التفاصيل. فعلى سبيل المثال، لنفترض مجموعة من مقالات وكالات الأنباء حول الإرهاب في أمريكا اللاتينية، حيث يُفترض أن كل مقالة تستند إلى عمل إرهابي واحد أو أكثر. نُعرّف أيضًا لكل مهمة استخلاص معلومات قالبًا، وهو عبارة عن إطار (أو مجموعة من) بيانات الحالة لحفظ المعلومات الواردة في مستند واحد. في مثال الإرهاب، يحتوي القالب على خانات تُشير إلى الجاني والضحية وسلاح العمل الإرهابي، بالإضافة إلى تاريخ وقوع الحدث. يتطلب نظام استخلاص المعلومات في هذه الحالة فهم مقال الهجوم بالقدر الكافي فقط للعثور على البيانات المُطابقة للخانات الموجودة في هذا القالب.

المناهج في الطب والبحوث الطبية الحيوية

يُعدّ البحث الطبي الحيوي مصدرًا رئيسيًا للبيانات غير المهيكلة، إذ ينشر الباحثون نتائجهم في المجلات العلمية. ورغم صعوبة استخلاص العناصر الهيكلية من لغة هذه الوثائق (مثل المصطلحات التقنية المعقدة والمعرفة المتخصصة اللازمة لفهم سياق الملاحظات بشكل كامل)، إلا أن نتائج هذه الأنشطة قد تُسفر عن روابط بين الدراسات التقنية والطبية [ 19 ] ، وتُقدّم أدلةً حول علاجات جديدة للأمراض [ 20 ] . تشمل الجهود الحديثة لفرض بنية على الوثائق الطبية الحيوية استخدام خرائط التنظيم الذاتي لتحديد المواضيع بينها [ 21 ] ، وخوارزميات عامة غير مُشرفة [ 22 ] ، وتطبيق منهجية CaseOLAP [ 15 ] لتحديد العلاقات بين أسماء البروتينات ومواضيع أمراض القلب والأوعية الدموية في الأدبيات العلمية [ 23 ] . تُعرّف CaseOLAP علاقات العبارات بالفئات بدقة (تحديد العلاقات)، واتساق (قابلية عالية للتكرار)، وكفاءة. توفر هذه المنصة إمكانية وصول مُحسّنة ، وتُمكّن مجتمع البحث الطبي الحيوي من استخدام أدوات استخراج العبارات لتطبيقات بحثية طبية حيوية واسعة النطاق. [ 23 ]

استخدام مصطلح "غير منظم" في لوائح خصوصية البيانات

في السويد (الاتحاد الأوروبي)، قبل عام 2018، لم تكن بعض لوائح حماية البيانات سارية إذا تم تأكيد أن البيانات المعنية "غير مهيكلة". [ 24 ] نادرًا ما يُستخدم مصطلح "البيانات غير المهيكلة" في الاتحاد الأوروبي بعد دخول اللائحة العامة لحماية البيانات (GDPR) حيز التنفيذ في عام 2018. لا تذكر اللائحة العامة لحماية البيانات مصطلح "البيانات غير المهيكلة" ولا تُعرّفه. لكنها تستخدم كلمة "مهيكلة" على النحو التالي (دون تعريفها):

  • أجزاء من ديباجة اللائحة العامة لحماية البيانات 15، "ينبغي تطبيق حماية الأشخاص الطبيعيين على معالجة البيانات الشخصية ... إذا ... كانت موجودة في نظام ملفات."
  • تنص المادة 4 من اللائحة العامة لحماية البيانات (GDPR) على أن "نظام الملفات" يعني أي مجموعة منظمة من البيانات الشخصية التي يمكن الوصول إليها وفقًا لمعايير محددة ...

تنص أحكام اللائحة العامة لحماية البيانات (GDPR) على تعريف "نظام الملفات"؛ "إن المعيار المحدد والشكل المحدد الذي يتم فيه تنظيم مجموعة البيانات الشخصية التي يجمعها كل عضو من الأعضاء الذين يشاركون في الوعظ غير ذي صلة، طالما أن مجموعة البيانات هذه تجعل من الممكن استرجاع البيانات المتعلقة بشخص معين تم الاتصال به بسهولة ، وهو ما يقع على عاتق المحكمة المُحيلة التحقق منه في ضوء جميع ظروف القضية في الإجراءات الأصلية." ( محكمة العدل الأوروبية ، Todistajat v. Tietosuojavaltuutettu, Jehovan، الفقرة 61 ).

إذا كان من السهل استرجاع البيانات الشخصية ، فإنها تُعتبر نظام ملفات، وبالتالي فهي تخضع لأحكام اللائحة العامة لحماية البيانات (GDPR) بغض النظر عما إذا كانت "مهيكلة" أم "غير مهيكلة". تتيح معظم الأنظمة الإلكترونية اليوم، رهناً بإمكانية الوصول إليها والبرامج المستخدمة، استرجاع البيانات بسهولة.

انظر أيضاً

ملحوظات

  1. ^ التحدي الذي يواجه الحكومة اليوم: ماذا نفعل بالمعلومات غير المنظمة ولماذا لا يُعدّ عدم القيام بأي شيء خيارًا، نويل يوهانا، كبير المحللين،فورستر ريسيرش، نوفمبر 2010

مراجع

  1. ↑ شيلاكس، كريستوفر سي؛ تيلمان، جولي (16 نوفمبر 1998). "بوابات معلومات المؤسسات" (ملف PDF) . ميريل لينش . مؤرشف من الأصل (ملف PDF) في 24 يوليو 2011.
  2. ↑ غرايمز، سيث (1 أغسطس 2008). "البيانات غير المهيكلة وقاعدة الـ 80 بالمئة" . تحليل الاختراق - بريدج بوينتس . كلارابريج. مؤرشف من الأصل في 12 سبتمبر 2014. تم الاسترجاع في 16 سبتمبر 2014 .
  3. ↑ غاندومي، أمير؛ حيدر، مرتضى (أبريل 2015). "ما وراء الضجة: مفاهيم البيانات الضخمة، وأساليبها، وتحليلاتها" . المجلة الدولية لإدارة المعلومات . 35 (2): 137-144 . doi : 10.1016/j.ijinfomgt.2014.10.007 . ISSN 0268-4012 . 
  4. ↑ "أكبر تحديات البيانات التي قد لا تدرك وجودها - واتسون" . واتسون . 25 مايو 2016. تاريخ الاسترجاع: 2 أكتوبر 2018 .
  5. ↑ "البيانات المهيكلة مقابل البيانات غير المهيكلة" . www.datamation.com . تاريخ الاسترجاع: 2018-10-02 .
  6. ↑ «بيان صحفي من إي إم سي: دراسة جديدة حول العالم الرقمي تكشف فجوة البيانات الضخمة: أقل من 1% من بيانات العالم يتم تحليلها؛ وأقل من 20% محمية» . www.emc.com . شركة إي إم سي. ديسمبر 2012.
  7. ↑ "الاتجاهات | سيجيت الولايات المتحدة" . Seagate.com . تم الاطلاع عليه بتاريخ 1 أكتوبر 2018 .
  8. 1 2 غرايمز، سيث. "تاريخ موجز لتحليل النصوص" . شبكة بي آي . تم الاطلاع عليه في 24 يونيو 2016 .
  9. ↑ ألبرايت، روس. "التعامل مع النصوص باستخدام SVD" (ملف PDF) . SAS . مؤرشف من النسخة الأصلية (PDF) بتاريخ 30 سبتمبر 2016. تم الاطلاع عليه بتاريخ 24 يونيو 2016 .
  10. ↑ ديساي، مانيش (9 أغسطس 2009). "تطبيقات تحليل النصوص" . تحليلات أعمالي على مدونة بلوج سبوت . تم الاطلاع عليه بتاريخ 24 يونيو 2016 .
  11. ↑ تشاكرابورتي، غوتام. "تحليل البيانات غير المهيكلة: تطبيقات تحليل النصوص واستخراج المشاعر" (ملف PDF) . SAS . تم الاطلاع عليه بتاريخ 24 يونيو 2016 .
  12. ↑ "البنية والنماذج والمعنى: هل البيانات "غير المهيكلة" مجرد بيانات غير مُنمذجة؟" . InformationWeek . 1 مارس 2005.
  13. ↑ مالون، روبرت (5 أبريل 2007). "هيكلة البيانات غير المهيكلة" . فوربس .
  14. ↑ لين، سيندي شيد؛ دينغ، بولين؛ هان، جياوي؛ تشو، فيدا؛ تشاو، بو (ديسمبر 2008). "مكعب النص: حساب مقاييس استرجاع المعلومات لتحليل قواعد بيانات النصوص متعددة الأبعاد". المؤتمر الدولي الثامن لجمعية مهندسي الكهرباء والإلكترونيات (IEEE) حول استخراج البيانات ، 2008. IEEE. الصفحات 905-910 . CiteSeerX 10.1.1.215.3177 . doi : 10.1109/icdm.2008.135 . ISBN   978-0-7695-3502-9. S2CID 1522480 . 
  15. 1 2 تاو، فانجبو؛ تشوانغ، هونغلي؛ يو تشي وانغ. وانغ، تشي؛ كاسيدي، تايلور؛ كابلان، لانس؛ فوس، كلير؛ هان جياوي (2016). "تلخيص متعدد الأبعاد قائم على العبارات في مكعبات نصية" (PDF) .
  16. ↑ name=Kariampuzha2023 كاريامبوزا، ويليام؛ أليا، جيوكوندا؛ كو، سو؛ سانجاك، جليل؛ ماثي، إيوي؛ سيد، إريك؛ شاتيلين، هايلي؛ ياداو، أرجون؛ شو، يانجي؛ تشو، تشيان (2023). "استخلاص المعلومات الدقيقة لعلم أوبئة الأمراض النادرة على نطاق واسع" . مجلة الطب الانتقالي . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . PMC 9972634. PMID 36855134 .  
  17. ↑ كريستينا نيكلاوس، ماتياس سيتو، أندريه فريتاس، وسيغفريد هاندشوه. 2018. دراسة استقصائية حول استخلاص المعلومات المفتوحة. في وقائع المؤتمر الدولي السابع والعشرين للغويات الحاسوبية ، الصفحات 3866-3878، سانتا فيه، نيو مكسيكو، الولايات المتحدة الأمريكية. رابطة اللغويات الحاسوبية.
  18. ↑ فرايتاغ، داين. "التعلم الآلي لاستخراج المعلومات في المجالات غير الرسمية" (ملف PDF) . 2000 دار نشر كلوير الأكاديمية. طُبع في هولندا .
  19. ↑ كولير، نايجل؛ نازارينكو، أديلين؛ بود، روبرت؛ روش، باتريك (يونيو 2006). "التطورات الحديثة في معالجة اللغة الطبيعية للتطبيقات الطبية الحيوية". المجلة الدولية للمعلوماتية الطبية . 75 (6): 413-417 . doi : 10.1016/j.ijmedinf.2005.06.008 . ISSN 1386-5056 . PMID 16139564. S2CID 31449783 .   
  20. ↑ غونزاليس، غراسييلا هـ.؛ تحسين، تاسنيا؛ غوديل، بريتون س.؛ غرين، آنا س.؛ غرين، كيسي س. (يناير 2016). " التطورات الحديثة والتطبيقات الناشئة في استخراج النصوص والبيانات للاكتشافات الطبية الحيوية" . موجزات في المعلوماتية الحيوية . 17 (1): 33-42 . doi : 10.1093/bib/bbv087 . ISSN 1477-4054 . PMC 4719073. PMID 26420781 .   
  21. ↑ سكوبين، أندريه؛ بيبرستين، جوزيف ر.؛ بورنر، كاتي (2013). "تصوير البنية الموضوعية للعلوم الطبية: منهج الخريطة ذاتية التنظيم" . PLOS ONE . 8 (3) e58779. Bibcode : 2013PLoSO...858779S . doi : 10.1371/journal.pone.0058779 . ISSN 1932-6203 . PMC 3595294. PMID 23554924 .   
  22. ↑ كيلا، دوي؛ غو، يوفان؛ ستينيوس، أولا؛ كورهونين، آنا (2015-04-01). "الاكتشاف غير الخاضع للإشراف لبنية المعلومات في الوثائق الطبية الحيوية" . المعلوماتية الحيوية . 31 (7): 1084-1092 . doi : 10.1093/bioinformatics/btu758 . ISSN 1367-4811 . PMID 25411329 .  
  23. ليم ، ديفيد أ.؛ مورالي، سانجانا؛ سيجديل، ديباكار؛ شي، يو؛ وانغ، شوان؛ شين، جيامينغ؛ تشوي، هوارد؛ كوفيلد، جون هـ.؛ وانغ، وي؛ بينغ، بيبي؛ هان، جياوي (1 أكتوبر 2018). " استخراج العبارات من البيانات النصية لتحليل أنماط بروتينات المصفوفة خارج الخلوية في أمراض القلب والأوعية الدموية" . المجلة الأمريكية لعلم وظائف الأعضاء. القلب والدورة الدموية . 315 (4): H910– H924 . doi : 10.1152/ajpheart.00175.2018 . ISSN 1522-1539 . PMC 6230912. PMID 29775406 .   
  24. ↑ "تلغي لوائح خصوصية البيانات السويدية الفصل بين البيانات "غير المهيكلة" والبيانات "المهيكلة""" .