استخراج البيانات

📅 آخر تحديث: ١٧ يوليو ٢٠٢٦
✍️ نُشر في: ١٧ يوليو ٢٠٢٦
📷 يحتوي على 1 صور
الموسوعة الحرة

التنقيب عن البيانات هو عملية استخراج الأنماط وإيجادها في مجموعات البيانات الضخمة ، باستخدام أساليب تجمع بين التعلم الآلي والإحصاء وأنظمة قواعد البيانات . [ 1 ] يُعد التنقيب عن البيانات مجالًا فرعيًا متعدد التخصصات في علوم الحاسوب والإحصاء ، ويهدف بشكل عام إلى استخراج المعلومات (باستخدام أساليب ذكية) من مجموعة البيانات وتحويلها إلى بنية مفهومة لاستخدامها لاحقًا. [ 1 ] [ 2 ] [ 3 ] [ 4 ] يُعتبر التنقيب عن البيانات خطوة التحليل في عملية " اكتشاف المعرفة في قواعد البيانات " (KDD). [ 5 ] إلى جانب خطوة التحليل الأولية، يشمل أيضًا جوانب إدارة قواعد البيانات والبيانات ، والمعالجة المسبقة للبيانات ، واعتبارات النموذج والاستدلال ، ومقاييس الأهمية، واعتبارات التعقيد ، والمعالجة اللاحقة للهياكل المكتشفة، والتصور ، والتحديث الفوري . [ 1 ]

يُعدّ مصطلح "استخراج البيانات" تسميةً غير دقيقة، لأن الهدف هو استخلاص الأنماط والمعرفة من كميات هائلة من البيانات، وليس استخراج البيانات نفسها . [ 6 ] كما أنه مصطلح شائع الاستخدام [ 7 ] ويُطبّق غالبًا على أي شكل من أشكال معالجة البيانات أو المعلومات على نطاق واسع ( الجمع ، والاستخراج ، والتخزين ، والتحليل ، والإحصاء)، بالإضافة إلى أي تطبيق لأنظمة دعم القرار الحاسوبية ، بما في ذلك الذكاء الاصطناعي (مثل التعلّم الآلي) وذكاء الأعمال . غالبًا ما تكون المصطلحات الأكثر عمومية (على نطاق واسع ) مثل تحليل البيانات وتحليلها - أو، عند الإشارة إلى الأساليب الفعلية، الذكاء الاصطناعي والتعلّم الآلي - أكثر ملاءمة.

تتمثل مهمة استخراج البيانات الفعلية في التحليل شبه الآلي أو الآلي لكميات هائلة من البيانات لاستخلاص أنماط مثيرة للاهتمام لم تكن معروفة سابقًا، مثل مجموعات سجلات البيانات ( تحليل التجميع )، والسجلات غير المألوفة ( كشف الشذوذ )، والتبعيات ( استخراج قواعد الارتباط ، واستخراج الأنماط المتسلسلة ). يتضمن ذلك عادةً استخدام تقنيات قواعد البيانات، مثل المؤشرات المكانية . يمكن اعتبار هذه الأنماط بمثابة ملخص لبيانات الإدخال، ويمكن استخدامها في تحليلات لاحقة، أو في تطبيقات مثل التعلم الآلي والتحليلات التنبؤية . على سبيل المثال، قد تحدد خطوة استخراج البيانات مجموعات متعددة في البيانات، والتي يمكن استخدامها للحصول على نتائج تنبؤ أكثر دقة بواسطة نظام دعم القرار . لا يُعد جمع البيانات أو إعدادها أو تفسير النتائج أو إعداد التقارير جزءًا من خطوة استخراج البيانات، على الرغم من أنها تُعتبر خطوات إضافية ضمن عملية استخراج المعرفة من البيانات (KDD).

يتمثل الفرق بين تحليل البيانات واستخراج البيانات في أن تحليل البيانات يُستخدم لاختبار النماذج والفرضيات على مجموعة البيانات، مثل تحليل فعالية حملة تسويقية ، بغض النظر عن حجم البيانات. في المقابل، يستخدم استخراج البيانات التعلم الآلي والنماذج الإحصائية للكشف عن الأنماط الخفية أو غير الظاهرة في كميات كبيرة من البيانات. [ 8 ]

تشير المصطلحات ذات الصلة، مثل التنقيب في البيانات ، وصيد البيانات ، والتجسس على البيانات ، إلى استخدام أساليب استخراج البيانات لأخذ عينات من أجزاء من مجموعة بيانات أكبر، والتي قد تكون صغيرة جدًا بحيث لا تسمح باستخلاص استنتاجات إحصائية موثوقة حول صحة أي أنماط مكتشفة. ومع ذلك، يمكن استخدام هذه الأساليب في صياغة فرضيات جديدة لاختبارها على مجموعات البيانات الأكبر.

أصل الكلمة

في ستينيات القرن الماضي، استخدم الإحصائيون والاقتصاديون مصطلحات مثل " صيد البيانات" أو "التنقيب في البيانات" للإشارة إلى ما اعتبروه ممارسة خاطئة تتمثل في تحليل البيانات دون فرضية مسبقة . واستخدم الاقتصادي مايكل لوفيل مصطلح "استخراج البيانات" بطريقة نقدية مماثلة في مقال نُشر في مجلة " Review of Economic Studies" عام 1983. [ 9 ] [ 10 ] ويشير لوفيل إلى أن هذه الممارسة "تتخفى تحت مسميات مختلفة، تتراوح بين "التجريب" (إيجابي) و"الصيد" أو "التجسس" (سلبي).

ظهر مصطلح " استخراج البيانات " في أوساط مجتمع قواعد البيانات حوالي عام 1990، حاملاً دلالات إيجابية في الغالب. استُخدم مصطلح "استخراج البيانات من قواعد البيانات" لفترة وجيزة في ثمانينيات القرن الماضي، ولكن نظرًا لتسجيله كعلامة تجارية من قِبل شركة HNC، ومقرها سان دييغو ، للترويج لمحطة عمل استخراج البيانات الخاصة بها، [ 11 ] اتجه الباحثون لاحقًا إلى مصطلح " استخراج البيانات " . ومن المصطلحات الأخرى المستخدمة: علم آثار البيانات ، وجمع المعلومات ، واكتشاف المعلومات ، واستخلاص المعرفة ، وغيرها. وقد صاغ غريغوري بياتيتسكي-شابيرو مصطلح "اكتشاف المعرفة في قواعد البيانات" في أول ورشة عمل حول الموضوع نفسه (KDD-1989) [ 12 ] ، وأصبح هذا المصطلح أكثر شيوعًا في أوساط الذكاء الاصطناعي والتعلم الآلي . ومع ذلك، أصبح مصطلح "استخراج البيانات" أكثر شيوعًا في أوساط الأعمال والصحافة. ​​[ 13 ] ويُستخدم مصطلحا "استخراج البيانات" و "اكتشاف المعرفة" حاليًا بشكل مترادف.

خلفية

استُخدم استخراج الأنماط من البيانات يدويًا لقرون. ومن الطرق المبكرة لتحديد الأنماط في البيانات نظرية بايز (القرن الثامن عشر) وتحليل الانحدار (القرن التاسع عشر). [ 14 ] وقد أدى انتشار تكنولوجيا الحاسوب وتوسعها وتزايد قوتها إلى زيادة هائلة في قدرة جمع البيانات وتخزينها ومعالجتها. ومع ازدياد حجم مجموعات البيانات وتعقيدها، تعزز التحليل المباشر للبيانات بشكل متزايد بمعالجة غير مباشرة وآلية، مدعومة باكتشافات أخرى في علوم الحاسوب، لا سيما في مجال التعلم الآلي، مثل الشبكات العصبية ، وتحليل التجميع ، والخوارزميات الجينية (الخمسينيات)، وأشجار القرار وقواعد القرار (الستينيات)، وآلات المتجهات الداعمة (التسعينيات). ويُعرف استخراج البيانات بأنه عملية تطبيق هذه الأساليب بهدف الكشف عن الأنماط الخفية. [ 15 ] في مجموعات البيانات الضخمة. إنها تسد الفجوة بين الإحصاءات التطبيقية والذكاء الاصطناعي (التي عادة ما توفر الخلفية الرياضية) وإدارة قواعد البيانات من خلال استغلال طريقة تخزين البيانات وفهرستها في قواعد البيانات لتنفيذ خوارزميات التعلم والاكتشاف الفعلية بكفاءة أكبر، مما يسمح بتطبيق هذه الأساليب على مجموعات بيانات أكبر باستمرار.

عملية

تُعرَّف عملية اكتشاف المعرفة في قواعد البيانات (KDD) عادةً بالمراحل التالية:

  1. اختيار
  2. المعالجة المسبقة
  3. تحويل
  4. استخراج البيانات
  5. التفسير/التقييم. [ 5 ]

إلا أنه موجود في العديد من الاختلافات حول هذا الموضوع، مثل عملية التنقيب عن البيانات القياسية عبر الصناعات (CRISP-DM) التي تحدد ست مراحل:

  1. فهم الأعمال
  2. فهم البيانات
  3. إعداد البيانات
  4. النمذجة
  5. تقييم
  6. الانتشار

أو عملية مبسطة مثل (1) المعالجة المسبقة، (2) استخراج البيانات، و (3) التحقق من صحة النتائج.

أظهرت استطلاعات الرأي التي أجريت في أعوام 2002 و2004 و2007 و2014 أن منهجية CRISP-DM هي المنهجية الرائدة التي يستخدمها محللو البيانات. [ 16 ] [ 17 ] [ 18 ] [ 19 ]

المعيار الوحيد الآخر لاستخراج البيانات الذي ذُكر في هذه الاستطلاعات هو SEMMA . ومع ذلك، أفاد عدد أكبر بثلاثة إلى أربعة أضعاف من الأشخاص باستخدام CRISP-DM. وقد نشرت عدة فرق بحثية مراجعات لنماذج عمليات استخراج البيانات، [ 20 ] وأجرى أزيفيدو وسانتوس مقارنة بين CRISP-DM و SEMMA في عام 2008. [ 21 ]

المعالجة المسبقة

قبل استخدام خوارزميات استخراج البيانات، يجب تجميع مجموعة بيانات مستهدفة. ولأن استخراج البيانات لا يكشف إلا عن الأنماط الموجودة فعليًا في البيانات، يجب أن تكون مجموعة البيانات المستهدفة كبيرة بما يكفي لاحتواء هذه الأنماط، وفي الوقت نفسه موجزة بما يكفي لاستخراجها ضمن إطار زمني مقبول. ومن المصادر الشائعة للبيانات مستودعات البيانات . وتُعدّ المعالجة المسبقة ضرورية لتحليل مجموعات البيانات متعددة المتغيرات قبل استخراج البيانات. ثم تُنظّف مجموعة البيانات المستهدفة، حيث تُزال الملاحظات التي تحتوي على تشويش وتلك التي تفتقر إلى بيانات .

استخراج البيانات

يتضمن استخراج البيانات ستة أنواع شائعة من المهام: [ 5 ]

  • الكشف عن الحالات الشاذة (الكشف عن القيم الشاذة/التغيير/الانحراف) - تحديد سجلات البيانات غير العادية، التي قد تكون مثيرة للاهتمام أو أخطاء البيانات التي تتطلب مزيدًا من التحقيق نظرًا لكونها خارج النطاق القياسي.
  • تعلم قواعد الارتباط (نمذجة التبعية) - يبحث عن العلاقات بين المتغيرات. على سبيل المثال، قد يجمع متجر كبير بيانات عن عادات الشراء لدى العملاء. باستخدام تعلم قواعد الارتباط، يمكن للمتجر تحديد المنتجات التي يتم شراؤها معًا بشكل متكرر واستخدام هذه المعلومات لأغراض التسويق. يُشار إلى هذا أحيانًا باسم تحليل سلة التسوق .
  • التجميع - هو مهمة اكتشاف المجموعات والهياكل في البيانات التي تكون بطريقة أو بأخرى "متشابهة"، دون استخدام الهياكل المعروفة في البيانات.
  • التصنيف – هو مهمة تعميم البنية المعروفة لتطبيقها على بيانات جديدة. على سبيل المثال، قد يحاول برنامج البريد الإلكتروني تصنيف رسالة بريد إلكتروني على أنها "مشروعة" أو " غير مرغوب فيها ".
  • الانحدار – محاولات لإيجاد دالة تقوم بنمذجة البيانات بأقل قدر من الخطأ، أي لتقدير العلاقات بين البيانات أو مجموعات البيانات.
  • التلخيص - توفير تمثيل أكثر إيجازًا لمجموعة البيانات، بما في ذلك التصور وإنشاء التقارير.

التحقق من صحة النتائج

مثال على البيانات التي تم إنتاجها من خلال استخراج البيانات بواسطة برنامج آلي يديره الإحصائي تايلر فيجن، والتي تُظهر على ما يبدو وجود صلة وثيقة بين أفضل كلمة فائزة في مسابقة تهجئة وعدد الأشخاص الذين قُتلوا في الولايات المتحدة بسبب العناكب السامة

قد يُساء استخدام التنقيب عن البيانات دون قصد، مما ينتج عنه نتائج تبدو ذات دلالة إحصائية، لكنها في الواقع لا تتنبأ بالسلوك المستقبلي ولا يمكن إعادة إنتاجها على عينة بيانات جديدة، وبالتالي فهي قليلة الفائدة. ويعود ذلك أحيانًا إلى اختبار عدد كبير جدًا من الفرضيات دون إجراء اختبارات إحصائية مناسبة لها. يُعرف أحد أشكال هذه المشكلة في التعلم الآلي باسم "التدريب الزائد" ، ولكن قد تظهر المشكلة نفسها في مراحل مختلفة من العملية، وبالتالي قد لا يكون تقسيم البيانات بين التدريب والاختبار - إن أمكن - كافيًا لمنع حدوث ذلك. [ 22 ]

تتمثل الخطوة الأخيرة في استخلاص المعرفة من البيانات في التحقق من وجود الأنماط التي تنتجها خوارزميات استخراج البيانات في مجموعة البيانات الأوسع. فليست كل الأنماط التي تعثر عليها الخوارزميات صحيحة بالضرورة. ومن الشائع أن تعثر خوارزميات استخراج البيانات على أنماط في مجموعة التدريب غير موجودة في مجموعة البيانات العامة، وهو ما يُعرف بالتدريب الزائد . وللتغلب على هذه المشكلة، يستخدم التقييم مجموعة بيانات اختبارية لم تُدرَّب عليها خوارزمية استخراج البيانات. تُطبَّق الأنماط المُستخلصة على هذه المجموعة الاختبارية، وتُقارن المخرجات الناتجة بالمخرجات المطلوبة. على سبيل المثال، تُدرَّب خوارزمية استخراج البيانات التي تحاول التمييز بين رسائل البريد الإلكتروني "البريد العشوائي" و"المشروعة" على مجموعة تدريبية من رسائل البريد الإلكتروني النموذجية. وبعد التدريب، تُطبَّق الأنماط المُستخلصة على مجموعة اختبارية من رسائل البريد الإلكتروني التي لم تُدرَّب عليها. ويمكن قياس دقة الأنماط من خلال عدد رسائل البريد الإلكتروني التي تُصنِّفها بشكل صحيح. ويمكن استخدام عدة أساليب إحصائية لتقييم الخوارزمية، مثل منحنيات ROC .

إذا لم تستوفِ الأنماط المستخلصة المعايير المطلوبة، فمن الضروري إعادة تقييم خطوات المعالجة المسبقة واستخراج البيانات وتعديلها. أما إذا استوفت الأنماط المستخلصة المعايير المطلوبة، فإن الخطوة الأخيرة هي تفسيرها وتحويلها إلى معرفة.

بحث

الهيئة المهنية الرائدة في هذا المجال هي مجموعة الاهتمامات الخاصة باكتشاف المعرفة واستخراج البيانات ( SIGKDD ) التابعة لجمعية آلات الحوسبة (ACM ). [ 23 ] [ 24 ] ومنذ عام 1989، تستضيف هذه المجموعة مؤتمرًا دوليًا سنويًا وتنشر وقائعه، [ 25 ] ومنذ عام 1999، تنشر مجلة أكاديمية نصف سنوية بعنوان "SIGKDD Explorations". [ 26 ]

تشمل مؤتمرات علوم الحاسوب حول استخراج البيانات ما يلي:

كما أن مواضيع استخراج البيانات موجودة في العديد من مؤتمرات إدارة البيانات/قواعد البيانات مثل مؤتمر ICDE ومؤتمر SIGMOD والمؤتمر الدولي لقواعد البيانات الكبيرة جدًا.

المعايير

بُذلت بعض الجهود لوضع معايير لعملية استخراج البيانات، على سبيل المثال، معيار CRISP-DM 1.0 الأوروبي الشامل للصناعات لعام 1999، ومعيار JDM 1.0 لاستخراج البيانات بلغة جافا لعام 2004. وقد بدأ العمل على تطوير نسخ لاحقة من هذه المعايير (CRISP-DM 2.0 وJDM 2.0) في عام 2006، ولكنه توقف منذ ذلك الحين. وتم سحب JDM 2.0 قبل الوصول إلى مسودة نهائية.

لتبادل النماذج المستخرجة، ولا سيما لاستخدامها في التحليلات التنبؤية ، يُعدّ معيار لغة ترميز النماذج التنبؤية (PMML) المعيار الأساسي. وهي لغة قائمة على لغة XML ، طوّرها فريق استخراج البيانات (DMG)، وتدعمها العديد من تطبيقات استخراج البيانات كصيغة تبادل. وكما يوحي الاسم، فهي تغطي نماذج التنبؤ فقط، وهي مهمة محددة في استخراج البيانات ذات أهمية بالغة لتطبيقات الأعمال. مع ذلك، فقد اقتُرحت امتدادات لتغطية (على سبيل المثال) تجميع الفضاءات الفرعية بشكل مستقل عن فريق استخراج البيانات. [ 27 ]

الاستخدامات البارزة

يُستخدم استخراج البيانات في أي مكان تتوفر فيه البيانات الرقمية. ومن الأمثلة البارزة على استخراج البيانات مجالات الأعمال والطب والعلوم والتمويل والبناء والمراقبة.

مخاوف الخصوصية والأخلاقيات

على الرغم من أن مصطلح "استخراج البيانات" بحد ذاته قد لا يحمل أي دلالات أخلاقية، إلا أنه غالباً ما يرتبط باستخراج المعلومات المتعلقة بسلوك المستخدم (سواء كان ذلك أخلاقياً أم لا). [ 28 ]

قد تُثير طرق استخدام التنقيب عن البيانات، في بعض الحالات والسياقات، تساؤلاتٍ حول الخصوصية والشرعية والأخلاق . [ 29 ] وعلى وجه الخصوص، أثار التنقيب عن البيانات الحكومية أو التجارية لأغراض الأمن القومي أو إنفاذ القانون ، كما هو الحال في برنامج الوعي المعلوماتي الشامل أو في مشروع ADVISE ، مخاوفَ تتعلق بالخصوصية. [ 30 ] [ 31 ]

يتطلب استخراج البيانات إعدادًا مسبقًا للبيانات يكشف عن معلومات أو أنماط تُعرّض سرية البيانات والتزامات الخصوصية للخطر . ومن الطرق الشائعة لتحقيق ذلك تجميع البيانات . يتضمن تجميع البيانات دمجها معًا (ربما من مصادر متعددة) بطريقة تُسهّل التحليل (ولكنها قد تجعل أيضًا تحديد البيانات الخاصة على مستوى الأفراد أمرًا ممكنًا أو واضحًا بطريقة أخرى). [ 32 ] يبرز التهديد لخصوصية الفرد عندما تُمكّن البيانات، بعد تجميعها، مُستخرج البيانات، أو أي شخص لديه إمكانية الوصول إلى مجموعة البيانات المُجمّعة حديثًا، من تحديد هوية أفراد مُحددين، خاصةً إذا كانت البيانات مجهولة المصدر في الأصل. [ 33 ]

قد تُعدّل البيانات أيضًا لتصبح مجهولة المصدر، بحيث يصعب تحديد هوية الأفراد. [ 32 ] ومع ذلك، حتى مجموعات البيانات " المجهولة المصدر " قد تحتوي على معلومات كافية تسمح بتحديد هوية الأفراد، كما حدث عندما تمكن الصحفيون من العثور على عدة أفراد بناءً على سجلات بحث نشرتها شركة AOL عن غير قصد . [ 34 ]

يُعدّ الكشف غير المقصود عن معلومات شخصية حساسة، والذي يؤدي إلى انتهاك حقوق الملكية الفكرية، انتهاكًا لمبادئ ممارسات المعلومات العادلة. وقد يتسبب هذا التجاوز في أضرار مالية أو نفسية أو جسدية للشخص المعني. في إحدى حالات انتهاك الخصوصية ، رفع عملاء سلسلة صيدليات وولغرينز دعوى قضائية ضد الشركة عام 2011 بتهمة بيع معلومات الوصفات الطبية لشركات استخراج البيانات، والتي بدورها زودت شركات الأدوية بهذه البيانات. [ 35 ]

الوضع في أوروبا

تتمتع أوروبا بقوانين خصوصية قوية، وتُبذل جهود حثيثة لتعزيز حقوق المستهلكين. مع ذلك، فإن مبادئ "الملاذ الآمن" بين الولايات المتحدة والاتحاد الأوروبي ، التي وُضعت بين عامي 1998 و2000، تُعرّض المستخدمين الأوروبيين حاليًا لاستغلال خصوصيتهم من قِبل الشركات الأمريكية. ونتيجةً لكشف إدوارد سنودن عن عمليات التجسس العالمية ، تصاعد النقاش حول إلغاء هذه الاتفاقية، لا سيما وأن البيانات ستُكشف بالكامل لوكالة الأمن القومي ، وقد باءت محاولات التوصل إلى اتفاق مع الولايات المتحدة بالفشل. [ 36 ]

في المملكة المتحدة تحديداً، سُجّلت حالاتٌ استخدمت فيها الشركات تقنيات استخراج البيانات لاستهداف فئاتٍ مُحدّدة من العملاء، وإجبارهم على دفع أسعارٍ باهظةٍ بشكلٍ غير عادل. غالباً ما تكون هذه الفئات من ذوي الوضع الاجتماعي والاقتصادي المتدني، والذين يفتقرون إلى الوعي بأساليب استغلالهم في الأسواق الرقمية. [ 37 ]

الوضع في الولايات المتحدة

في الولايات المتحدة، عالج الكونغرس الأمريكي مخاوف الخصوصية من خلال سنّ ضوابط تنظيمية مثل قانون قابلية نقل التأمين الصحي والمساءلة (HIPAA). يُلزم قانون HIPAA الأفراد بمنح "موافقتهم المستنيرة" بشأن المعلومات التي يقدمونها واستخداماتها الحالية والمستقبلية. ووفقًا لمقال في مجلة Biotech Business Week ، "تقول الجمعية الأمريكية للبحوث الصحية (AAHC): "في الواقع، قد لا يوفر قانون HIPAA حماية أكبر من اللوائح المعمول بها منذ فترة طويلة في مجال البحث العلمي". والأهم من ذلك، أن هدف القانون المتمثل في الحماية من خلال الموافقة المستنيرة بات غامضًا بالنسبة للأفراد العاديين. [ 38 ] وهذا يُبرز ضرورة إخفاء هوية البيانات في عمليات تجميع البيانات واستخراجها.

لا تنطبق تشريعات حماية خصوصية المعلومات في الولايات المتحدة، مثل قانون HIPAA وقانون حقوق الأسرة التعليمية والخصوصية (FERPA)، إلا على المجالات المحددة التي يتناولها كل قانون منها. أما استخدام تقنيات استخراج البيانات من قبل غالبية الشركات في الولايات المتحدة، فلا يخضع لأي تشريع.

الوضع في أوروبا

الاتحاد الأوروبي

حتى في حال عدم وجود حقوق ملكية فكرية لمجموعة بيانات، يعترف الاتحاد الأوروبي بحق قاعدة البيانات ، وبالتالي يخضع استخراج البيانات لحقوق أصحاب الملكية الفكرية المحمية بموجب توجيه قواعد البيانات . وبموجب قوانين قواعد بيانات حقوق الملكية الفكرية الأوروبية ، يُسمح باستخراج الأعمال المحمية بحقوق الملكية الفكرية (مثل استخراج البيانات من مواقع الويب ) دون إذن صاحب حقوق الملكية الفكرية، وذلك بموجب المادتين 3 و4 من توجيه 2019 بشأن حقوق الملكية الفكرية في السوق الرقمية الموحدة . وينص البند 3 على استثناء خاص باستخراج البيانات لأغراض البحث العلمي، بينما ينطبق استثناء أكثر عمومية، وارد في البند 4، فقط في حال عدم اعتراض صاحب حقوق الملكية الفكرية.

يسّرت المفوضية الأوروبية نقاشًا بين أصحاب المصلحة حول استخراج النصوص والبيانات في عام 2013، تحت عنوان "تراخيص لأوروبا". [ 39 ] وقد أدى التركيز على حل هذه المسألة القانونية، كالترخيص بدلًا من القيود والاستثناءات، إلى انسحاب ممثلي الجامعات والباحثين والمكتبات ومنظمات المجتمع المدني وناشري الوصول المفتوح من حوار أصحاب المصلحة في مايو 2013. [ 40 ]

المملكة المتحدة

بناءً على توصية مراجعة هارجريفز ، قامت الحكومة البريطانية بتعديل قانون حقوق النشر والتأليف في عام 2014 للسماح باستخراج البيانات كقيد واستثناء . [ 41 ] وكانت المملكة المتحدة ثاني دولة في العالم تفعل ذلك بعد اليابان، التي أقرت استثناءً مماثلاً في عام 2009 لاستخراج البيانات. ومع ذلك، ونظرًا لتقييد توجيه مجتمع المعلومات (2001)، فإن الاستثناء البريطاني لا يسمح باستخراج البيانات إلا للأغراض غير التجارية. كما لا يسمح قانون حقوق النشر والتأليف في المملكة المتحدة بتجاوز هذا الحكم بموجب الشروط والأحكام التعاقدية.

سويسرا

منذ عام 2020، بدأت سويسرا أيضاً بتنظيم استخراج البيانات من خلال السماح به في مجال البحث العلمي وفق شروط محددة منصوص عليها في المادة 24د من قانون حقوق التأليف والنشر السويسري. وقد دخلت هذه المادة الجديدة حيز التنفيذ في 1 أبريل 2020. [ 42 ]

الوضع في الولايات المتحدة

يدعم قانون حقوق النشر الأمريكي ، ولا سيما بند الاستخدام العادل فيه ، شرعية استخراج المحتوى في أمريكا، وفي دول أخرى تطبق مبدأ الاستخدام العادل مثل إسرائيل وتايوان وكوريا الجنوبية . ولأن استخراج المحتوى يُعدّ تحويليًا، أي أنه لا يحل محل العمل الأصلي، فإنه يُعتبر قانونيًا بموجب مبدأ الاستخدام العادل. فعلى سبيل المثال، في إطار تسوية قضية كتب جوجل، قضى القاضي الذي ترأس القضية بأن مشروع جوجل لرقمنة الكتب المحمية بحقوق النشر كان قانونيًا، ويعود ذلك جزئيًا إلى الاستخدامات التحويلية التي أظهرها مشروع الرقمنة، ومنها استخراج النصوص والبيانات. [ 43 ]

برمجة

برامج وتطبيقات مجانية مفتوحة المصدر لاستخراج البيانات

التطبيقات التالية متاحة بموجب تراخيص مجانية/مفتوحة المصدر. كما يُتاح الوصول العام إلى شفرة المصدر الخاصة بالتطبيقات.

برامج وتطبيقات خاصة باستخراج البيانات

التطبيقات التالية متاحة بموجب تراخيص خاصة.

انظر أيضاً

طُرق
مجالات التطبيق
أمثلة تطبيقية
مواضيع ذات صلة

للحصول على مزيد من المعلومات حول استخراج المعلومات من البيانات (بدلاً من تحليل البيانات)، انظر:

مصادر أخرى

مراجع

  1. 1 2 3 SIGKDD (30 أبريل 2006). "منهج استخراج البيانات: مقترح" . kdd.org ( رابطة آلات الحوسبة ). مؤرشف من الأصل بتاريخ 14 أكتوبر 2013. تم الاطلاع عليه بتاريخ 27 يناير 2014 .
  2. ↑ كليفتون، كريستوفر (2010). "موسوعة بريتانيكا: تعريف استخراج البيانات" . مؤرشف من الأصل بتاريخ 5 فبراير 2011. تم الاطلاع عليه بتاريخ 9 ديسمبر 2010 .
  3. ↑ هاستي، تريفور ؛ تيبشيراني، روبرت ؛ فريدمان، جيروم (2009). "عناصر التعلم الإحصائي: التنقيب في البيانات، والاستدلال، والتنبؤ" . مؤرشف من الأصل بتاريخ 10 نوفمبر 2009. تم الاطلاع عليه بتاريخ 7 أغسطس 2012 .
  4. ↑ هان، جايوي ؛ كامبر، ميشلين؛ باي، جيان (2011). استخراج البيانات: المفاهيم والتقنيات ( الطبعة الثالثة). مورغان كوفمان. ISBN  978-0-12-381479-1.
  5. 1 2 3 فياض، أسامة ؛ بياتيتسكي-شابيرو، غريغوري ؛ سميث، بادريتش (1996). "من التنقيب في البيانات إلى اكتشاف المعرفة في قواعد البيانات" (ملف PDF) . مؤرشف (PDF) من الأصل بتاريخ 9 أكتوبر 2022. تم الاطلاع عليه بتاريخ 17 ديسمبر 2008 .
  6. ^ هان، جياوي ؛ كامبر، ميشلين (2001). استخراج البيانات: المفاهيم والتقنيات . مورجان كوفمان . ص. 5. رقم ISBN  978-1-55860-489-6لذا، كان من الأنسب تسمية استخراج البيانات بـ "استخراج المعرفة من البيانات"، وهو مصطلح طويل نوعًا ما للأسف .
  7. ↑ مؤتمر أوكيراب خريف 2005، جامعة ولاية أريزونا. مؤرشف بتاريخ 1 فبراير 2014 في أرشيف الإنترنت (Wayback Machine).
  8. ↑ أولسون، د. ل. (2007). التنقيب عن البيانات في خدمات الأعمال. أعمال الخدمات ، 1 (3)، 181-193. doi : 10.1007/s11628-006-0014-7
  9. ↑ لوفيل، مايكل سي. (1983). "استخراج البيانات". مجلة الاقتصاد والإحصاء . 65 (1): 1-12 . doi : 10.2307/1924403 . JSTOR 1924403 . 
  10. ↑ شاريمزا، فويتشيك دبليو؛ ديدمان، ديريك إف (1992). "استخراج البيانات". اتجاهات جديدة في الممارسة الاقتصادية القياسية . ألدرشوت: إدوارد إلجار. ص 14-31 . ISBN  1-85278-461-X.
  11. ↑ مينا، خيسوس (2011). الطب الشرعي باستخدام التعلم الآلي لإنفاذ القانون والأمن والاستخبارات . بوكا راتون، فلوريدا: مطبعة سي آر سي (مجموعة تايلور وفرانسيس). رقم ISBN 978-1-4398-6069-4.
  12. ↑ "ورشة عمل KDD-89" . KDnuggets . مؤرشف من الأصل في 3 فبراير 2019.
  13. ↑ بياتيتسكي-شابيرو، غريغوري ؛ باركر، غاري (2011). "درس: التنقيب عن البيانات واكتشاف المعرفة: مقدمة" . مقدمة في التنقيب عن البيانات . كي دي ناغتس. مؤرشف من الأصل في 30 أغسطس 2012. تم الاسترجاع في 30 أغسطس 2012 .
  14. ↑ كوينين، فرانس (2011-02-07). " استخراج البيانات: الماضي والحاضر والمستقبل" . مجلة هندسة المعرفة . 26 (1): 25-29 . doi : 10.1017/S0269888910000378 . ISSN 0269-8889 . S2CID 6487637. مؤرشف من الأصل في 2023-07-02 . تم الاطلاع عليه في 2021-09-04 .  
  15. ↑ كانتاردزيتش، محمد (2003). استخراج البيانات: المفاهيم والنماذج والأساليب والخوارزميات . جون وايلي وأولاده. ISBN 978-0-471-22852-3. OCLC 50055336 . 
  16. ↑ "ما هي المنهجية الرئيسية التي تستخدمها في استخراج البيانات (2002)؟" . KDnuggets . 2002. مؤرشف من الأصل في 16 يناير 2017. تم الاطلاع عليه في 29 ديسمبر 2023 .
  17. ↑ "ما هي المنهجية الرئيسية التي تستخدمها في استخراج البيانات (2004)؟" . KDnuggets . 2004. مؤرشف من الأصل في 8 فبراير 2017. تم الاطلاع عليه في 29 ديسمبر 2023 .
  18. ↑ "ما هي المنهجية الرئيسية التي تستخدمها في استخراج البيانات (2007)؟" . KDnuggets . 2007. مؤرشف من الأصل في 17 نوفمبر 2012. تم الاطلاع عليه في 29 ديسمبر 2023 .
  19. ↑ "ما هي المنهجية الرئيسية التي تستخدمها في استخراج البيانات (2014)؟" . KDnuggets . 2014. مؤرشف من الأصل في 1 أغسطس 2016. تم الاطلاع عليه في 29 ديسمبر 2023 .
  20. ↑ لوكاس كورغان وبيتر موسيلك: "دراسة استقصائية لنماذج عمليات اكتشاف المعرفة واستخراج البيانات". مؤرشف بتاريخ 26 مايو 2013 على موقع Wayback Machine . مجلة هندسة المعرفة . المجلد 21، العدد 1، مارس 2006، الصفحات 1-24، مطبعة جامعة كامبريدج، نيويورك، doi : 10.1017/S0269888906000737
  21. ↑ أزيفيدو، أ. وسانتوس، إم إف كي دي دي، سيمما وكريسب-دي إم: نظرة عامة متوازية. مؤرشف في 2013-01-09 على موقع Wayback Machine . في وقائع المؤتمر الأوروبي IADIS حول استخراج البيانات 2008، الصفحات 182-185.
  22. ↑ هوكينز، دوغلاس م. (2004). "مشكلة التوفيق الزائد". مجلة المعلومات الكيميائية وعلوم الحاسوب . 44 (1): 1-12 . doi : 10.1021 / ci0342472 . PMID 14741005. S2CID 12440383 .  
  23. ↑ "بحث مايكروسوفت الأكاديمي: أهم المؤتمرات في مجال استخراج البيانات" . بحث مايكروسوفت الأكاديمي . مؤرشف من الأصل بتاريخ 19 نوفمبر 2014. تم الاطلاع عليه بتاريخ 13 يونيو 2014 .
  24. ↑ "جوجل سكولار: أهم المنشورات - التنقيب عن البيانات وتحليلها" . جوجل سكولار . مؤرشف من الأصل بتاريخ 10 فبراير 2023. تم الاطلاع عليه بتاريخ 11 يونيو 2022 .
  25. ↑ وقائع مؤرشفة بتاريخ 30-04-2010 في Wayback Machine ، المؤتمرات الدولية حول اكتشاف المعرفة واستخراج البيانات، ACM، نيويورك.
  26. ↑ تم أرشفة استكشافات SIGKDD في 29-07-2010 في Wayback Machine ، ACM، نيويورك.
  27. ↑ غونيمان، ستيفان؛ كريمر، هاردي؛ سيدل، توماس (2011). "توسيع معيار PMML لنماذج تجميع الفضاءات الفرعية". وقائع ورشة عمل 2011 حول نمذجة لغة الترميز التنبؤية . ص 48. doi : 10.1145/2023598.2023605 . ISBN  978-1-4503-0837-3. S2CID 14967969 . 
  28. ↑ سيلتزر، ويليام (2005). "وعود ومخاطر التنقيب عن البيانات: قضايا أخلاقية" (ملف PDF) . قسم الإحصاءات الحكومية التابع للجمعية الإحصائية الأمريكية. الجمعية الإحصائية الأمريكية. مؤرشف (ملف PDF) من الأصل بتاريخ 9 أكتوبر 2022.
  29. ↑ بيتس، تشيب (15 مارس 2007). "نهاية التجسس المحلي غير القانوني؟ لا تعوّل على ذلك" . واشنطن سبيكتاتور . مؤرشف من الأصل في 28 نوفمبر 2007.
  30. ↑ تايبال، كيم أ. (15 ديسمبر 2003). " استخراج البيانات والأمن الداخلي: ربط النقاط لفهم البيانات" . مجلة كولومبيا لقانون العلوم والتكنولوجيا . 5 (2). OCLC 45263753. SSRN 546782. مؤرشف من الأصل في 5 نوفمبر 2014. تم الاطلاع عليه في 21 أبريل 2004 .  
  31. ↑ ريسيج، جون. "إطار عمل لاستخراج البيانات من خدمات المراسلة الفورية" (ملف PDF) . مؤرشف (PDF) من الأصل بتاريخ 9 أكتوبر 2022. تم الاطلاع عليه بتاريخ 16 مارس 2018 .
  32. ١ ٢ فكّر قبل أن تحفر: الآثار المترتبة على الخصوصية في استخراج البيانات وتجميعها، مؤرشف في ١٧ ديسمبر ٢٠٠٨ على موقع Wayback Machine ، موجز بحثي من NASCIO، سبتمبر ٢٠٠٤
  33. ↑ أوم، بول. "لا تبنِ قاعدة بيانات للخراب" . مجلة هارفارد للأعمال .
  34. ↑ تم تحديد الأفراد من خلال بيانات بحث AOL. مؤرشفة بتاريخ 6 يناير 2010 في Wayback Machine ، SecurityFocus، أغسطس 2006
  35. ↑ كشتري، نير (2014). "تأثير البيانات الضخمة على الخصوصية والأمن ورفاهية المستهلك" (ملف PDF) . سياسة الاتصالات . 38 (11): 1134-1145 . doi : 10.1016/j.telpol.2014.10.002 . مؤرشف (ملف PDF) من الأصل بتاريخ 19-06-2018 . تم الاطلاع عليه بتاريخ 20-04-2018 .
  36. ↑ فايس، مارتن أ.؛ أرتشيك، كريستين (19 مايو 2016). "خصوصية البيانات بين الولايات المتحدة والاتحاد الأوروبي: من اتفاقية الملاذ الآمن إلى درع الخصوصية" . واشنطن العاصمة، دائرة أبحاث الكونغرس. ص 6. R44257. مؤرشف من الأصل (PDF) في 9 أبريل 2020. تم الاطلاع عليه في 9 أبريل 2020. في 6 أكتوبر 2015، أصدرت محكمة العدل الأوروبية قرارًا أبطل اتفاقية الملاذ الآمن (بأثر فوري)، بصيغتها الحالية.  
  37. ↑ باركر، جورج (30 سبتمبر 2018). "استهداف الشركات البريطانية لاستخدامها البيانات الضخمة لاستغلال العملاء" . فايننشال تايمز . مؤرشف من الأصل في 10 ديسمبر 2022. تم الاطلاع عليه في 4 ديسمبر 2022 .
  38. ↑ محررو مجلة Biotech Business Week (30 يونيو 2008)؛ الطب الحيوي؛ قاعدة خصوصية HIPAA تعيق البحوث الطبية الحيوية ، Biotech Business Week، تم استرجاعها في 17 نوفمبر 2009 من LexisNexis Academic
  39. ↑ "التراخيص لأوروبا - حوار منظم مع أصحاب المصلحة 2013" . المفوضية الأوروبية . مؤرشف من الأصل في 23 مارس 2013. تم الاطلاع عليه في 14 نوفمبر 2014 .
  40. ↑ "استخراج النصوص والبيانات: أهميته وضرورة التغيير في أوروبا" . رابطة المكتبات البحثية الأوروبية . مؤرشف من الأصل في 29 نوفمبر 2014. تم الاطلاع عليه في 14 نوفمبر 2014 .
  41. ↑ منح باحثين بريطانيين حق استخراج البيانات بموجب قوانين حقوق النشر الجديدة في المملكة المتحدة. مؤرشف في 9 يونيو 2014 على موقع Wayback Machine . تم الاطلاع عليه في 14 نوفمبر 2014.
  42. ↑ "فيدلكس" . مؤرشف من الأصل بتاريخ 16-12-2021 . تم الاطلاع عليه بتاريخ 16-12-2021 .
  43. ↑ «قاضٍ يصدر حكمًا موجزًا ​​لصالح كتب جوجل - انتصارٌ في الاستخدام العادل» . Lexology.com . Antonelli Law Ltd. ١٩ نوفمبر ٢٠١٣. مؤرشف من الأصل في ٢٩ نوفمبر ٢٠١٤. تم الاطلاع عليه في ١٤ نوفمبر ٢٠١٤ .

للمزيد من القراءة

  • كابينا، بيتر؛ هادجنيان، بابلو؛ ستادلر، رولف. فيرهيس، ياب؛ زاناسي، أليساندرو (1997)؛ اكتشاف التنقيب في البيانات: من المفهوم إلى التنفيذ ، برنتيس هول ، ISBN 0-13-743980-6
  • تشين، هان، يو (1996) " استخراج البيانات: نظرة عامة من منظور قواعد البيانات ". مؤرشف في 3 مارس 2016 على موقع Wayback Machine . مجلة هندسة المعرفة والبيانات، معاملات IEEE، 8 (6)، 866-883.
  • فيلدمان، رونين؛ سانجر، جيمس (2007)؛ دليل استخراج النصوص ، مطبعة جامعة كامبريدج ، رقم ISBN 978-0-521-83657-9
  • غو، ييكي؛ وغروسمان، روبرت (محرران) (1999)؛ استخراج البيانات عالي الأداء: خوارزميات التوسع والتطبيقات والأنظمة ، دار نشر كلوير الأكاديمية
  • هان، جياوي ، ميشلين كامبر، وجيان باي. استخراج البيانات: المفاهيم والتقنيات . مورغان كوفمان، 2006.
  • هاستي، تريفور ، تيبشيراني، روبرت، وفريدمان ، جيروم (2001)؛ عناصر التعلم الإحصائي: التنقيب عن البيانات، والاستدلال، والتنبؤ ، سبرينغر، ISBN 0-387-95284-5
  • ليو، بينغ (2007، 2011)؛ التنقيب في بيانات الويب: استكشاف الروابط التشعبية والمحتويات وبيانات الاستخدام ، سبرينغر ، ISBN 3-540-37881-2
  • مورفي، كريس (16 مايو 2011). "هل تعدين البيانات حرية تعبير؟". InformationWeek : 12.
  • نيسبيت، روبرت؛ إلدر، جون؛ مينر، غاري (2009)؛ دليل تطبيقات التحليل الإحصائي واستخراج البيانات ، أكاديميك برس /إلسيفير، رقم ISBN 978-0-12-374765-5
  • بونسيليه، باسكال؛ ماسيليا، فلورنت؛ وتيسير، ماغيلون (محررون) (أكتوبر 2007)؛ "أنماط استخراج البيانات: أساليب وتطبيقات جديدة"، مرجع علوم المعلومات ، ISBN 978-1-59904-162-9
  • تان، بانغ نينغ؛ شتاينباخ، مايكل. وكومار، فيبين (2005)؛ مقدمة في التنقيب عن البيانات ، ISBN 0-321-32136-7
  • ثيودوريديس، سيرجيوس؛ وكوترومباس، كونستانتينوس (2009)؛ التعرف على الأنماط ، الطبعة الرابعة، دار النشر الأكاديمية، رقم ISBN 978-1-59749-272-0
  • فايس، شولوم م.؛ وإندورخيا، نيتين (1998)؛ التنقيب التنبؤي في البيانات ، مورغان كوفمان
  • ويتن، إيان هـ .؛ فرانك، إيبي؛ هول، مارك أ. (30 يناير 2011). استخراج البيانات: أدوات وتقنيات عملية للتعلم الآلي (  الطبعة الثالثة). إلسيفير. ISBN 978-0-12-374856-0.(انظر أيضًا برنامج ويكا المجاني )
  • يي، نونغ (2003)؛ دليل استخراج البيانات ، ماهاوا، نيوجيرسي: لورانس إيرلبوم