تكامل البيانات

تكامل البيانات هو عملية دمج البيانات من مصادر متعددة أو مشاركتها أو مزامنتها لتزويد المستخدمين برؤية موحدة. ^{[ 1 ]} هناك نطاق واسع من التطبيقات الممكنة لتكامل البيانات، بدءًا من التطبيقات التجارية (مثل دمج شركة لقواعد بيانات متعددة ) وصولًا إلى التطبيقات العلمية (دمج بيانات البحث من مستودعات المعلوماتية الحيوية المختلفة).

غالباً ما ينشأ قرار دمج البيانات عندما يتزايد حجم البيانات الموجودة وتعقيدها (أي البيانات الضخمة ) والحاجة إلى مشاركتها بشكل كبير . ^{[ 2 ]} وقد أصبح هذا الأمر محوراً للعديد من الدراسات النظرية، ولا تزال العديد من المشكلات المفتوحة دون حل.

يشجع تكامل البيانات التعاون بين المستخدمين الداخليين والخارجيين. يجب استلام البيانات المراد دمجها من نظام قاعدة بيانات غير متجانس ، وتحويلها إلى مخزن بيانات موحد ومتسق يوفر بيانات متزامنة عبر شبكة من الملفات للعملاء. ^{[ 3 ]} من الاستخدامات الشائعة لتكامل البيانات استخراج البيانات ، وذلك عند تحليل واستخراج المعلومات من قواعد البيانات الموجودة، والتي يمكن أن تكون مفيدة لمعلومات الأعمال . ^{[ 4 ]}

لطالما كانت هناك مشاكل تتعلق بدمج مصادر البيانات غير المتجانسة ، والتي يشار إليها غالبًا باسم " صوامع المعلومات" ، ضمن واجهة استعلام واحدة. في أوائل ثمانينيات القرن الماضي، بدأ علماء الحاسوب بتصميم أنظمة لتحقيق قابلية التشغيل البيني لقواعد البيانات غير المتجانسة. ^{[ 5 ]}

صُمم أول نظام لتكامل البيانات يعتمد على البيانات الوصفية المهيكلة عام 1991 في جامعة مينيسوتا لسلسلة البيانات الجزئية للاستخدام العام المتكاملة (IPUMS) . استخدمت IPUMS منهجية مستودعات البيانات ، التي تستخرج البيانات من مصادر متنوعة ، وتحولها، وتحملها في مخطط عرض موحد ، مما يجعل البيانات من مصادر مختلفة متوافقة. ^{[ 6 ]} ومن خلال جعل آلاف قواعد بيانات السكان قابلة للتشغيل البيني، أثبتت IPUMS جدوى تكامل البيانات على نطاق واسع. توفر منهجية مستودع البيانات بنية مترابطة بإحكام، لأن البيانات مُجمعة فعليًا في مستودع واحد قابل للاستعلام، لذا عادةً ما يستغرق حل الاستعلامات وقتًا قصيرًا. ^{[ 7 ]}

يُعدّ استخدام مستودعات البيانات أقل جدوى لمجموعات البيانات التي يتم تحديثها باستمرار، مما يستلزم إعادة تنفيذ عملية الاستخراج والتحويل والتحميل (ETL) بشكل متواصل لضمان التزامن. كما تبرز صعوبات في إنشاء مستودعات البيانات عند توفر واجهة استعلام فقط لتلخيص مصادر البيانات، دون إمكانية الوصول إلى البيانات الكاملة. وتظهر هذه المشكلة بشكل متكرر عند دمج العديد من خدمات الاستعلام التجارية، مثل تطبيقات الويب الخاصة بالسفر أو الإعلانات المبوبة.

بدأ اتجاه في عام 2009 يُفضّل الربط غير المحكم للبيانات ^{[ 8 ]} وتوفير واجهة استعلام موحدة للوصول إلى البيانات الآنية عبر مخطط وسيط (انظر الشكل 2)، مما يسمح باسترجاع المعلومات مباشرةً من قواعد البيانات الأصلية. يتوافق هذا مع منهجية SOA الشائعة في تلك الحقبة. تعتمد هذه المنهجية على عمليات الربط بين المخطط الوسيط ومخطط المصادر الأصلية، وترجمة الاستعلام إلى استعلامات مُجزأة لتتوافق مع مخطط قواعد البيانات الأصلية. يمكن تحديد عمليات الربط هذه بطريقتين: إما كربط من الكيانات في المخطط الوسيط إلى الكيانات في المصادر الأصلية (منهجية "العالمية كعرض" ^{[ 9 ]} (GAV))، ​​أو كربط من الكيانات في المصادر الأصلية إلى المخطط الوسيط (منهجية "المحلية كعرض" ^{[ 10 ]} (LAV)). يتطلب النهج الأخير استدلالات أكثر تعقيدًا لحل استعلام على المخطط الوسيط، ولكنه يجعل من السهل إضافة مصادر بيانات جديدة إلى مخطط وسيط (مستقر).

اعتبارًا من عام 2010يتناول جزء من أبحاث تكامل البيانات مشكلة التكامل الدلالي . لا تعالج هذه المشكلة هيكلة بنية التكامل، بل كيفية حلّ التناقضات الدلالية بين مصادر البيانات غير المتجانسة. على سبيل المثال، إذا دمجت شركتان قواعد بياناتهما، فمن الطبيعي أن تحمل بعض المفاهيم والتعريفات في مخططاتهما، مثل "الأرباح"، معاني مختلفة. ففي إحدى قواعد البيانات، قد تعني الأرباح بالدولار (عدد عشري)، بينما في الأخرى قد تمثل عدد المبيعات (عدد صحيح). تتمثل إحدى الاستراتيجيات الشائعة لحل هذه المشكلات في استخدام الأنطولوجيات التي تُعرّف مصطلحات المخططات تعريفًا دقيقًا، مما يُساعد على حلّ التناقضات الدلالية. يُمثل هذا النهج تكامل البيانات القائم على الأنطولوجيا . من جهة أخرى، تتطلب مشكلة دمج نتائج الأبحاث من مستودعات المعلوماتية الحيوية المختلفة قياس أوجه التشابه، المحسوبة من مصادر البيانات المختلفة، وفقًا لمعيار واحد مثل القيمة التنبؤية الإيجابية. يُمكّن هذا من مقارنة مصادر البيانات مباشرةً، ويمكن دمجها حتى عندما تختلف طبيعة التجارب. ^{[ 11 ]}

اعتبارًا من عام 2011تبين أن أساليب نمذجة البيانات الحالية تُؤدي إلى عزل البيانات في كل بنية بيانات ، مُشكلةً جزرًا من البيانات والمعلومات المُتباينة. يُعد هذا العزل نتيجةً غير مقصودة لمنهجية نمذجة البيانات، مما يُؤدي إلى تطوير نماذج بيانات مُتباينة. وعند إنشاء هذه النماذج المُتباينة كقواعد بيانات، فإنها تُشكل قواعد بيانات مُتباينة. وقد طُوّرت منهجيات مُحسّنة لنمذجة البيانات بهدف التخلص من هذه النتيجة غير المقصودة، وتعزيز تطوير نماذج بيانات مُتكاملة. ^{[ 12 ]} إحدى هذه المنهجيات المُحسّنة تُعيد صياغة نماذج البيانات من خلال إضافة بيانات وصفية هيكلية إليها ، على شكل كيانات بيانات مُوحدة. ونتيجةً لإعادة صياغة نماذج البيانات المُتعددة، ستشترك هذه النماذج في علاقة أو أكثر من علاقات التشابه التي تربط البيانات الوصفية الهيكلية المُشتركة بينها. علاقات التشابه هي علاقات بين كيانات مُوحدة في نماذج بيانات مُتعددة. وقد تشترك نماذج البيانات المُتعددة التي تحتوي على نفس كيان البيانات القياسي في نفس علاقة التشابه. عندما يتم إنشاء نماذج البيانات المتكاملة كقواعد بيانات ويتم ملؤها بشكل صحيح من مجموعة مشتركة من البيانات الرئيسية، فإن قواعد البيانات هذه تكون متكاملة.

منذ عام 2011، حظيت مناهج مراكز البيانات باهتمام أكبر من مستودعات بيانات المؤسسات المهيكلة بالكامل (عادةً ما تكون علائقية). ومنذ عام 2013، ارتقى منهج بحيرات البيانات إلى مستوى مراكز البيانات. (انظر إلى شيوع المصطلحات الثلاثة على مؤشرات جوجل ^{[ 13 ]} ). تجمع هذه المناهج البيانات غير المهيكلة أو المتنوعة في موقع واحد، ولكنها لا تتطلب بالضرورة مخططًا علائقيًا رئيسيًا (غالبًا ما يكون معقدًا) لهيكلة وتحديد جميع البيانات في المركز.

في الآونة الأخيرة، ومع ازدياد عدد التطبيقات المستخدمة بشكل كبير، أصبح التكامل بين التطبيقات أمراً بالغ الأهمية، وقد أدى ذلك إلى ظهور [واجهات برمجة التطبيقات الموحدة] التي تساعد مطوري التطبيقات على دمج تطبيقاتهم مع تطبيقات أخرى، ومؤخراً مع [بروتوكول سياق النموذج - MCP] الذي يأخذ الأمر خطوة أخرى إلى الأمام بالنسبة لوكلاء الذكاء الاصطناعي.

يلعب تكامل البيانات دورًا محوريًا في مجال الأعمال فيما يتعلق بجمع البيانات المستخدمة لدراسة السوق. وتسعى الشركات جاهدةً لتحويل البيانات الأولية المستقاة من المستهلكين إلى بيانات مترابطة عند تحديد خطواتها المستقبلية. ^{[ 14 ]} وتلجأ المؤسسات بشكل متزايد إلى استخراج البيانات لجمع المعلومات والأنماط من قواعد بياناتها، مما يساعدها على تطوير استراتيجيات أعمال جديدة لتعزيز الأداء التجاري وإجراء التحليلات الاقتصادية بكفاءة أكبر. ويُعدّ تجميع كميات البيانات الهائلة التي تجمعها لتخزينها في أنظمتها شكلًا من أشكال تكامل البيانات المُكيّفة مع ذكاء الأعمال لتحسين فرص نجاحها. ^{[ 15 ]}

لنفترض تطبيق ويب يُمكّن المستخدم من الاستعلام عن معلومات متنوعة حول المدن (مثل إحصاءات الجريمة، والطقس، والفنادق، والبيانات السكانية، إلخ). تقليديًا، يجب تخزين هذه المعلومات في قاعدة بيانات واحدة ذات بنية موحدة. لكن أي مؤسسة ستجد أن جمع معلومات بهذا الحجم أمر صعب ومكلف. حتى لو توفرت الموارد اللازمة لجمع البيانات، فمن المرجح أن يؤدي ذلك إلى تكرار البيانات الموجودة في قواعد بيانات الجريمة، ومواقع الطقس، وبيانات التعداد السكاني.

قد يُعالج حل تكامل البيانات هذه المشكلة من خلال اعتبار هذه الموارد الخارجية بمثابة عروض مُجسّدة على مخطط وسيط افتراضي ، مما يُؤدي إلى "تكامل بيانات افتراضي". وهذا يعني أن مطوري التطبيقات يُنشئون مخططًا افتراضيًا - المخطط الوسيط - لنمذجة أنواع الإجابات التي يرغب بها المستخدمون على أفضل وجه. بعد ذلك، يُصممون "أغلفة" أو مُهايئات لكل مصدر بيانات، مثل قاعدة بيانات الجرائم وموقع الطقس. تُحوّل هذه المُهايئات ببساطة نتائج الاستعلامات المحلية (التي تُعيدها المواقع الإلكترونية أو قواعد البيانات المعنية) إلى شكل سهل المعالجة لحل تكامل البيانات (انظر الشكل 2). عندما يستعلم مستخدم التطبيق عن المخطط الوسيط، يُحوّل حل تكامل البيانات هذا الاستعلام إلى استعلامات مناسبة على مصادر البيانات المعنية. أخيرًا، تجمع قاعدة البيانات الافتراضية نتائج هذه الاستعلامات في إجابة على استعلام المستخدم.

يُتيح هذا الحل سهولة إضافة مصادر جديدة ببساطة عن طريق إنشاء مُهايئ أو وحدة برمجية خاصة بها. وهو يختلف عن أنظمة ETL أو حلول قواعد البيانات الفردية، التي تتطلب دمج مجموعة البيانات الجديدة بالكامل يدويًا في النظام. تستفيد حلول ETL الافتراضية من المخطط الوسيط الافتراضي لتنفيذ مواءمة البيانات؛ حيث تُنسخ البيانات من المصدر "الرئيسي" المُحدد إلى الأهداف المُحددة، حقلًا تلو الآخر. كما يعتمد التصور الافتراضي المتقدم للبيانات على مفهوم النمذجة الكائنية لإنشاء مخطط وسيط افتراضي أو مستودع بيانات وصفية افتراضي، باستخدام بنية مركزية .

كل مصدر بيانات منفصل عن الآخر، ولذلك فهو غير مصمم لدعم عمليات الربط الموثوقة بين مصادر البيانات. لذا، يعتمد كل من محاكاة البيانات وتوحيدها على وجود قواسم مشتركة عرضية في البيانات لدعم دمج البيانات والمعلومات من مجموعات بيانات متباينة. ونظرًا لعدم وجود قواسم مشتركة في قيم البيانات بين مصادر البيانات، فقد تكون مجموعة البيانات المُعادة غير دقيقة أو ناقصة أو يستحيل التحقق منها.

يتمثل أحد الحلول في إعادة هيكلة قواعد البيانات المتباينة لدمجها دون الحاجة إلى عمليات استخراج البيانات وتحويلها وتحميلها (ETL) . تدعم قواعد البيانات المُعاد هيكلتها قيود التشابه حيث يمكن فرض التكامل المرجعي بينها. كما توفر هذه القواعد مسارات وصول مُصممة للبيانات مع توحيد قيم البيانات بينها.

تُشكّل نظرية تكامل البيانات ^{[ 1 ]} فرعًا من نظرية قواعد البيانات، وتُضفي طابعًا رسميًا على المفاهيم الأساسية للمشكلة باستخدام منطق الرتبة الأولى . ويُقدّم تطبيق هذه النظريات مؤشرات حول جدوى تكامل البيانات وصعوبته. ورغم أن تعريفاتها قد تبدو مجردة، إلا أنها تتمتع بعمومية كافية لاستيعاب جميع أنواع أنظمة التكامل ^{[ 16 ]} ، بما في ذلك تلك التي تتضمن قواعد بيانات علائقية/XML متداخلة ^{[ 17 ]} ، وتلك التي تُعامل قواعد البيانات كبرامج ^{[ 18 ]} . أما الاتصالات بأنظمة قواعد بيانات محددة، مثل Oracle أو DB2، فتُوفّرها تقنيات على مستوى التنفيذ، مثل JDBC، ولا تُدرس على المستوى النظري.

التعريفات

تُعرَّف أنظمة تكامل البيانات رسميًا على أنها مجموعة من البيانات${\displaystyle \left\langle G,S,M\right\rangle }$أين${\displaystyle G}$هو المخطط العالمي (أو الوسيط)،${\displaystyle S}$هي مجموعة غير متجانسة من مخططات المصادر، و${\displaystyle M}$هي عملية الربط التي تربط الاستعلامات بين المخطط المصدر والمخطط العام. كلاهما${\displaystyle G}$و${\displaystyle S}$يتم التعبير عنها بلغات ذات أبجديات تتكون من رموز لكل علاقة من علاقاتها .${\displaystyle M}$يتألف من تأكيدات بين الاستعلامات على${\displaystyle G}$والاستفسارات حول${\displaystyle S}$عندما يطرح المستخدمون استفسارات على نظام تكامل البيانات، فإنهم يطرحون استفسارات على${\displaystyle G}$ثم تؤكد عملية الربط على وجود روابط بين العناصر في المخطط العام ومخططات المصدر.

تُعرَّف قاعدة البيانات القائمة على مخطط معين بأنها مجموعة من المجموعات، واحدة لكل علاقة (في قاعدة البيانات العلائقية). قاعدة البيانات المقابلة لمخطط المصدر${\displaystyle S}$ستتألف من مجموعة من مجموعات الصفوف لكل مصدر من مصادر البيانات غير المتجانسة، وتُسمى قاعدة بيانات المصدر . تجدر الإشارة إلى أن قاعدة بيانات المصدر هذه قد تمثل في الواقع مجموعة من قواعد البيانات المنفصلة. قاعدة البيانات المقابلة للمخطط الوسيط الافتراضي${\displaystyle G}$يُطلق عليها اسم قاعدة البيانات العالمية . يجب أن تُلبي قاعدة البيانات العالمية متطلبات الربط.${\displaystyle M}$فيما يتعلق بقاعدة البيانات المصدرية. وتعتمد شرعية هذا الربط على طبيعة التطابق بين${\displaystyle G}$و${\displaystyle S}$توجد طريقتان شائعتان لنمذجة هذه المراسلات: Global as View أو GAV و Local as View أو LAV.

تقوم أنظمة GAV بنمذجة قاعدة البيانات العالمية كمجموعة من وجهات النظر حول${\displaystyle S}$في هذه الحالة${\displaystyle M}$يرتبط بكل عنصر من عناصر${\displaystyle G}$استفسار حول${\displaystyle S}$تصبح معالجة الاستعلامات عملية مباشرة بفضل العلاقات المحددة جيدًا بين${\displaystyle G}$و${\displaystyle S}$يقع عبء التعقيد على عاتق تنفيذ كود الوسيط الذي يُرشد نظام تكامل البيانات بدقة إلى كيفية استرجاع العناصر من قواعد البيانات المصدرية. في حال انضمام أي مصادر جديدة إلى النظام، قد يتطلب الأمر جهدًا كبيرًا لتحديث الوسيط، لذا يبدو نهج GAV مُفضلاً عندما يكون من غير المرجح أن تتغير المصادر.

في نهج GAV لنظام تكامل البيانات المذكور أعلاه، يقوم مصمم النظام أولاً بتطوير وسائط لكل مصدر من مصادر معلومات المدينة، ثم يصمم المخطط العام حول هذه الوسائط. على سبيل المثال، إذا كان أحد المصادر يخدم موقعًا إلكترونيًا للأحوال الجوية، فمن المرجح أن يضيف المصمم عنصرًا مطابقًا للأحوال الجوية إلى المخطط العام. بعد ذلك، يتركز الجزء الأكبر من الجهد على كتابة كود الوسيط المناسب الذي يحول الشروط المتعلقة بالأحوال الجوية إلى استعلام على موقع الأحوال الجوية. قد يصبح هذا الجهد معقدًا إذا كان هناك مصدر آخر مرتبط بالأحوال الجوية، لأن المصمم قد يحتاج إلى كتابة كود لدمج نتائج المصدرين بشكل صحيح.

من ناحية أخرى، في LAV، يتم نمذجة قاعدة البيانات المصدرية كمجموعة من طرق العرض على${\displaystyle G}$في هذه الحالة${\displaystyle M}$يرتبط بكل عنصر من عناصر${\displaystyle S}$استفسار حول${\displaystyle G}$هنا العلاقات الدقيقة بين${\displaystyle G}$و${\displaystyle S}$لم تعد محددة بدقة. وكما هو موضح في القسم التالي، يقع عبء تحديد كيفية استرجاع العناصر من المصادر على عاتق معالج الاستعلام. وتكمن فائدة نمذجة LAV في إمكانية إضافة مصادر جديدة بجهد أقل بكثير مما هو عليه في نظام GAV، لذا يُفضل استخدام منهج LAV في الحالات التي يكون فيها المخطط الوسيط أقل استقرارًا أو عرضة للتغيير. ^{[ 1 ]}

في نهج LAV لنظام تكامل البيانات المذكور أعلاه، يقوم مصمم النظام بتصميم المخطط العام أولاً، ثم يُدخل ببساطة مخططات مصادر معلومات المدينة المعنية. لنفترض أن أحد المصادر يُقدم موقعًا إلكترونيًا للأحوال الجوية. سيضيف المصمم عناصر الطقس إلى المخطط العام فقط في حال عدم وجودها مسبقًا. بعد ذلك، يكتب المبرمجون مُهايئًا أو غلافًا للموقع الإلكتروني، ويضيفون وصفًا لمخطط نتائج الموقع إلى مخططات المصادر. تنتقل عملية إضافة المصدر الجديد من المصمم إلى مُعالج الاستعلامات.

تتطلب المسائل العلمية واسعة النطاق، مثل الأدلة الواقعية ، والاحتباس الحراري ، وانتشار الأنواع الغازية ، واستنزاف الموارد ، بشكل متزايد جمع مجموعات بيانات متباينة لإجراء التحليل التلوي . ويُعدّ هذا النوع من تكامل البيانات تحديًا خاصًا للبيانات البيئية والإيكولوجية، نظرًا لعدم وجود معايير متفق عليها للبيانات الوصفية، وتعدد أنواع البيانات المُنتجة في هذه المجالات. وتهدف مبادرات المؤسسة الوطنية للعلوم، ^{مثل Datanet، إلى تسهيل تكامل البيانات للعلماء من خلال توفير بنية تحتية إلكترونية ووضع معايير. وتشمل مبادرات Datanet الخمس الممولة: DataONE [} 23 ] بقيادة ويليام ميشنر من جامعة نيو ^{مكسيكو ؛} و The Data Conservancy ^{[ 24 ]} بقيادة سعيد تشودري من جامعة جونز هوبكنز ؛ وSEAD: Sustainable Environment through Actionable Data ^{[ 25 ]} بقيادة مارغريت هيدستروم من جامعة ميشيغان ؛ وDataNet Federation Consortium ^{[ 26 ]} بقيادة ريغان مور من جامعة نورث كارولينا . و Terra Populus [ ^{27 ] بقيادة} ستيفن راجلز من جامعة مينيسوتا . وقد استكشف تحالف بيانات البحث ^{[ 28 ]} مؤخرًا إنشاء أطر عمل عالمية لتكامل البيانات. أما مشروع OpenPHACTS ، الممول من خلال مبادرة الاتحاد الأوروبي للأدوية المبتكرة ، فقد أنشأ منصة لاكتشاف الأدوية من خلال ربط مجموعات البيانات من مزودين مثل المعهد الأوروبي للمعلوماتية الحيوية ، والجمعية الملكية للكيمياء ، وUniProt ، و WikiPathways، و DrugBank .