ربط السجلات

📅 آخر تحديث: ١ أغسطس ٢٠٢٦
✍️ نُشر في: ١ أغسطس ٢٠٢٦
📷 يحتوي على 26 صور
الموسوعة الحرة

ربط السجلات (المعروف أيضًا بمطابقة البيانات ، وربط البيانات ، وحل الكيانات ، وغيرها من المصطلحات) هو عملية البحث عن السجلات في مجموعة بيانات تشير إلى نفس الكيان عبر مصادر بيانات مختلفة (مثل ملفات البيانات، والكتب، ومواقع الويب، وقواعد البيانات). يُعد ربط السجلات ضروريًا عند دمج مجموعات بيانات مختلفة بناءً على كيانات قد تشترك أو لا تشترك في مُعرّف مشترك (مثل مفتاح قاعدة البيانات ، أو معرّف الموارد الموحد URI ، أو رقم الهوية الوطنية )، وهو ما قد يعود إلى اختلافات في شكل السجل، أو موقع التخزين، أو أسلوب أو تفضيل القائم على حفظ البيانات. يُشار إلى مجموعة البيانات التي خضعت لعملية التوفيق الموجهة نحو ربط السجلات بأنها مجموعة بيانات مترابطة .

اصطلاحات التسمية

يُستخدم مصطلح "ربط السجلات" من قِبل الإحصائيين وعلماء الأوبئة والمؤرخين، وغيرهم، لوصف عملية دمج السجلات من مصدر بيانات مع سجلات أخرى تصف الكيان نفسه. مع ذلك، تُستخدم مصطلحات أخرى كثيرة لهذه العملية. وللأسف، أدى هذا التنوع في المصطلحات إلى قلة المراجع المتبادلة بين هذه المجتمعات البحثية. [ 1 ] [ 2 ]

يُشير علماء الحاسوب عادةً إلى هذه العملية باسم "مطابقة البيانات" أو "مشكلة تحديد هوية الكائن". وتُستخدم في تطبيقات البريد الإلكتروني وقواعد البيانات التجارية مصطلحات مثل "معالجة الدمج/التنقية" أو "تنظيف القوائم". ومن بين المصطلحات الأخرى المستخدمة لوصف المفهوم نفسه: "حل الإحالة المرجعية/الكيان/الهوية/الاسم/السجل"، و"إزالة الغموض عن الكيانات/ربطها"، و"المطابقة التقريبية"، و"كشف التكرارات"، و"إزالة التكرارات"، و"مطابقة السجلات"، و"التوفيق (المرجعي)"، و"تحديد هوية الكائن"، و"تكامل البيانات/المعلومات"، و"الدمج". [ 3 ]

على الرغم من تشابه اسميهما، فإن ربط السجلات والبيانات المرتبطة يمثلان منهجين منفصلين لمعالجة البيانات وهيكلتها. فبينما يتضمن كلاهما تحديد الكيانات المتطابقة عبر مجموعات بيانات مختلفة، يربط ربط السجلات عادةً "الكيانات" بالأفراد؛ في المقابل، تعتمد البيانات المرتبطة على إمكانية ربط أي مورد ويب عبر مجموعات البيانات، باستخدام مفهوم أوسع للمعرف، وهو معرّف الموارد الموحد (URI) .

تاريخ

تعود الفكرة الأولية لربط السجلات إلى هالبرت ل. دان في مقالته التي نُشرت عام 1946 بعنوان "ربط السجلات" في المجلة الأمريكية للصحة العامة . [ 4 ]

ثم وضع هوارد بوردن نيومكومب الأسس الاحتمالية لنظرية ربط السجلات الحديثة في مقال نُشر عام 1959 في مجلة ساينس . [ 5 ] وقد تمّت صياغة هذه الأسس رسميًا عام 1969 على يد إيفان فيليجي وآلان سانتر، في عملهما الرائد "نظرية لربط السجلات"، حيث أثبتا أن قاعدة القرار الاحتمالية التي وصفاها كانت مثالية عندما كانت سمات المقارنة مستقلة شرطيًا. [ 6 ] وقد أدركا في عملهما الاهتمام المتزايد بتطبيق التطورات في الحوسبة والأتمتة على مجموعات كبيرة من البيانات الإدارية ، ولا تزال نظرية فيليجي-سانتر الأساس الرياضي للعديد من تطبيقات ربط السجلات.

منذ أواخر التسعينيات، طُوِّرت تقنياتٌ عديدةٌ للتعلم الآلي ، يُمكن استخدامها، في ظل ظروفٍ مواتية، لتقدير الاحتمالات الشرطية التي تتطلبها نظرية فيليجي-سونتر. وقد أفاد العديد من الباحثين بأن افتراض الاستقلال الشرطي لخوارزمية فيليجي-سونتر يُنتهك غالبًا في التطبيق العملي؛ ومع ذلك، فإن الجهود المنشورة لنمذجة التبعيات الشرطية بين سمات المقارنة بشكلٍ صريح لم تُسفر عن تحسين جودة ربط السجلات. من ناحيةٍ أخرى، غالبًا ما تُوفِّر خوارزميات التعلم الآلي أو الشبكات العصبية التي لا تعتمد على هذه الافتراضات دقةً أعلى بكثير، عند توفر بيانات تدريب مُصنَّفة كافية. [ 7 ]

يمكن إتمام عملية ربط السجلات بالكامل دون استخدام الحاسوب، ولكن الأسباب الرئيسية لاستخدام الحواسيب في هذه العملية هي تقليل أو إلغاء المراجعة اليدوية، وجعل النتائج قابلة للتكرار بسهولة أكبر. تتميز المطابقة الحاسوبية بمزايا عديدة، منها الإشراف المركزي على المعالجة، وتحسين مراقبة الجودة، والسرعة، والاتساق، وقابلية تكرار النتائج بشكل أفضل. [ 8 ]

طُرق

معالجة البيانات المسبقة

تعتمد عملية ربط السجلات بشكل كبير على جودة البيانات المراد ربطها، لذا يُفضل إخضاع جميع مجموعات البيانات قيد الدراسة (وخاصةً حقول المعرّفات الرئيسية) لتقييم جودة البيانات قبل ربط السجلات. قد تظهر العديد من المعرّفات الرئيسية لنفس الكيان بشكل مختلف تمامًا بين مجموعات البيانات (وحتى داخل المجموعة الواحدة)، مما قد يُعقّد عملية ربط السجلات بشكل كبير ما لم يتم فهمها مسبقًا. على سبيل المثال، قد تظهر المعرّفات الرئيسية لرجل يُدعى ويليام ج. سميث في ثلاث مجموعات بيانات مختلفة كما يلي:

مجموعة البياناتاسمتاريخ الميلادمدينة الإقامة
مجموعة البيانات 1ويليام ج. سميث1/2/73بيركلي، كاليفورنيا
مجموعة البيانات 2سميث، دبليو جيه1973.1.2بيركلي، كاليفورنيا
مجموعة البيانات 3بيل سميث2 يناير 1973بيركلي، كاليفورنيا

في هذا المثال، تؤدي أنماط التنسيق المختلفة إلى سجلات تبدو مختلفة، ولكنها في الواقع تشير جميعها إلى الكيان نفسه بنفس قيم المعرّف المنطقي. معظم استراتيجيات ربط السجلات، إن لم تكن جميعها، ستؤدي إلى ربط أكثر دقة إذا تم توحيد هذه القيم أو تطبيعها أولًا إلى تنسيق متسق (مثلًا، جميع الأسماء هي "اسم العائلة، الاسم الأول"، وجميع التواريخ هي "YYYY/MM/DD"). يمكن تحقيق التوحيد القياسي من خلال تحويلات بيانات بسيطة قائمة على القواعد ، أو إجراءات أكثر تعقيدًا مثل تجزئة الكلمات القائمة على المعجم ونماذج ماركوف المخفية الاحتمالية. [ 9 ] توفر العديد من الحزم المدرجة في قسم تطبيقات البرامج بعضًا من هذه الميزات لتبسيط عملية توحيد البيانات.

حل الكيانات

يُعدّ تحليل الكيانات عملية استخباراتية تشغيلية ، تعتمد عادةً على محرك تحليل الكيانات أو برمجيات وسيطة ، حيث تُمكّن المؤسسات من ربط مصادر البيانات المتباينة بهدف فهم تطابقات الكيانات المحتملة والعلاقات غير الواضحة عبر مستودعات البيانات المتعددة . يحلل هذا التحليل جميع المعلومات المتعلقة بالأفراد و/أو الكيانات من مصادر بيانات متعددة، ثم يطبق معايير الاحتمالية لتحديد الهويات المتطابقة، وما إذا كانت هناك أي علاقات غير واضحة بين هذه الهويات.

تُستخدم محركات تحليل الكيانات عادةً للكشف عن المخاطر والاحتيال وتضارب المصالح، كما أنها أدوات مفيدة في متطلبات تكامل بيانات العملاء (CDI) وإدارة البيانات الرئيسية (MDM). تشمل الاستخدامات الشائعة لمحركات تحليل الكيانات فحص الإرهابيين، والكشف عن الاحتيال التأميني ، والامتثال لقانون باتريوت الأمريكي ، والكشف عن عصابات الجريمة المنظمة في قطاع التجزئة ، وفحص المتقدمين للوظائف.

على سبيل المثال، قد تمتلك مؤسسة ما، عبر قواعد بيانات مختلفة - سجلات الموظفين، وبيانات الموردين، وقوائم المراقبة، وما إلى ذلك - عدة نسخ من كيان يحمل اسم ABC، والتي قد تكون أو لا تكون للشخص نفسه. وقد تظهر هذه البيانات، في الواقع، كـ ABC1 أو ABC2 أو ABC3 ضمن مصادر البيانات تلك. ومن خلال مقارنة أوجه التشابه بين السمات الأساسية مثل العنوان أو تاريخ الميلاد أو رقم الضمان الاجتماعي ، يستطيع المستخدم استبعاد بعض التطابقات المحتملة وتأكيد تطابقات أخرى محتملة للغاية.

ثم تُطبّق محركات تحليل الكيانات قواعد، تستند إلى منطق سليم، لتحديد العلاقات الخفية بين البيانات. في المثال أعلاه، ربما لا يكون ABC1 وABC2 شخصًا واحدًا، بل شخصين مختلفين يتشاركان سمات مشتركة مثل العنوان أو رقم الهاتف.

مطابقة البيانات

على الرغم من أن حلول تحديد الكيانات تتضمن تقنية مطابقة البيانات، إلا أن العديد من حلول مطابقة البيانات لا تتوافق مع تعريف تحديد الكيانات. فيما يلي أربعة عوامل تميز تحديد الكيانات عن مطابقة البيانات، وفقًا لجون تالبورت، مدير مركز الأبحاث المتقدمة في تحديد الكيانات وجودة المعلومات بجامعة أركنساس في ليتل روك :

  • يعمل مع السجلات المنظمة وغير المنظمة، ويتضمن عملية استخراج المراجع عندما تكون المصادر غير منظمة أو شبه منظمة.
  • يستخدم قواعد عمل ونماذج مفاهيمية مفصلة للتعامل مع المعلومات المفقودة والمتضاربة والتالفة
  • يستخدم معلومات الربط (الارتباط) غير المتطابقة والمؤكدة بالإضافة إلى المطابقة المباشرة
  • يكشف عن العلاقات غير الواضحة وشبكات الارتباط (أي من يرتبط بمن)

على عكس منتجات جودة البيانات، تتضمن محركات حل الهوية الأكثر قوة محرك قواعد وعملية سير عمل، تُطبّق ذكاء الأعمال على الهويات المُحلّلة وعلاقاتها. تُتيح هذه التقنيات المتقدمة اتخاذ قرارات آلية والتأثير على عمليات الأعمال في الوقت الفعلي، مما يُقلل الحاجة إلى التدخل البشري.

ربط السجلات الحتمي

أبسط أنواع ربط السجلات، والذي يُسمى ربط السجلات الحتمي أو القائم على القواعد ، يُنشئ روابط بناءً على عدد المعرّفات الفردية المتطابقة بين مجموعات البيانات المتاحة. [ 10 ] يُقال إن سجلين متطابقان عبر إجراء ربط السجلات الحتمي إذا كانت جميع المعرّفات أو بعضها (فوق عتبة معينة) متطابقة. يُعد ربط السجلات الحتمي خيارًا مناسبًا عندما يتم تحديد الكيانات في مجموعات البيانات بواسطة معرّف مشترك، أو عندما يكون هناك العديد من المعرّفات التمثيلية (مثل الاسم وتاريخ الميلاد والجنس عند تحديد هوية شخص ما) التي تتميز بجودة بيانات عالية نسبيًا.

كمثال، لنفترض وجود مجموعتي بيانات معياريتين، المجموعة أ والمجموعة ب، تحتويان على معلومات مختلفة عن المرضى في نظام مستشفى. تُعرّف المجموعتان المرضى باستخدام مُعرّفات متنوعة: رقم الضمان الاجتماعي ، والاسم، وتاريخ الميلاد، والجنس، والرمز البريدي . تُعرض السجلات في المجموعتين (المُشار إليها بعلامة "#") أدناه:

مجموعة البيانات8رقم الضمان الاجتماعياسمتاريخ الميلادالجنسأَزِيز
المجموعة أ1000956723سميث، ويليام1973/01/02ذكر94701
2000956723سميث، ويليام1973/01/02ذكر94703
3000005555جونز، روبرت14/08/1942ذكر94701
4123001234سو، ماري1972/11/19أنثى94109
المجموعة ب1000005555جونز، بوب14/08/1942
2سميث، بيل1973/01/02ذكر94701

تتمثل أبسط استراتيجية لربط السجلات الحتمية في اختيار مُعرِّف واحد يُفترض أنه يُعرِّف الشخص بشكل فريد، ولنقل رقم الضمان الاجتماعي، والإعلان أن السجلات التي تشترك في نفس القيمة تُعرِّف الشخص نفسه، بينما تُعرِّف السجلات التي لا تشترك في نفس القيمة أشخاصًا مختلفين. في هذا المثال، سيؤدي الربط الحتمي القائم على رقم الضمان الاجتماعي إلى إنشاء كيانات بناءً على A1 وA2؛ وA3 وB1؛ وA4. في حين يبدو أن A1 وA2 وB2 تُمثِّل الكيان نفسه، لن يتم تضمين B2 في المطابقة لأنه يفتقر إلى قيمة رقم الضمان الاجتماعي.

يتطلب التعامل مع الاستثناءات، مثل فقدان المعرّفات، إنشاء قواعد ربط سجلات إضافية. إحدى هذه القواعد، في حالة فقدان رقم الضمان الاجتماعي، هي مقارنة الاسم وتاريخ الميلاد والجنس والرمز البريدي مع سجلات أخرى على أمل إيجاد تطابق. في المثال السابق، لن تُطابق هذه القاعدة A1/A2 مع B2 لأن الأسماء لا تزال مختلفة قليلاً: فقد وضع التوحيد القياسي الأسماء في التنسيق الصحيح (اسم العائلة، الاسم الأول) ولكنه لم يتمكن من تمييز "بيل" كاسم تدليل لـ"ويليام". يمكن أن يساعد تمرير الأسماء عبر خوارزمية صوتية مثل Soundex أو NYSIIS أو Metaphone في حل هذه الأنواع من المشاكل. ومع ذلك، قد تتعثر هذه الخوارزميات في التعامل مع تغييرات اسم العائلة نتيجة الزواج أو الطلاق، ولكن في هذه الحالة، ستُطابق B2 مع A1 فقط لأن الرمز البريدي في A2 مختلف. وبالتالي، يلزم إنشاء قاعدة أخرى لتحديد ما إذا كانت الاختلافات في معرّفات معينة مقبولة (مثل الرمز البريدي) وما هي غير مقبولة (مثل تاريخ الميلاد).

كما يُبيّن هذا المثال، فإنّ حتى انخفاضًا طفيفًا في جودة البيانات أو زيادة طفيفة في تعقيدها قد يؤدي إلى زيادة كبيرة في عدد القواعد اللازمة لربط السجلات بشكل صحيح. وفي نهاية المطاف، ستصبح قواعد الربط هذه كثيرة ومتشابكة لدرجة يصعب معها بناؤها دون الاستعانة بأدوات برمجية متخصصة. إضافةً إلى ذلك، غالبًا ما تكون قواعد الربط مُخصصة لطبيعة مجموعات البيانات التي صُممت لربطها. تمكّنت إحدى الدراسات من ربط ملف الوفيات الرئيسي للضمان الاجتماعي بسجلين لمستشفيين من الغرب الأوسط للولايات المتحدة باستخدام رقم الضمان الاجتماعي، والاسم الأول المُشفّر بنظام NYSIIS، وشهر الميلاد، والجنس، ولكن قد لا تعمل هذه القواعد بكفاءة مع مجموعات البيانات من مناطق جغرافية أخرى أو مع البيانات المُجمّعة عن فئات عمرية أصغر. [ 11 ] لذا، يُعدّ اختبار الصيانة المستمر لهذه القواعد ضروريًا لضمان استمرار عملها كما هو مُتوقع مع دخول بيانات جديدة إلى النظام وحاجتها إلى الربط. قد تتطلب البيانات الجديدة التي تُظهر خصائص مختلفة عمّا كان مُتوقعًا في البداية إعادة بناء كاملة لمجموعة قواعد ربط السجلات، وهو ما قد يكون جهدًا مُكلفًا ويستغرق وقتًا طويلًا.

ربط السجلات الاحتمالي

يعتمد ربط السجلات الاحتمالي ، والذي يُسمى أحيانًا بالمطابقة التقريبية (ويُعرف أيضًا بالدمج الاحتمالي أو الدمج التقريبي في سياق دمج قواعد البيانات)، على نهج مختلف لحل مشكلة ربط السجلات، حيث يأخذ في الاعتبار نطاقًا أوسع من المعرفات المحتملة، ويحسب أوزانًا لكل مُعرف بناءً على قدرته المُقدَّرة على تحديد التطابق أو عدم التطابق بشكل صحيح، ويستخدم هذه الأوزان لحساب احتمالية أن يشير سجلان مُعطيان إلى الكيان نفسه. تُعتبر أزواج السجلات التي تتجاوز احتمالاتها عتبة معينة متطابقة، بينما تُعتبر الأزواج التي تقل احتمالاتها عن عتبة أخرى غير متطابقة؛ أما الأزواج التي تقع بين هاتين العتبتين فتُعتبر "متطابقات محتملة" ويمكن التعامل معها وفقًا لذلك (مثلًا، مراجعتها يدويًا، أو ربطها، أو عدم ربطها، حسب المتطلبات). في حين أن ربط السجلات الحتمي يتطلب برمجة سلسلة من القواعد التي قد تكون معقدة مسبقًا، يمكن "تدريب" طرق ربط السجلات الاحتمالي على الأداء الجيد مع تدخل بشري أقل بكثير.

تعتمد العديد من خوارزميات ربط السجلات الاحتمالية على تعيين أوزان التطابق/عدم التطابق للمعرفات من خلال احتمالين يُطلق عليهماu{\displaystyle u}وم{\displaystyle m}. الu{\displaystyle u}الاحتمالية هي احتمالية تطابق مُعرِّف في سجلين غير متطابقين بمحض الصدفة. على سبيل المثال،u{\displaystyle u}احتمالية شهر الميلاد (حيث تتوزع القيم الاثنتي عشرة بشكل منتظم تقريبًا) هي1/12≈0.083{\displaystyle 1/12\approx 0.083}ستكون للمعرفات ذات القيم غير الموزعة بشكل منتظم خصائص مختلفة.u{\displaystyle u}احتمالات القيم المختلفة (بما في ذلك القيم المفقودة).م{\displaystyle m}الاحتمالية هي احتمالية تطابق المعرفات في الأزواج المتطابقة (أو تشابهها بدرجة كافية، مثل السلاسل ذات مسافة جارو-وينكلر أو ليفنشتاين المنخفضة ). ستكون هذه القيمة1.0{\displaystyle 1.0}في حالة البيانات المثالية، ولكن نظرًا لأن هذا نادرًا ما يكون صحيحًا (إن لم يكن مستحيلاً)، يمكن بدلاً من ذلك تقديره. يمكن إجراء هذا التقدير بناءً على معرفة مسبقة بمجموعات البيانات، أو عن طريق تحديد عدد كبير من الأزواج المتطابقة وغير المتطابقة يدويًا "لتدريب" خوارزمية ربط السجلات الاحتمالية، أو عن طريق تشغيل الخوارزمية بشكل متكرر للحصول على تقديرات أدق لـم{\displaystyle m}الاحتمالية. إذا كانت قيمة0.95{\displaystyle 0.95}كان من المقرر تقديرها لـم{\displaystyle m}إذا كان الاحتمال هو، فإن أوزان التطابق/عدم التطابق لمعرف شهر الميلاد ستكون كالتالي:

حصيلةنسبة الروابطنسبة الروابط غير الموجودةنسبة الترددوزن
مباراةم=0.95{\displaystyle m=0.95}u≈0.083{\displaystyle u\approx 0.083}م/u≈11.4{\displaystyle m/u\approx 11.4}سجل2⁡م/u≈3.51{\displaystyle \log _{2}{m/u}\approx 3.51}
عدم تطابق1-م=0.05{\displaystyle 1-m=0.05}1-u≈0.917{\displaystyle 1-u\approx 0.917}(1-م)/(1-u)≈0.0545{\displaystyle (1-m)/(1-u)\approx 0.0545}سجل2⁡(1-م)/(1-u)≈-4.20{\displaystyle \log _{2}{(1-m)/(1-u)}\approx -4.20}

تُجرى الحسابات نفسها لجميع المعرّفات الأخرى قيد الدراسة لتحديد أوزان التطابق/عدم التطابق. بعد ذلك، يُقارن كل معرّف في سجلٍّ ما بالمعرّف المقابل له في سجلٍّ آخر لحساب الوزن الإجمالي للزوج: يُضاف وزن التطابق إلى المجموع التراكمي عند تطابق زوج من المعرّفات، بينما يُضاف وزن عدم التطابق (أي ينخفض ​​المجموع التراكمي) عند اختلاف زوج المعرّفات. ثم يُقارن الوزن الإجمالي الناتج بالعتبات المذكورة سابقًا لتحديد ما إذا كان ينبغي ربط الزوج، أو فصله، أو وضعه جانبًا لمزيد من الدراسة (مثل التحقق اليدوي). [ 12 ]

الحجب

يُعدّ تحديد عتبات التطابق/عدم التطابق عملية موازنة دقيقة بين الحصول على حساسية مقبولة (أو الاستدعاء ، أي نسبة السجلات المتطابقة فعليًا التي يربطها الخوارزمية) وقيمة تنبؤية إيجابية (أو الدقة ، أي نسبة السجلات التي يربطها الخوارزمية والتي تتطابق فعليًا). تتوفر طرق يدوية وآلية متنوعة للتنبؤ بأفضل العتبات، كما تتضمن بعض برامج ربط السجلات أدوات مدمجة لمساعدة المستخدم في إيجاد القيم الأكثر قبولًا. ولأن هذه المهمة قد تكون مُرهقة حسابيًا، خاصةً مع مجموعات البيانات الكبيرة، تُستخدم تقنية تُعرف باسم "الحجب" لتحسين الكفاءة. تحاول هذه التقنية حصر المقارنات في السجلات التي تتفق فيها مُعرّفات مُميّزة، مما يزيد من القيمة التنبؤية الإيجابية (الدقة) على حساب الحساسية (الاستدعاء). [ 12 ] على سبيل المثال، يُقلل التجميع بناءً على اسم العائلة المُشفّر صوتيًا والرمز البريدي من إجمالي عدد المقارنات المطلوبة، ويُحسّن احتمالية صحة السجلات المرتبطة (نظرًا لتطابق المُعرّفين مُسبقًا)، ولكنه قد يُغفل سجلات تُشير إلى الشخص نفسه ولكن باسم عائلة أو رمز بريدي مختلف (بسبب الزواج أو الانتقال، على سبيل المثال). أما التجميع بناءً على شهر الميلاد، وهو مُعرّف أكثر استقرارًا يُتوقع أن يتغير فقط في حالة وجود خطأ في البيانات، فيُحقق مكسبًا أقل في القيمة التنبؤية الإيجابية، ولكنه يُقلل من الحساسية، ولكنه يُنشئ اثنتي عشرة مجموعة مُختلفة فقط، وهو ما قد لا يُحسّن سرعة الحساب بشكل ملحوظ في مجموعات البيانات الضخمة جدًا. لذا، غالبًا ما تستخدم أنظمة ربط السجلات القوية عمليات تجميع مُتعددة لتجميع البيانات بطرق مُختلفة، بهدف الوصول إلى مجموعات من السجلات التي يجب مُقارنتها ببعضها البعض.

التعلم الآلي

في السنوات الأخيرة، استُخدمت تقنيات متنوعة من التعلّم الآلي في ربط السجلات. وقد أُقرّ [ 7 ] بأن خوارزمية فيليجي-سونتر الكلاسيكية لربط السجلات الاحتمالي، المذكورة أعلاه، تُعادل خوارزمية بايز البسيطة في مجال التعلّم الآلي، [ 13 ] وتعاني من نفس الافتراض المتعلق باستقلال خصائصها (وهو افتراض غير صحيح في الغالب). [ 14 ] [ 15 ] ويمكن تحقيق دقة أعلى باستخدام تقنيات أخرى للتعلّم الآلي، بما في ذلك الشبكة العصبية أحادية الطبقة ، [ 7 ] والغابة العشوائية ، وآلة المتجهات الداعمة . [ 16 ] وبالاقتران مع التقنيات الموزعة، [ 17 ] يُمكن تحسين دقة ونطاق ربط السجلات بشكل أكبر.

ربط السجلات الهجينة بين الإنسان والآلة

غالبًا ما يتطلب ربط السجلات عالي الجودة نظامًا هجينًا بين الإنسان والآلة لإدارة عدم اليقين بأمان في تدفقات البيانات الضخمة المتغيرة باستمرار. [ 18 ] [ 19 ] وإدراكًا لانتشار أخطاء الربط في البيانات المرتبطة وتحليلها، تم اقتراح أنظمة ربط السجلات التفاعلية. يُعرَّف ربط السجلات التفاعلي بأنه قيام الأفراد بضبط نتائج الطرق الآلية بشكل متكرر، وإدارة عدم اليقين وانتشاره في التحليلات اللاحقة. [ 20 ] تتمثل الأهداف الرئيسية لأنظمة ربط السجلات التفاعلية في حل الروابط غير المؤكدة يدويًا والتحقق من صحة النتائج حتى تصل إلى مستويات مقبولة للتطبيق المحدد. كما تم اقتراح أنواع مختلفة من ربط السجلات التفاعلي تُعزز الخصوصية خلال خطوات التفاعل البشري. [ 21 ] [ 22 ]

ربط السجلات مع الحفاظ على الخصوصية

تزداد الحاجة إلى ربط السجلات بين قواعد البيانات التي تحتفظ بها منظمات مختلفة، حيث يمكن للبيانات التكميلية التي تحتفظ بها هذه المنظمات، على سبيل المثال، أن تساعد في تحديد المرضى المعرضين لبعض الآثار الجانبية للأدوية (ربط قواعد بيانات المستشفيات والأطباء والصيدليات). ومع ذلك، في العديد من هذه التطبيقات، تحتوي قواعد البيانات المراد ربطها على معلومات حساسة عن الأفراد لا يمكن مشاركتها بين المنظمات. [ 23 ]

طُوِّرت أساليب ربط السجلات مع الحفاظ على الخصوصية (PPRL) لربط قواعد البيانات دون الحاجة إلى مشاركة القيم الحساسة الأصلية بين المؤسسات المشاركة في عملية الربط. [ 24 ] [ 25 ] في PPRL، تُشفَّر قيم سمات السجلات المراد مقارنتها عادةً بطريقة ما. ومن تقنيات التشفير الشائعة مرشح بلوم ، [ 26 ] الذي يسمح بحساب أوجه التشابه التقريبية بين القيم المشفرة دون الحاجة إلى مشاركة القيم النصية الحساسة المقابلة. في نهاية عملية PPRL، لا تُكشف للمؤسسات المشاركة في عملية الربط إلا معلومات محدودة حول أزواج السجلات المصنفة على أنها متطابقة. يجب أن تضمن التقنيات المستخدمة في PPRL [ 24 ] عدم قدرة أي مؤسسة مشاركة، أو أي جهة خارجية معادية، على المساس بخصوصية الكيانات المُمثَّلة بالسجلات في قواعد البيانات التي يتم ربطها. [ 27 ]

النموذج الرياضي

في تطبيق يحتوي على ملفين، A و B، يُرمز إلى الصفوف ( السجلات ) بـα(أ){\displaystyle \alpha (a)}في الملف أ وβ(ب){\displaystyle \beta (b)}في الملف ب. تعيينك{\displaystyle K}لكل سجل خصائصه . وتُحدد مجموعة السجلات التي تُمثل كيانات متطابقة بواسطة

م={(أ،ب)؛أ=ب؛أ∈أ؛ب∈ب}{\displaystyle M=\left\{(a,b);a=b;a\in A;b\in B\right\}}

ومكمل المجموعةم{\displaystyle M}، أي مجموعةيو{\displaystyle U}يُعرَّف تمثيل الكيانات المختلفة على النحو التالي:

يو={(أ،ب)؛أ≠ب؛أ∈أ؛ب∈ب}{\displaystyle U=\{(a,b);a\neq b;a\in A;b\in B\}}.

متجه،γ{\displaystyle \gamma }يتم تعريفها بحيث تحتوي على الاتفاقات والاختلافات المشفرة بشأن كل خاصية:

γ[α(أ)،β(ب)]={γ1[α(أ)،β(ب)]،...،γك[α(أ)،β(ب)]}{\displaystyle \gamma \left[\alpha (a),\beta (b)\right]=\{\gamma ^{1}\left[\alpha (a),\beta (b)\right],...,\gamma ^{K}\left[\alpha (a),\beta (b)\right]\}}

أينك{\displaystyle K}هو رمز سفلي للخصائص (الجنس، العمر، الحالة الاجتماعية، إلخ) في الملفات. الاحتمالات الشرطية لملاحظة متجه معينγ{\displaystyle \gamma }منح(أ،ب)∈م{\displaystyle (a,b)\in M}،(أ،ب)∈يو{\displaystyle (a,b)\in U}تُعرَّف بأنها

م(γ)=P{γ[α(أ)،β(ب)]|(أ،ب)∈م}=∑(أ،ب)∈مP{γ[α(أ)،β(ب)]}⋅P[(أ،ب)|م]{\displaystyle m(\gamma )=P\left\{\gamma \left[\alpha (a),\beta (b)\right]|(a,b)\in M\right\}=\sum _{(a,b)\in M}P\left\{\gamma \left[\alpha (a),\beta (b)\right]\right\}\cdot P\left[(a,b)|M\right]}

و

u(γ)=P{γ[α(أ)،β(ب)]|(أ،ب)∈يو}=∑(أ،ب)∈يوP{γ[α(أ)،β(ب)]}⋅P[(أ،ب)|يو]،{\displaystyle u(\gamma )=P\left\{\gamma \left[\alpha (a),\beta (b)\right]|(a,b)\in U\right\}=\sum _{(a,b)\in U}P\left\{\gamma \left[\alpha (a),\beta (b)\right]\right\}\cdot P\left[(a,b)|U\right],} على التوالي. [ 6 ]

التطبيقات

إدارة البيانات الرئيسية

تستخدم معظم منتجات إدارة البيانات الرئيسية (MDM) عملية ربط السجلات لتحديد السجلات من مصادر مختلفة التي تمثل نفس الكيان الواقعي. يُستخدم هذا الربط لإنشاء "سجل رئيسي مرجعي" يحتوي على البيانات المنقحة والمُطابقة حول الكيان. التقنيات المستخدمة في إدارة البيانات الرئيسية هي نفسها المستخدمة في ربط السجلات بشكل عام. تتجاوز إدارة البيانات الرئيسية نطاق هذه المطابقة لإنشاء "سجل رئيسي مرجعي" فحسب، بل تمتد لتشمل استنتاج العلاقات (على سبيل المثال، إذا كان لدى شخص ما نفس اللقب أو لقب مشابه، ونفس العنوان أو عنوان مشابه، فقد يشير ذلك إلى أنهما يشتركان في نفس الأسرة).

تخزين البيانات وذكاء الأعمال

يلعب ربط السجلات دورًا محوريًا في مستودعات البيانات وذكاء الأعمال . تعمل مستودعات البيانات على دمج البيانات من أنظمة مصادر تشغيلية متعددة في نموذج بيانات منطقي واحد ، والذي يمكن بعد ذلك إدخاله في نظام ذكاء الأعمال لإعداد التقارير والتحليلات. قد يمتلك كل نظام مصدر تشغيلي طريقته الخاصة في تحديد الكيانات نفسها المستخدمة في نموذج البيانات المنطقي، لذا يصبح ربط السجلات بين المصادر المختلفة ضروريًا لضمان إمكانية مقارنة المعلومات المتعلقة بكيان معين في نظام مصدر ما بسلاسة مع المعلومات المتعلقة بالكيان نفسه من نظام مصدر آخر. غالبًا ما تتم عملية توحيد البيانات وربط السجلات اللاحقة في مرحلة "التحويل" من عملية استخراج البيانات وتحويلها وتحميلها (ETL).

البحث التاريخي

يُعدّ ربط السجلات أمرًا بالغ الأهمية لبحوث التاريخ الاجتماعي، إذ إنّ معظم مجموعات البيانات، كسجلات التعداد السكاني وسجلات الرعايا، سُجّلت قبل وقت طويل من ابتكار أرقام الهوية الوطنية . وعند رقمنة المصادر القديمة، يُصبح ربط مجموعات البيانات شرطًا أساسيًا للدراسات الطولية . وتتعقد هذه العملية غالبًا بسبب عدم وجود تهجئة موحدة للأسماء، وتغيّر أسماء العائلات تبعًا لمكان الإقامة، وتغيّر الحدود الإدارية، فضلًا عن صعوبة التحقق من البيانات بمقارنتها بمصادر أخرى. وقد كان ربط السجلات من أبرز المواضيع في مجال التاريخ والحوسبة في ثمانينيات القرن الماضي، إلا أنه حظي باهتمام أقل في البحوث منذ ذلك الحين.

الممارسة الطبية والبحث العلمي

يُعدّ ربط السجلات أداةً بالغة الأهمية في إنشاء البيانات اللازمة لدراسة صحة المجتمع ونظام الرعاية الصحية نفسه. ويمكن استخدامه لتحسين إدارة البيانات، وجمعها، وتقييم جودتها، ونشر المعلومات. كما يُمكن فحص مصادر البيانات لحذف السجلات المكررة، وتحديد حالات نقص الإبلاغ والحالات المفقودة (مثل تعداد السكان)، وإنشاء إحصاءات صحية مُوجّهة نحو الأفراد، وإنشاء سجلات الأمراض وأنظمة المراقبة الصحية. وتربط بعض سجلات السرطان مصادر بيانات متنوعة (مثل حالات دخول المستشفيات، وتقارير علم الأمراض والتقارير السريرية، وسجلات الوفيات) لإنشاء سجلاتها. ويُستخدم ربط السجلات أيضًا لإنشاء مؤشرات صحية. فعلى سبيل المثال، يُعدّ معدل وفيات الأجنة والرضع مؤشرًا عامًا للتنمية الاجتماعية والاقتصادية، والصحة العامة، وخدمات الأم والطفل في أي بلد. وإذا ما تمّت مطابقة سجلات وفيات الرضع مع سجلات المواليد، فمن الممكن استخدام متغيرات الولادة، مثل وزن الولادة وعمر الحمل، إلى جانب بيانات الوفيات، مثل سبب الوفاة، في تحليل البيانات. يمكن أن تساعد روابط البيانات في دراسات المتابعة للمجموعات أو غيرها من الفئات لتحديد عوامل مثل الحالة الصحية، ومكان الإقامة، أو النتائج الصحية. غالبًا ما يكون التتبع ضروريًا لمتابعة المجموعات الصناعية، والتجارب السريرية، والدراسات الاستقصائية الطولية لتحديد سبب الوفاة و/أو الإصابة بالسرطان. ومن الأمثلة على أنظمة ربط السجلات الناجحة والمستمرة التي تتيح إجراء البحوث الطبية على مستوى السكان، مشروع روتشستر لعلم الأوبئة ، ومقره روتشستر، مينيسوتا . [ 28 ]

انتقادات لتطبيقات البرمجيات الحالية

الأسباب الرئيسية المذكورة هي:

  • تكاليف المشروع : تتراوح التكاليف عادةً بمئات الآلاف من الدولارات
  • الوقت : عدم كفاية الوقت للتعامل مع برامج تنظيف البيانات واسعة النطاق
  • الأمن : مخاوف بشأن مشاركة المعلومات، ومنح تطبيق ما إمكانية الوصول عبر الأنظمة، وتأثير ذلك على الأنظمة القديمة
  • قابلية التوسع : نظراً لعدم وجود معرّفات فريدة في السجلات، فإن ربط السجلات مكلف حسابياً ويصعب توسيعه. [ 29 ]
  • الدقة : يُعد تغيير بيانات الأعمال وتحديد جميع قواعد الربط عملية شاقة ومعقدة.

انظر أيضاً

ملاحظات ومراجع

  1. ↑ "كريستين، بي آند تي: فبراير - ربط السجلات الطبية الحيوية القابل للتوسيع بحرية (دليل، الإصدار 0.3) ص 9" . مؤرشف من الأصل بتاريخ 11 مارس 2016. تم الاطلاع عليه بتاريخ 21 أبريل 2006 .
  2. ↑ إلماغارميد، أحمد؛ بانايوتيس ج. إيبيروتيس؛ فاسيليوس فيريكيوس (يناير 2007). "الكشف عن السجلات المكررة: دراسة استقصائية" (ملف PDF) . مجلة IEEE للمعاملات في هندسة المعرفة والبيانات . 19 (1): ص 1-16. رمز Bibcode : 2007ITKDE..19E0581E . doi : 10.1109/tkde.2007.250581 . S2CID 386036. تاريخ الاسترجاع: 30 مارس 2009 . 
  3. ↑ سينغلا، باراغ؛ دومينغوس، بيدرو (ديسمبر 2006). "حل الكيانات باستخدام منطق ماركوف" (ملف PDF) . المؤتمر الدولي السادس لاستخراج البيانات (ICDM'06) . الصفحات 572-582 . doi : 10.1109/ICDM.2006.65 . ISBN  9780769527024S2CID 12211870. تم الاسترجاع في 1 مارس 2023 . 
  4. ↑ دان، هالبرت ل. ( ديسمبر 1946). "ربط السجلات" . المجلة الأمريكية للصحة العامة . 36 (12): ص 1412-1416. doi : 10.2105/AJPH.36.12.1412 . PMC 1624512. PMID 18016455 .  
  5. ↑ نيوكومب، إتش بي؛ جيه إم كينيدي؛ إس جيه أكسفورد؛ إيه بي جيمس (أكتوبر 1959). "الربط التلقائي للسجلات الحيوية". مجلة ساينس . 130 (3381): 954-959 . رمز Bibcode : 1959Sci...130..954N . doi : 10.1126/science.130.3381.954 . PMID 14426783 . 
  6. 1 2 فيليجي، إيفان ؛ سونتر، آلان (ديسمبر 1969). "نظرية لربط السجلات" (ملف PDF) . مجلة الجمعية الإحصائية الأمريكية . 64 (328): ص 1183-1210. doi : 10.2307/2286061 . JSTOR 2286061 . 
  7. 1 2 3 ويلسون، د. راندال، د. راندال (31 يوليو - 5 أغسطس 2011). ما وراء ربط السجلات الاحتمالي: استخدام الشبكات العصبية والخصائص المعقدة لتحسين ربط سجلات الأنساب (ملف PDF) . وقائع المؤتمر الدولي المشترك حول الشبكات العصبية. سان خوسيه، كاليفورنيا، الولايات المتحدة الأمريكية.
  8. ↑ وينكلر، ويليام إي. "المطابقة وربط السجلات" (ملف PDF) . مكتب الإحصاء الأمريكي . تم الاطلاع عليه بتاريخ 12 نوفمبر 2011 .
  9. ↑ تشيرشز، تيم؛ بيتر كريستن؛ كيم ليم؛ جاستن شي تشو (13 ديسمبر 2002). "إعداد بيانات الاسم والعنوان لربط السجلات باستخدام نماذج ماركوف المخفية" . مجلة BMC للمعلوماتية الطبية واتخاذ القرارات . 2 9. doi : 10.1186/1472-6947-2-9 . PMC 140019. PMID 12482326 .  
  10. ↑ روس، إل إل؛ واجدا، أ (أبريل 1991). "استراتيجيات ربط السجلات. الجزء الأول: تقدير المعلومات وتقييم المناهج". أساليب المعلومات في الطب . 30 (2): 117-123 . doi : 10.1055/s-0038-1634828 . PMID 1857246. S2CID 23501719 .  
  11. ↑ غرانِس، إس. جيه.؛ أوفرهيج، جيه. إم.؛ ماكدونالد، سي. جيه. (2002). " تحليل أداء المعرّف باستخدام خوارزمية ربط حتمية" . وقائع ندوة الجمعية الأمريكية للمعلوماتية الطبية : 305-309 . PMC 2244404. PMID 12463836 .  
  12. 1 2 بلاكلي، توني؛ سالمون، كلير (ديسمبر 2002). "ربط السجلات الاحتمالي وطريقة لحساب القيمة التنبؤية الإيجابية" . المجلة الدولية لعلم الأوبئة . 31 (6): 1246-1252 . doi : 10.1093/ije/31.6.1246 . PMID 12540730 . 
  13. ↑ كواس، دالان، وستاركي، بول. " ربط السجلات لقواعد بيانات الأنساب "، ورشة عمل ACM SIGKDD '03 حول تنظيف البيانات وربط السجلات وتوحيد الكائنات، 24-27 أغسطس 2003، واشنطن العاصمة
  14. ↑ لانغلي، بات، واين إيبا، وكيفن طومسون. " تحليل المصنفات البايزية "، في وقائع المؤتمر الوطني العاشر حول الذكاء الاصطناعي، (AAAI-92)، مطبعة AAAI/مطبعة MIT، كامبريدج، ماساتشوستس، ص 223-228، 1992.
  15. ↑ ميتشي، د.؛ شبيغلهالتر، د.؛ تايلور، س. (1994). التعلم الآلي، والتصنيف العصبي والإحصائي . هيرتفوردشاير، إنجلترا: إليس هوروود. ISBN 0-13-106360-X.
  16. ↑ رامزاني، م.؛ إيلانغوفان، ج.؛ كوم، هـ.س. (2021). تقييم خوارزميات التعلم الآلي في نظام ربط سجلات هجين بين الإنسان والحاسوب (ملف PDF) . المجلد 2846. وقائع ورشة عمل CEUR. 
  17. ↑ "المطابقة التقريبية مع سبارك" . قمة سبارك. 17 يوليو 2014.
  18. ↑ برونشتاين، جانيت م.؛ لوماتش، تشارلز ت.؛ فليتشر، ديفيد؛ ووتين، تيري؛ لين، تساي مي؛ نوجنت، ريتشارد؛ لوري، كورتيس ل. (1 مايو 2008). "مشكلات وتحيزات في مطابقة حالات الحمل في برنامج ميديكيد مع بيانات السجلات الحيوية: تجربة أركنساس" . مجلة صحة الأم والطفل . 13 (2): 250-259 . doi : 10.1007/s10995-008-0347-z . ISSN 1092-7875 . PMID 18449631. S2CID 22259447 .   
  19. ↑ بوسكو، فرانسيس ب.؛ شراج، ديبورا؛ تشين، كون؛ روهان، باتريك ج.؛ شيمورا، ماريا ج. (15 ديسمبر 2010). " بناء القدرات لتقييم رعاية مرضى السرطان في برنامج ميديكيد في ولاية نيويورك" . بحوث الخدمات الصحية . 46 (3): 805-820 . doi : 10.1111/j.1475-6773.2010.01221.x . ISSN 0017-9124 . PMC 3087842. PMID 21158856 .   
  20. ↑ كوم، هاي-تشونغ؛ كريشنامورثي، أشوك؛ ماشانافاجالا، أشوين؛ رايتر، مايكل ك؛ أهالت، ستانلي (مارس 2014). "ربط السجلات التفاعلي مع الحفاظ على الخصوصية (PPIRL)" . مجلة الجمعية الأمريكية للمعلوماتية الطبية . 21 (2): 212-220 . doi : 10.1136/amiajnl-2013-002165 . ISSN 1067-5027 . PMC 3932473. PMID 24201028 .   
  21. ↑ كوم، إتش سي؛ راغان، إي؛ إيلانغوفان، جي؛ رامزاني، إم؛ لي، كيو؛ شميت، سي. (2019). تعزيز الخصوصية من خلال واجهة تفاعلية للكشف التدريجي عن المعلومات عند الطلب: تطبيق مبدأ الخصوصية بالتصميم على ربط السجلات (ملف PDF) . الندوة الخامسة عشرة حول الخصوصية والأمان القابلين للاستخدام (SOUPS). الصفحات 175-189 . ISBN  978-1-939133-05-2.
  22. ↑ راغان، إريك د.؛ كوم، هاي-تشونغ؛ إيلانغوفان، غوروديف؛ وانغ، هان (21-04-2018). "موازنة الخصوصية والإفصاح عن المعلومات في ربط السجلات التفاعلي مع الإخفاء البصري" . وقائع مؤتمر CHI لعام 2018 حول العوامل البشرية في أنظمة الحوسبة . نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM. الصفحات 1-12 . doi : 10.1145/3173574.3173900 . ISBN  9781450356206. S2CID 5051254 . 
  23. ↑ فاتسالان، د؛ سهيلي، ز؛ كريستن، ب؛ رحم، إ (2017). "ربط السجلات مع الحفاظ على الخصوصية للبيانات الضخمة: المناهج الحالية وتحديات البحث" . دليل تقنيات البيانات الضخمة . ص 851-895 . doi : 10.1007/978-3-319-49340-4_25 . hdl : 1885/247396 . ISBN  978-3-319-49339-8.
  24. 1 2 كريستن، ب؛ رانبادوج، ت؛ شنيل، ر (2020). ربط البيانات الحساسة: أساليب وتقنيات لمشاركة المعلومات العملية مع الحفاظ على الخصوصية . هايدلبرغ: سبرينغر. doi : 10.1007/978-3-030-59706-1 . ISBN 978-3-030-59706-1. S2CID 222821833 . 
  25. ↑ غكولالاس-ديفانيس، أ؛ فاتسالان، د؛ كارابيبيريس، د؛ كانتارسي أوغلو، م (2021). "تقنيات ربط السجلات الحديثة التي تحافظ على الخصوصية: نظرة عامة". معاملات IEEE في الطب الشرعي وأمن المعلومات . 16 : 4966-4987 . Bibcode : 2021ITIF...16.4966G . doi : 10.1109/TIFS.2021.3114026 . S2CID 239088979 . 
  26. ↑ شنيل، ر؛ باختيلر، ت؛ رايهر، ج (2009). "ربط السجلات مع الحفاظ على الخصوصية باستخدام مرشحات بلوم" . مجلة BMC للمعلوماتية الطبية واتخاذ القرارات . 9 41. doi : 10.1186/1472-6947-9-41 . PMC 2753305. PMID 19706187 .  
  27. ↑ فيداناج، أ. (2022). تقنيات تحليل التشفير الفعالة لربط السجلات مع الحفاظ على الخصوصية (أطروحة). كانبرا: الجامعة الوطنية الأسترالية. doi : 10.25911/VSBZ-A727 . hdl : 1885/254502 .
  28. ↑ سانت سوفر جيه إل؛ غروساردت بي آر؛ ياون بي بي؛ ميلتون إل جيه الثالث؛ بانكراتز جيه جيه؛ برو إس إم؛ روكا دبليو إيه (2012). " ملف تعريف مصدر البيانات: نظام ربط السجلات الطبية لمشروع روتشستر لعلم الأوبئة (REP)" . المجلة الدولية لعلم الأوبئة . 41 (6): 1614-24 . doi : 10.1093/ije/dys195 . PMC 3535751. PMID 23159830 .  {{cite journal}}: صيانة CS1: الأسماء الرقمية: قائمة المؤلفين ( رابط )
  29. ↑ "حل الكيانات على نطاق واسع" . 14 فبراير 2020.