التحكم في الإفصاح الإحصائي

📅 آخر تحديث: ٣ أغسطس ٢٠٢٦
✍️ نُشر في: ٣ أغسطس ٢٠٢٦
الموسوعة الحرة

التحكم في الإفصاح الإحصائي ( SDC )، المعروف أيضًا باسم الحد من الإفصاح الإحصائي ( SDL ) أو تجنب الإفصاح ، هو أسلوب يُستخدم في البحوث القائمة على البيانات لضمان عدم إمكانية تحديد هوية أي شخص أو مؤسسة من نتائج تحليل بيانات الاستبيانات أو البيانات الإدارية، أو عند نشر البيانات الجزئية . يهدف التحكم في الإفصاح الإحصائي إلى حماية سرية المستجيبين والمشاركين في البحث. [ 1 ]

يشير مصطلح SDC عادةً إلى "SDC الناتج"، أي ضمان عدم كشف أي معلومات سرية عن المستجيبين في الجداول أو الرسوم البيانية المنشورة. كما يمكن أن يصف SDC أساليب الحماية المطبقة على البيانات، مثل إزالة الأسماء والعناوين، والحد من القيم المتطرفة، أو استبدال الملاحظات الإشكالية. ويُشار إلى هذا أحيانًا باسم "SDC المدخل"، ولكنه يُعرف بشكل أكثر شيوعًا باسم إخفاء الهوية ، أو إزالة التعريف ، أو حماية البيانات الجزئية.

تتناول الكتب الدراسية (مثل كتاب "التحكم في الإفصاح الإحصائي" [ 2 ] ) عادةً التحكم في الإفصاح الإحصائي للمدخلات وحماية البيانات الجدولية (ولكن ليس جوانب أخرى من التحكم في الإفصاح الإحصائي للمخرجات). ويعود ذلك إلى أن هاتين المشكلتين تهمان بشكل مباشر الهيئات الإحصائية التي دعمت تطوير هذا المجال. [ 3 ] أما بالنسبة للبيئات التحليلية، فقد استُخدمت قواعد المخرجات التي وُضعت للهيئات الإحصائية بشكل عام إلى أن بدأ مديرو البيانات بالمطالبة بقواعد محددة للتحكم في الإفصاح الإحصائي للمخرجات لأغراض البحث. [ 4 ]

تركز هذه الصفحة على مخرجات SDC.

ضرورة

تستخدم العديد من أنواع البحوث الاجتماعية والاقتصادية والصحية بيانات حساسة محتملة كأساس لأبحاثها، مثل بيانات المسح أو التعداد السكاني ، والسجلات الضريبية، والسجلات الصحية، والمعلومات التعليمية، وما إلى ذلك. وعادة ما يتم تقديم هذه المعلومات بسرية، وفي حالة البيانات الإدارية ، ليس دائمًا لغرض البحث.

لا يهتم الباحثون عادةً بالمعلومات المتعلقة بشخص أو شركة بعينها، بل يبحثون عن اتجاهات بين مجموعات أكبر من الناس. [ 5 ] ومع ذلك، فإن البيانات التي يستخدمونها مرتبطة في المقام الأول بأفراد وشركات، وتضمن SDC عدم إمكانية تحديد هويتهم من البيانات المنشورة، مهما بلغت تفاصيلها أو اتساع نطاقها. [ 6 ]

من الممكن أن يُحدد الباحث، في نهاية تحليل البيانات ، شخصًا أو مؤسسةً بعينها من خلال بحثه. على سبيل المثال، قد يُحدد الباحث جودة الخدمة الاستثنائية، سواءً كانت جيدة أو سيئة، في قسم طب الشيخوخة بمستشفى في منطقة نائية، حيث لا يوجد سوى مستشفى واحد يُقدم هذه الرعاية. في هذه الحالة، يكشف تحليل البيانات عن هوية المستشفى، حتى لو كانت مجموعة البيانات المستخدمة في التحليل قد خضعت لعملية إخفاء الهوية أو إزالة البيانات التعريفية بشكل صحيح.

تُحدد ضوابط الإفصاح الإحصائي مخاطر الإفصاح هذه وتضمن تعديل نتائج التحليل لحماية السرية. [ 7 ] ويتطلب ذلك تحقيق توازن بين حماية السرية وضمان أن تظل نتائج تحليل البيانات مفيدة للبحث الإحصائي . [ 8 ]

مخرجات SDC: النماذج الإحصائية

يعتمد إخراج SDC على وجود مجموعة من القواعد التي يمكن لمدقق الإخراج اتباعها؛ على سبيل المثال، أن يحتوي جدول التكرار على حد أدنى من المشاهدات، أو أن جداول البقاء يجب أن تخضع للرقابة اليمنى للقيم المتطرفة. وقد نوقشت قيمة وعيوب قواعد جداول التكرار والحجم بشكل موسع منذ أواخر القرن العشرين. ومع ذلك، ومع تزايد الوعي بالحاجة إلى قواعد لأنواع أخرى من التحليلات، تبرز الحاجة إلى نهج أكثر تنظيمًا.

إحصائيات "آمن" و"غير آمن"

تتضمن بعض المخرجات الإحصائية، مثل جداول التكرار، مستوى عالٍ من المخاطر الكامنة: كالتفريق، وانخفاض الأعداد، والكشف عن الفئات. لذا، يجب فحصها قبل نشرها، ويفضل أن يقوم بذلك شخص لديه فهم للبيانات، لضمان عدم وجود أي مخاطر جوهرية عند النشر. تُعرف هذه باسم "الإحصاءات غير الآمنة". مع ذلك، توجد بعض الإحصاءات، مثل معاملات النمذجة، التي لا تنطوي على أي مخاطر جوهرية، وبالتالي يمكن نشرها دون مزيد من الفحوصات. تُسمى هذه "الإحصاءات الآمنة". من خلال فصل الإحصاءات إلى "آمنة" و"غير آمنة"، يمكن تركيز عمليات فحص المخرجات على الأخيرة، مما يُحسّن كلاً من الأمان والكفاءة. [ 4 ]

يُعدّ هذا الأمر أقل أهمية بالنسبة للإحصاءات الرسمية، حيث تهيمن الإحصاءات "غير الموثوقة" كالأعداد والمتوسطات والوسائط والمؤشرات البسيطة على المخرجات. مع ذلك، يُعدّ هذا الأمر بالغ الأهمية بالنسبة للمخرجات البحثية، إذ إنّ جزءًا كبيرًا منها (لا سيما التقديرات وإحصاءات الاختبار) يُعتبر "موثوقًا" بطبيعته.

حظائر إحصائية أو حظائر إحصائية

يُعدّ نموذج الأمان/عدم الأمان مفيدًا، ولكنه محدود بفئتين بسيطتين؛ وضمن هاتين الفئتين، تتألف إرشادات إدارة البيانات الإحصائية في الغالب من قوائم طويلة من الإحصاءات وكيفية التعامل معها. في عام 2023، شرع مشروع SACRO (https://dareuk.org.uk/driver-project-sacro/) في مراجعة المجال بأكمله، والبحث عن إمكانية استحداث نظام تصنيف أكثر فائدة. وكانت النتيجة مفهوم "الحظيرة الإحصائية" (أو "statbarn"). [ 9 ]

يُعدّ "مخزن الإحصاءات" تصنيفًا للإحصاءات لأغراض التحكم في الإفصاح، حيث تشترك جميع الإحصاءات في تلك الفئة في نفس الخصائص فيما يتعلق بالتحكم في الإفصاح:

  • شكلها الرياضي متشابه
  • إنهم يتشاركون نفس المخاطر
  • يتشاركون نفس الاستجابات لتلك المخاطر
  • تُطبق قواعد فحص المخرجات على الجميع.

اعتبارًا من مارس 2024، تم تحديد 14 statbarns، مع وصف 12 منها لفاحصي الإخراج: [ 10 ]

  • الترددات
  • اختبارات الفرضيات الإحصائية
  • معاملات الارتباط
  • الموقع (الوسيط، المدى الربيعي، إلخ)
  • القيم القصوى (الحد الأقصى، الحد الأدنى)
  • شكل
  • الركام الخطي
  • وضع
  • نسب التركيز غير الخطية
  • نسب الاحتمالات والمخاطر
  • جداول النجاة
  • معاملات جيني

تغطي هذه الأدوات جميع أنواع الإحصاءات تقريبًا، بما في ذلك معظم أشكال الرسوم البيانية، حيث يمكن تحويل الرسم البياني إلى جدول إحصائي مناسب (على سبيل المثال، يُعد الرسم البياني الدائري شكلًا آخر من جداول التكرار). يوفر دليل SACRO إرشادات حول ما يجب الانتباه إليه، والقواعد المتبعة للتحقق. يتوفر جدول مقارنة بين statstistcs/graphs وstatbarns على موقع outputchecking.org .

مخرج SDC: نماذج التشغيل

هناك منهجان رئيسيان لإخراج بيانات SDC: المنهج القائم على المبادئ والمنهج القائم على القواعد. [ 11 ] في الأنظمة القائمة على المبادئ، تسعى ضوابط الإفصاح إلى الالتزام بمجموعة محددة من المبادئ الأساسية، على سبيل المثال: "لا يجوز الكشف عن هوية أي شخص في البيانات الجزئية المنشورة". [ 12 ] أما الأنظمة القائمة على القواعد، فتتميز بمجموعة محددة من القواعد التي يتبعها الشخص المسؤول عن ضوابط الإفصاح (على سبيل المثال: "يجب أن يستند أي تكرار إلى خمس ملاحظات على الأقل")، وبعد ذلك يُفترض أن البيانات آمنة للنشر. عمومًا، تعتمد الإحصاءات الرسمية على القواعد، بينما تميل بيئات البحث إلى أن تكون قائمة على المبادئ.

في بيئات البحث، يمكن أن يكون لاختيار نظام فحص المخرجات آثار تشغيلية كبيرة. [ 13 ]

SDC القائم على القواعد

في أنظمة إدارة البيانات الإحصائية القائمة على القواعد، تُستخدم مجموعة صارمة من القواعد لتحديد إمكانية نشر نتائج تحليل البيانات. تُطبق هذه القواعد باستمرار، مما يُوضح أنواع المخرجات المقبولة. تُعد الأنظمة القائمة على القواعد مثالية لضمان الاتساق عبر الزمن، وعبر مصادر البيانات، وبين فرق الإنتاج، مما يجعلها جذابة للهيئات الإحصائية. [ 13 ] كما تُناسب هذه الأنظمة منصات العمل عن بُعد مثل microdata.no أو Lissy .

مع ذلك، ونظرًا لعدم مرونة القواعد، فقد تتسرب معلومات حساسة، أو قد تكون القواعد مقيدة للغاية ولا تسمح إلا بنتائج عامة جدًا بحيث لا يمكن نشر تحليل مفيد لها. [ 11 ] عمليًا، قد تضطر بيئات البحث التي تستخدم أنظمة قائمة على القواعد إلى إدخال مرونة في الأنظمة "المخصصة". [ 13 ]

تعتمد وكالة الإحصاء والبحوث في أيرلندا الشمالية (NISRA) نهجاً قائماً على القواعد في نشر الإحصاءات ونتائج البحوث. [ 14 ]

التنمية المستدامة القائمة على المبادئ

في منهجية التحقق من سلامة البيانات القائمة على المبادئ، يتلقى كل من الباحث ومدقق المخرجات تدريبًا متخصصًا. ويحصلان على مجموعة من القواعد، وهي قواعد إرشادية وليست قواعد صارمة كما في منهجية التحقق من سلامة البيانات القائمة على القواعد. وهذا يعني أنه من حيث المبدأ، يمكن الموافقة على أي مخرج أو رفضه. تُعد هذه القواعد الإرشادية نقطة انطلاق للباحث، حيث يمكنه طلب مخرجات تخالف هذه القواعد الإرشادية بشرط أن تكون (1) غير قابلة للكشف، (2) مهمة، و(3) استثنائية. [ 15 ] يقع على عاتق الباحث إثبات أن أي مخرجات "غير آمنة" غير قابلة للكشف، ولكن القرار النهائي يعود للمدقق. ونظرًا لعدم وجود قواعد صارمة، يتطلب هذا معرفة بمخاطر الكشف وحُكمًا سليمًا من كل من الباحث والمدقق. كما يتطلب تدريبًا وفهمًا للإحصاء وتحليل البيانات، [ 11 ] على الرغم من أنه قد طُرحت [ 13 ] فكرة أن هذا قد يُسهم في جعل العملية أكثر كفاءة من النموذج القائم على القواعد.

في المملكة المتحدة، تستند جميع بيئات البحث الآمنة الرئيسية في العلوم الاجتماعية والصحة العامة، باستثناء أيرلندا الشمالية، إلى مبادئ محددة. ويشمل ذلك خدمة البيانات الآمنة التابعة لهيئة بيانات المملكة المتحدة ، [ 16 ] وخدمة البحث الآمنة التابعة لمكتب الإحصاءات الوطنية ، والملاذات الآمنة الاسكتلندية، وربط المعلومات الآمنة المجهولة (SAIL)، و OpenSAFELY .

الانتقادات

لقد ثبت أن العديد من تقنيات التحكم في الكشف الإحصائي المعاصرة، مثل التعميم وكبت الخلايا، عرضة للهجوم من قبل متسلل افتراضي للبيانات. على سبيل المثال، أوضح كوكس في عام 2009 أن كبت الخلايا التكميلية يؤدي عادةً إلى حلول "مفرطة الحماية" بسبب الحاجة إلى كبت كل من الخلايا الأساسية والتكميلية، وحتى مع ذلك، قد يؤدي إلى اختراق البيانات الحساسة عند الإبلاغ عن فترات زمنية دقيقة. [ 17 ]

العديد من القواعد تعسفية وتعكس عدم رغبة مالك البيانات في الاختلاف، بدلاً من كونها تستند إلى أدلة قوية. على سبيل المثال، أوضح ريتشي [ 18 ] أن اختيار الحد الأدنى يعتمد بشكل أكبر على رغبة المنظمة في التوافق مع غيرها من المنظمات أكثر من أي أساس إحصائي.

يتمثل النقد الأكثر جوهرية في أن النماذج النظرية المستخدمة لاستكشاف تدابير المكافحة غير مناسبة لتكون بمثابة أدلة للعمل العملي. [ 19 ] يقدم هافنر وآخرون مثالاً عملياً يوضح كيف يمكن لتغيير المنظور أن يُحدث نتائج مختلفة بشكل كبير. [ 3 ]

نماذج الإخراج SDC و AI

تُشكّل نماذج الذكاء الاصطناعي والتعلم الآلي مخاطر مختلفة عند التحقق من المخرجات. [ 20 ] قدّم مشروع GRAIMATTER (https://dareuk.org.uk/sprint-exemplar-project-graimatter/) بعض التوجيهات الأولية والأدوات الآلية. جرى توسيع هذه الأدوات وتبسيطها كجزء من مشروع SACRO (انظر أدناه)، وأُضيفت المزيد من الإرشادات لموظفي خدمات البيانات. لا يزال هذا المجال سريع التطور. تتولى شبكة مجتمع SDC-REBOOT (https://www.jiscmail.ac.uk/cgi-bin/webadmin?A0=SDC-REBOOT) حاليًا تنسيق التطوير المستمر للأدوات والإرشادات.

الأدوات الآلية

تتطلب عملية التحقق من المخرجات عادةً جهداً بشرياً كبيراً، إذ تستلزم وجود محللين قادرين على فهم ما يشاهدونه واتخاذ قرار بشأن نشر المخرجات. ولذلك، ثمة اهتمام كبير بالتحقق الآلي. وقد استعرض تقرير بتكليف من يوروستات [ 21 ] خيارات التحقق من المخرجات، والتي تنحصر في الغالب في خيارين:

  • مراجعة نهاية العملية (EoPR): هي تدريب الحاسوب على تحليل المخرجات وفهم دلالاتها. تتميز هذه الطريقة بعدم الحاجة إلى تدريب إضافي للباحث. مع ذلك، قد يصعب شرح ما يحلله النظام الآلي، مما قد يستغرق وقتًا أطول من مراجعة المخرجات يدويًا. تُعدّ كل من tauArgus و sdcTable مثالًا على مراجعة نهاية العملية.
  • مراجعة أثناء العملية (WPR): يتم استدعاء أداة فحص المخرجات في نفس وقت إنشاء المخرجات، ولديها إمكانية الوصول إلى البيانات المصدرية؛ لذلك، لا حاجة لشرح كيفية إنشاء المخرجات. من عيوب هذا الأسلوب أنه قد يُبطئ أوقات المعالجة، ويتطلب تضمين التحليل للأوامر اللازمة لتشغيل أداة فحص المخرجات. مع ذلك، فإن الميزة الرئيسية هي عدم الحاجة إلى تعريف الأداة بالبيانات.

tauArgus و sdcTable

تُعدّ كلٌّ من tau-Argus و sdcTable أدوات مفتوحة المصدر مؤتمتة بالكامل لحماية البيانات الجدولية (جداول التردد والحجم). وهي مصممة للعمل مع جداول متعددة. يتطلب الأمر إعداد بيانات وصفية تُبيّن المخرجات ومعايير التحكم. تُزوّد ​​هذه الأدوات مدققي المخرجات بمعلومات شاملة حول المشكلات المحتملة، بما في ذلك الكشف الثانوي عبر الجداول. كما يمكنها تنفيذ إجراءات تصحيحية، بدءًا من الحجب والتقريب البسيط وصولًا إلى الحجب الثانوي والتقريب الجدولي المُتحكّم به. ولا تتعامل هذه الأدوات مع المخرجات غير الجدولية.

نظراً للحاجة إلى إعادة كتابة البيانات الوصفية لكل جدول، فإن هذه الأدوات غير مناسبة للاستخدام البحثي. مع ذلك، في الإحصاءات الرسمية، حيث تُنشأ الجداول نفسها بشكل متكرر، وحيث يُعتبر التفاضل الثانوي مشكلةً جوهرية، يُمكن أن يكون الاستثمار في إعداد هذه الأدوات فعالاً من حيث التكلفة.

البرنامج لكلا البرنامجين مفتوح المصدر على GitHub https://github.com/sdcTools/tauargus و CRAN https://cran.r-project.org/web/packages/sdcTable/

مقدس

SACRO (التحقق شبه الآلي من مخرجات البحث) هي أداة تابعة لمكتب أبحاث السياسات العامة (WPR)، طُورت في الأصل (ACRO) من قِبل يوروستات عام 2020 كنموذج أولي لإثبات إمكانية تطوير أداة عامة للتحقق من المخرجات. [ 22 ] في عام 2023، كلف مجلس البحوث الطبية في المملكة المتحدة بتطوير نسخة معممة (SACRO) تعمل مع لغات برمجة متعددة (اعتبارًا من عام 2024: Stata وR وPython) وتوفر واجهة استخدام أكثر سهولة. [ 23 ] تُطبق SACRO نموذج statbarns مباشرةً وتعتمد على المبادئ؛ لذا فهي "شبه آلية" لأنها تسمح للمستخدمين بطلب استثناءات، كما تسمح لمدققي المخرجات بتجاوز التوصيات الآلية. وتخطط جميع مرافق العلوم الاجتماعية الآمنة في المملكة المتحدة، ومعظم مرافق الصحة العامة الآمنة، لاعتمادها.

يتوفر البرنامج على GitHub على الرابط https://github.com/AI-SDC ، والذي يحتوي أيضًا على روابط إلى ACRO الأصلي وأدوات لتقييم نماذج الذكاء الاصطناعي.

انظر أيضاً

مراجع

  1. ↑ سكينر، كريس (2009). "التحكم في الإفصاح الإحصائي لبيانات المسح" (ملف PDF) . دليل الإحصاء، المجلد 29أ: المسوحات العينية: التصميم والأساليب والتطبيقات . دليل الإحصاء. 29 : 381-396 . doi : 10.1016/S0169-7161(08)00015-1 . ISBN 978-0-444-53124-7تم الاطلاع عليه بتاريخ 8 مارس 2016 .
  2. ↑ "المراجع"، التحكم في الإفصاح الإحصائي ، تشيتشستر، المملكة المتحدة: جون وايلي وأولاده المحدودة، 2012-07-05، الصفحات 261-277 ، doi : 10.1002/9781118348239.refs ، ISBN  978-1-118-34823-9
  3. هافنر ، هانز-بيتر؛ لينز، راينر؛ ريتشي، فيليكس (1 يناير 2019). " تحديد التهديدات المرتكز على المستخدم للبيانات الجزئية المجهولة" (ملف PDF) . المجلة الإحصائية للرابطة الدولية لعلوم الأنظمة . 35 (4): 703-713 . doi : 10.3233/SJI-190506 . ISSN 1874-7655 . S2CID 55976703 .  
  4. 1 2 ريتشي، فيليكس (2007). الكشف عن الإفصاح في بيئات البحث من الناحية العملية. ورقة بحثية قُدِّمت في جلسة عمل اللجنة الاقتصادية لأوروبا التابعة للأمم المتحدة/يوروستات حول سرية البيانات الإحصائية .
  5. ↑ "ADRN » نتائج آمنة" . adrn.ac.uk. تم الاطلاع عليه بتاريخ 2016-03-08 . 
  6. ↑ "الخدمات الإحصائية الحكومية: مراقبة الإفصاح الإحصائي" . تم الاطلاع عليه بتاريخ 8 مارس 2016 .
  7. ↑ تيمبل، ماتياس؛ وآخرون (2014). "الشبكة الدولية لمسح الأسر المعيشية" (ملف PDF) . ورقة عمل IHSN . تم الاطلاع عليها في 8 مارس 2016 . 
  8. ↑ "أرشيف: ضوابط الإفصاح الإحصائي لمكتب الإحصاءات الوطنية". مكتب الإحصاءات الوطنية. مؤرشف من الأصل بتاريخ 5 يناير 2016. تم الاطلاع عليه بتاريخ 8 مارس 2016 .
  9. ↑ غرين، إليزابيث؛ ريتشي، فيليكس؛ وايت، بول (2024). "مخزن البيانات الإحصائية: نموذج جديد للتحكم في الإفصاح الإحصائي عن المخرجات" . في: دومينغو-فيرير، جوزيب؛ أونين، ملك (محرران). الخصوصية في قواعد البيانات الإحصائية . سلسلة محاضرات في علوم الحاسوب. المجلد 14915. تشام: سبرينغر نيتشر سويسرا. الصفحات 284-293 . doi : 10.1007/978-3-031-69651-0_19 . ISBN   978-3-031-69651-0.
  10. ↑ فيليكس، ريتشي؛ غرين، إليزابيث؛ سميث، جيم؛ تيلبروك، إيمي؛ وايت، بول (30-10-2023). دليل SACRO للتحقق من المخرجات الإحصائية (تقرير فني). doi : 10.5281/zenodo.10054629 .
  11. ريتشي ، فيليكس؛ إليوت، مارك (2015). "التحكم في الإفصاح الإحصائي للمخرجات القائم على المبادئ مقابل القواعد في بيئات الوصول عن بُعد" (ملف PDF) . مجلة IASSIST الفصلية . 39 (2): 5-13 . doi : 10.29173/iq778 . S2CID 59043893. تاريخ الاسترجاع: 8 مارس 2016 . 
  12. ↑ ريتشي، فيليكس (2009-01-01). "ممارسات المملكة المتحدة في نشر البيانات الجزئية الرسمية" . المجلة الإحصائية للمعهد الدولي للإحصاءات التشغيلية . 26 (3، 4): 103-111 . doi : 10.3233/SJI-2009-0706 . ISSN 1874-7655 . 
  13. 1 2 3 4 ألفيس، كايل؛ ريتشي، فيليكس (25-11-2020). "العدائين، والمكررين، والغرباء، والأجانب: تفعيل التحكم الفعال في الإفصاح عن المخرجات" . المجلة الإحصائية للرابطة الدولية للإحصاءات الرسمية . 36 (4): 1281-1293 . doi : 10.3233/SJI-200661 . S2CID 209455141 . 
  14. ↑ "تعداد 2001 - المنهجية" (ملف PDF) . وكالة الإحصاء والبحوث في أيرلندا الشمالية. 2001. تم الاطلاع عليه بتاريخ 8 مارس 2016 .
  15. ↑ مكتب الإحصاءات الوطنية. "تدريب الباحثين على السلامة" .
  16. ↑ أفخماي، رضا؛ وآخرون (2013). "ممارسات التحكم في الإفصاح الإحصائي في الوصول الآمن لخدمة البيانات في المملكة المتحدة" (ملف PDF) . اللجنة الاقتصادية لأوروبا التابعة للأمم المتحدة . تاريخ الاسترجاع: 8 مارس 2016 . 
  17. ↑ لورانس هـ. كوكس، قابلية تثبيط الخلايا التكميلية للهجوم من قبل المتسللين، مجلة الخصوصية والسرية (2009) 1، العدد 2، الصفحات 235-251 http://repository.cmu.edu/jpc/vol1/iss2/8/
  18. ↑ ريتشي، فيليكس (2022). "الرقم 10 هو الرقم الأكثر أمانًا على الإطلاق" . معاملات خصوصية البيانات . 15 (2): 109-140 .
  19. ↑ ريتشي، فيليكس؛ هافنر، هانز-بيتر؛ لينز، راينر؛ ويلبتون، ريتشارد (18-10-2018). الوصول إلى البيانات القائم على الأدلة، والمفتوح افتراضيًا، والمُدار وفقًا للمخاطر، والمُركّز على المستخدم . مؤتمر أصحاب المصلحة في الإحصاءات الأوروبية. بامبرغ.
  20. ↑ ريتشي، فيليكس؛ تيلبروك، إيمي؛ كول، كريستيان؛ جيفرسون، إميلي؛ كروجر، سوزان؛ منصوري بنساسي، إسما؛ روجرز، سيمون؛ سميث، جيم (14 ديسمبر 2023). "نماذج التعلم الآلي في بيئات بحثية موثوقة - فهم المخاطر التشغيلية" . المجلة الدولية لعلوم بيانات السكان . 8 (1): 2165. doi : 10.23889/ijpds.v8i1.2165 . ISSN 2399-4908 . PMC 10898318. PMID 38414545 .   
  21. ↑ غرين، إليزابيث؛ ريتشي، فيليكس؛ سميث، جيمس (2020-05-31). فهم فحص المخرجات (تقرير فني).
  22. ↑ يوروستات (المفوضية الأوروبية)؛ غرين، إليزابيث؛ سميث، جيمس؛ ريتشي، فيليكس (2021). التحقق الآلي من مخرجات البحث (ACRO): أداة للتحقق الديناميكي من الإفصاح : إصدار 2021. LU: مكتب منشورات الاتحاد الأوروبي. doi : 10.2785/75954 . ISBN  978-92-76-41529-9.
  23. ↑ سميث، جيم؛ برين، ريتشارد؛ وآخرون . (2023-09-26). ساكرو: التحقق شبه الآلي من مخرجات البحث . اجتماع خبراء اللجنة الاقتصادية لأوروبا التابعة للأمم المتحدة بشأن سرية البيانات الإحصائية. فيسبادن.