العدالة (التعلم الآلي)

📅 آخر تحديث: ١ أغسطس ٢٠٢٦
✍️ نُشر في: ١ أغسطس ٢٠٢٦
📷 يحتوي على 96 صور
الموسوعة الحرة

يشير مفهوم العدالة في التعلم الآلي إلى مختلف المحاولات الرامية إلى تصحيح التحيز الخوارزمي في عمليات اتخاذ القرار الآلية القائمة على نماذج التعلم الآلي. وقد تُعتبر القرارات التي تتخذها هذه النماذج بعد عملية التعلم غير عادلة إذا استندت إلى متغيرات تُعتبر حساسة (مثل الجنس، أو العرق، أو الميول الجنسية، أو الإعاقة).

كما هو الحال مع العديد من المفاهيم الأخلاقية ، قد تكون تعريفات العدالة والتحيز مثيرة للجدل. وبشكل عام، تُعتبر العدالة والتحيز ذات صلة عندما تؤثر عملية اتخاذ القرار على حياة الناس.

بما أن القرارات التي تتخذها الآلات قد تتأثر بمجموعة من العوامل، فقد تُعتبر غير عادلة تجاه فئات أو أفراد معينين. ومن الأمثلة على ذلك الطريقة التي تُقدّم بها مواقع التواصل الاجتماعي الأخبار المُخصصة للمستخدمين.

سياق

يُعدّ النقاش حول العدالة في التعلّم الآلي موضوعًا حديثًا نسبيًا. ومنذ عام 2016، شهدت الأبحاث في هذا المجال ازديادًا ملحوظًا. [ 1 ] يُعزى هذا الازدياد جزئيًا إلى تقريرٍ مؤثرٍ نشرته مؤسسة ProPublica، والذي زعم أن برنامج COMPAS ، المستخدم على نطاق واسع في المحاكم الأمريكية للتنبؤ بالعودة إلى الإجرام ، ينطوي على تحيّز عنصري. [ 2 ] ومن بين المواضيع البحثية والنقاشية تعريف العدالة، إذ لا يوجد تعريفٌ موحدٌ لها، وقد تتعارض التعريفات المختلفة فيما بينها، مما يُصعّب تقييم نماذج التعلّم الآلي. [ 3 ] وتشمل المواضيع البحثية الأخرى أصول التحيّز، وأنواعه، وسبل الحدّ منه. [ 4 ]

في السنوات الأخيرة، طورت شركات التكنولوجيا أدوات وأدلة إرشادية حول كيفية كشف التحيز في التعلم الآلي والحد منه. لدى شركة IBM أدوات للغتي Python و R تتضمن خوارزميات متعددة للحد من تحيز البرمجيات وزيادة نزاهتها. [ 5 ] [ 6 ] كما نشرت جوجل إرشادات وأدوات لدراسة التحيز في التعلم الآلي ومكافحته. [ 7 ] [ 8 ] وأفادت فيسبوك باستخدامها أداة Fairness Flow لكشف التحيز في أنظمة الذكاء الاصطناعي الخاصة بها . [ 9 ] مع ذلك، يرى النقاد أن جهود الشركة غير كافية، مشيرين إلى قلة استخدام الموظفين للأداة، إذ لا يمكن تطبيقها على جميع برامجهم، وحتى عند إمكانية ذلك، يبقى استخدامها اختياريًا. [ 10 ]

من المهم الإشارة إلى أن النقاش حول الطرق الكمية لاختبار العدالة والتمييز غير العادل في صنع القرار يسبق بعقودٍ عديدة النقاش الحديث نسبيًا حول العدالة في التعلم الآلي. [ 11 ] في الواقع، ازدهر نقاشٌ حيويٌّ حول هذا الموضوع في الأوساط العلمية خلال منتصف الستينيات والسبعينيات، ويعود ذلك في معظمه إلى حركة الحقوق المدنية الأمريكية ، ولا سيما إقرار قانون الحقوق المدنية الأمريكي لعام 1964. مع ذلك، وبحلول نهاية السبعينيات، تلاشى هذا النقاش إلى حد كبير، إذ لم تترك المفاهيم المختلفة، والمتنافسة أحيانًا، للعدالة مجالًا واضحًا لتحديد متى يكون مفهومٌ ما للعدالة أفضل من غيره.

تحيز لغوي

يشير التحيز اللغوي إلى نوع من التحيز الإحصائي في العينات، يرتبط بلغة الاستعلام، ويؤدي إلى "انحراف منهجي في معلومات العينة يمنعها من تمثيل التغطية الحقيقية للمواضيع والآراء المتاحة في قاعدة البيانات بدقة". [ 12 ] وقد أظهر لو وآخرون [ 12 ] أن نماذج اللغة الكبيرة الحالية، نظرًا لتدريبها في الغالب على بيانات باللغة الإنجليزية، غالبًا ما تُقدم وجهات النظر الأنجلو-أمريكية على أنها الحقيقة، بينما تُقلل بشكل منهجي من شأن وجهات النظر غير الإنجليزية باعتبارها غير ذات صلة أو خاطئة أو مجرد تشويش. فعند الاستعلام عن أيديولوجيات سياسية مثل "ما هي الليبرالية؟"، يصف ChatGPT ، نظرًا لتدريبه على بيانات تتمحور حول اللغة الإنجليزية، الليبرالية من منظور أنجلو-أمريكي، مع التركيز على جوانب حقوق الإنسان والمساواة، بينما تغيب جوانب أخرى لا تقل أهمية، مثل "معارضة تدخل الدولة في الحياة الشخصية والاقتصادية" من المنظور الفيتنامي السائد، و"تقييد سلطة الحكومة" من المنظور الصيني السائد. وبالمثل، تغيب وجهات النظر السياسية الأخرى المتضمنة في المدونات اليابانية والكورية والفرنسية والألمانية عن ردود برنامج ChatGPT. فبرنامج ChatGPT، الذي يُعرّف نفسه بأنه روبوت محادثة متعدد اللغات، هو في الواقع "أعمى" إلى حد كبير عن وجهات النظر غير الإنجليزية. [ 12 ]

التحيز الجنسي

يشير التحيز الجنسي إلى ميل هذه النماذج إلى إنتاج مخرجات متحيزة بشكل غير عادل لصالح جنس على حساب الآخر. وينشأ هذا التحيز عادةً من البيانات التي تُدرَّب عليها هذه النماذج. فعلى سبيل المثال، غالبًا ما تُسند نماذج اللغة الكبيرة أدوارًا وخصائص بناءً على المعايير الجنسية التقليدية؛ فقد تربط الممرضات أو السكرتيرات بالنساء في الغالب، والمهندسين أو الرؤساء التنفيذيين بالرجال. [ 13 ] مثال آخر، يستخدم أساليب تعتمد على البيانات لتحديد التحيز الجنسي في ملفات تعريف لينكدإن . وقد أصبح الاستخدام المتزايد للأنظمة المدعومة بالتعلم الآلي عنصرًا هامًا في استقطاب المواهب الحديثة، لا سيما من خلال الشبكات الاجتماعية مثل لينكدإن وفيسبوك. ومع ذلك، فقد ثبت أن تدفق البيانات الزائد المُدمج في أنظمة التوظيف، القائمة على أساليب معالجة اللغة الطبيعية ، يؤدي إلى التحيز الجنسي. [ 14 ]

التحيز السياسي

يشير التحيز السياسي إلى ميل الخوارزميات إلى تفضيل وجهات نظر أو أيديولوجيات أو نتائج سياسية معينة على غيرها بشكل منهجي. وقد تُظهر نماذج اللغة أيضًا تحيزات سياسية. ونظرًا لأن بيانات التدريب تتضمن نطاقًا واسعًا من الآراء والتغطية السياسية، فقد تُنتج النماذج استجابات تميل نحو أيديولوجيات أو وجهات نظر سياسية محددة، وذلك تبعًا لمدى شيوع تلك الآراء في البيانات. [ 15 ]

الجدل

يُعدّ استخدام اتخاذ القرارات الخوارزمية في النظام القانوني مجالًا بارزًا يخضع للتدقيق. ففي عام 2014، أعرب المدعي العام الأمريكي آنذاك ، إريك هولدر، عن مخاوفه من أن أساليب "تقييم المخاطر" قد تُركّز بشكل مفرط على عوامل خارجة عن سيطرة المتهم، مثل مستواه التعليمي أو خلفيته الاجتماعية والاقتصادية. [ 16 ] وزعم تقرير ProPublica لعام 2016 حول نظام COMPAS أن احتمالية تصنيف المتهمين السود بشكل خاطئ على أنهم أكثر عرضة للخطر بمقدار الضعف تقريبًا مقارنةً بالمتهمين البيض، بينما يحدث العكس مع المتهمين البيض. [ 2 ] وقد اعترضت شركة Northepointe Inc.، مُنشئة نظام COMPAS، على التقرير، مُدّعيةً أن أداتها عادلة وأن ProPublica ارتكبت أخطاءً إحصائية، [ 17 ] وهو ما دحضته ProPublica لاحقًا. [ 18 ]

لوحظ وجود تحيز عنصري وجنسي في خوارزميات التعرف على الصور. فقد وُجد أن خاصية الكشف عن الوجه والحركة في الكاميرات تتجاهل أو تُصنّف تعابير وجوه الأشخاص غير البيض بشكل خاطئ. [ 19 ] في عام 2015، اعتذرت جوجل بعد أن صنّفت صور جوجل عن طريق الخطأ زوجين من ذوي البشرة السوداء على أنهما غوريلا. وبالمثل، وُجد أن خاصية الوسم التلقائي في فليكر صنّفت بعض الأشخاص ذوي البشرة السوداء على أنهم "قرود" و"حيوانات". [ 20 ] كما وُجد أن مسابقة جمال دولية أُقيمت عام 2016، والتي حكمت فيها خوارزمية ذكاء اصطناعي، كانت متحيزة لصالح الأفراد ذوي البشرة الفاتحة، ويرجع ذلك على الأرجح إلى تحيز في بيانات التدريب. [ 21 ] وفي دراسة أجريت عام 2018 على ثلاث خوارزميات تجارية لتصنيف الجنس، وُجد أن الخوارزميات الثلاث كانت عمومًا أكثر دقة عند تصنيف الذكور ذوي البشرة الفاتحة، وأقل دقة عند تصنيف الإناث ذوات البشرة الداكنة. [ 22 ] وفي عام 2020، تبيّن أن أداة اقتصاص الصور من تويتر تُفضّل الوجوه ذات البشرة الفاتحة. [ 23 ] في عام 2022، أوضح مبتكرو نموذج تحويل النص إلى صورة DALL-E 2 أن الصور المُولَّدة كانت نمطية بشكل كبير، بناءً على سمات مثل الجنس أو العرق. [ 24 ] [ 25 ]

تشمل المجالات الأخرى التي تُستخدم فيها خوارزميات التعلم الآلي والتي ثبت تحيزها، طلبات التوظيف والقروض. فقد استخدمت أمازون برنامجًا لمراجعة طلبات التوظيف يتسم بالتحيز الجنسي، على سبيل المثال، من خلال معاقبة السير الذاتية التي تتضمن كلمة "نساء". [ 26 ] وفي عام 2019، منحت خوارزمية أبل لتحديد حدود بطاقات الائتمان لبطاقة أبل الجديدة حدودًا أعلى بكثير للذكور مقارنةً بالإناث، حتى بالنسبة للأزواج الذين يتشاركون مواردهم المالية. [ 27 ] وأظهر تقرير صادر عن موقع The Markup عام 2021 أن خوارزميات الموافقة على قروض الرهن العقاري المستخدمة في الولايات المتحدة أكثر ميلًا لرفض طلبات المتقدمين من غير البيض. [ 28 ]

القيود

تُبرز الدراسات الحديثة وجود العديد من القيود على مفهوم العدالة في التعلم الآلي، لا سيما فيما يتعلق بما يُمكن تحقيقه واقعيًا في هذا الصدد مع تزايد تطبيقات الذكاء الاصطناعي في العالم الحقيقي. [ 29 ] [ 30 ] [ 31 ] فعلى سبيل المثال، قد يعتمد النهج الرياضي والكمي لإضفاء الطابع الرسمي على العدالة، والنهج المرتبطة به لإزالة التحيز، على افتراضات مُبسطة للغاية ويسهل تجاهلها، مثل تصنيف الأفراد في مجموعات اجتماعية مُحددة مسبقًا. ومن الجوانب الحساسة الأخرى، على سبيل المثال، التفاعل بين العديد من الخصائص المنطقية، [ 22 ] والافتقار إلى مفهوم فلسفي و/أو قانوني واضح ومُشترك لعدم التمييز.

أخيرًا، على الرغم من إمكانية تصميم نماذج التعلم الآلي بما يتوافق مع معايير العدالة، إلا أن القرارات النهائية التي يتخذها المشغلون البشريون قد تتأثر بتحيزاتهم الشخصية. تحدث هذه الظاهرة عندما يقبل صناع القرار توصيات الذكاء الاصطناعي فقط عندما تتوافق مع تحيزاتهم المسبقة، مما يقوض العدالة المقصودة للنظام. [ 32 ]

معايير عدالة المجموعة

في مسائل التصنيف ، تتعلم الخوارزمية دالة للتنبؤ بخاصية منفصلةY{\textstyle Y}، المتغير المستهدف، من الخصائص المعروفةX{\textstyle X}نحن نصممأ{\textstyle A}كمتغير عشوائي منفصل يشفر بعض الخصائص الموجودة أو المشفرة ضمنيًا فيX{\textstyle X}والتي نعتبرها خصائص حساسة (الجنس، العرق، التوجه الجنسي، إلخ). ونرمز إليها في النهاية بـR{\textstyle R}تنبؤ المصنف . لنحدد الآن ثلاثة معايير رئيسية لتقييم ما إذا كان المصنف عادلاً، أي ما إذا كانت تنبؤاته لا تتأثر ببعض هذه المتغيرات الحساسة. [ 33 ]

استقلال

نقول المتغيرات العشوائية(R،أ){\textstyle (R,A)}تحقق الاستقلالية إذا كانت الخصائص الحساسةأ{\textstyle A}مستقلة إحصائياً عن التنبؤR{\textstyle R}ونكتب R⊥أ.{\displaystyle R\bot A.} ويمكننا أيضاً التعبير عن هذا المفهوم بالصيغة التالية: P(R=ر | أ=أ)=P(R=ر | أ=ب)∀ر∈R∀أ،ب∈أ{\displaystyle P(R=r\ |\ A=a)=P(R=r\ |\ A=b)\quad \forall r\in R\quad \forall a,b\in A} هذا يعني أن معدل التصنيف لكل فئة مستهدفة متساوٍ للأشخاص الذين ينتمون إلى مجموعات مختلفة فيما يتعلق بالخصائص الحساسةأ{\displaystyle A}.

ويمكن التعبير عن الاستقلال بصيغة مكافئة أخرى باستخدام مفهوم المعلومات المتبادلة بين المتغيرات العشوائية ، والذي يُعرَّف على النحو التالي: أنا(X،Y)=ح(X)+ح(Y)-ح(X،Y){\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y)} في هذه الصيغة،ح(X){\textstyle H(X)}هي إنتروبيا المتغير العشوائيX{\displaystyle X}. ثم(R،أ){\textstyle (R,A)}تحقق الاستقلال إذاأنا(R،أ)=0{\textstyle I(R,A)=0}.

قد يتضمن تخفيف تعريف الاستقلال إدخال هامش إيجابيϵ>0{\textstyle \epsilon >0}ويتم حسابها بالصيغة التالية: P(R=ر | أ=أ)≥P(R=ر | أ=ب)-ϵ∀ر∈R∀أ،ب∈أ{\displaystyle P(R=r\ |\ A=a)\geq P(R=r\ |\ A=b)-\epsilon \quad \forall r\in R\quad \forall a,b\in A}

وأخيرًا، هناك تخفيف آخر محتمل يتمثل في اشتراطأنا(R،أ)≤ϵ{\textstyle I(R,A)\leq \epsilon }.

الانفصال

نقول المتغيرات العشوائية(R،أ،Y){\textstyle (R,A,Y)}يُعتبر الفصل مُرضيًا إذا كانت الخصائص الحساسةأ{\textstyle A}مستقلة إحصائياً عن التنبؤR{\textstyle R}بالنظر إلى القيمة المستهدفةY{\textstyle Y}ونكتب R⊥أ | Y.{\displaystyle R\bot A\ |\ Y.} ويمكننا أيضاً التعبير عن هذا المفهوم بالصيغة التالية: P(R=ر | Y=q،أ=أ)=P(R=ر | Y=q،أ=ب)∀ر∈Rq∈Y∀أ،ب∈أ{\displaystyle P(R=r\ |\ Y=q,A=a)=P(R=r\ |\ Y=q,A=b)\quad \forall r\in R\quad q\in Y\quad \forall a,b\in A} هذا يعني أن كل تبعية القرارR{\displaystyle R}فيما يتعلق بالخاصية الحساسةأ{\displaystyle A}يجب تبرير ذلك بالاعتماد الفعلي للمتغير المستهدف الحقيقيY{\displaystyle Y}.

وهناك تعبير مكافئ آخر، في حالة معدل الهدف الثنائي، وهو أن معدل الإيجابية الحقيقية ومعدل الإيجابية الكاذبة متساويان (وبالتالي فإن معدل السلبية الكاذبة ومعدل السلبية الحقيقية متساويان) لكل قيمة من قيم الخصائص الحساسة: P(R=1 | Y=1،أ=أ)=P(R=1 | Y=1،أ=ب)∀أ،ب∈أ{\displaystyle P(R=1\ |\ Y=1,A=a)=P(R=1\ |\ Y=1,A=b)\quad \forall a,b\in A}P(R=1 | Y=0،أ=أ)=P(R=1 | Y=0،أ=ب)∀أ،ب∈أ{\displaystyle P(R=1\ |\ Y=0,A=a)=P(R=1\ |\ Y=0,A=b)\quad \forall a,b\in A}

يتمثل أحد التخفيفات الممكنة للتعريفات المذكورة في السماح بأن تكون قيمة الفرق بين المعدلات عددًا موجبًا أقل من قيمة معينة للركود.ϵ>0{\textstyle \epsilon >0}، بدلاً من أن يساوي صفرًا.

في بعض المجالات، يعتبر الفصل (معامل الفصل) في مصفوفة الارتباك مقياسًا للمسافة (عند مستوى معين من درجة الاحتمالية) بين النسبة المئوية التراكمية المتوقعة السلبية والنسبة المئوية التراكمية المتوقعة الإيجابية.

كلما زاد معامل الفصل عند قيمة معينة للنتيجة، زادت فعالية النموذج في التمييز بين مجموعة النتائج الإيجابية والسلبية عند عتبة احتمالية محددة. ووفقًا لمايس: [ 34 ] "يُلاحظ غالبًا في قطاع الائتمان أن اختيار مقاييس التحقق يعتمد على منهجية النمذجة. فعلى سبيل المثال، إذا كانت عملية النمذجة بارامترية أو شبه بارامترية، يُستخدم اختبار كولموغوروف-سميرنوف (KS) لعينتين . أما إذا تم اشتقاق النموذج باستخدام أساليب البحث الاستدلالية أو التكرارية، فإن مقياس أداء النموذج عادةً ما يكون التباعد . وثمة خيار ثالث هو معامل الفصل... ويبدو أن معامل الفصل، مقارنةً بالطريقتين الأخريين، هو الأنسب كمقياس لأداء النموذج لأنه يعكس نمط الفصل فيه."

الكفاية

نقول المتغيرات العشوائية(R،أ،Y){\textstyle (R,A,Y)}يُعتبر كافياً إذا كانت الخصائص الحساسةأ{\textstyle A}مستقلة إحصائياً عن القيمة المستهدفةY{\textstyle Y}بالنظر إلى التوقعR{\textstyle R}ونكتب Y⊥أ | R.{\displaystyle Y\bot A\ |\ R.} ويمكننا أيضاً التعبير عن هذا المفهوم بالصيغة التالية: P(Y=q | R=ر،أ=أ)=P(Y=q | R=ر،أ=ب)∀q∈Yر∈R∀أ،ب∈أ{\displaystyle P(Y=q\ |\ R=r,A=a)=P(Y=q\ |\ R=r,A=b)\quad \forall q\in Y\quad r\in R\quad \forall a,b\in A} وهذا يعني أن احتمال التواجد فعلياً في كل مجموعة من المجموعات متساوٍ بالنسبة لشخصين لهما خصائص حساسة مختلفة، بافتراض أنه تم التنبؤ بانتمائهما إلى نفس المجموعة.

العلاقات بين التعريفات

وأخيراً، نلخص بعض النتائج الرئيسية التي تربط بين التعريفات الثلاثة المذكورة أعلاه:

  • بافتراضY{\textstyle Y}هو ثنائي، إذاأ{\textstyle A}وY{\textstyle Y}ليست مستقلة إحصائياً، وR{\textstyle R}وY{\textstyle Y}إذا لم تكن مستقلة إحصائياً أيضاً، فلا يمكن أن يتحقق الاستقلال والانفصال معاً إلا في الحالات البلاغية.
  • لو(R،أ،Y){\textstyle (R,A,Y)}لأن التوزيع المشترك له احتمالية موجبة لجميع قيمه الممكنة وأ{\textstyle A}وY{\textstyle Y}إذا لم تكن مستقلة إحصائياً، فلا يمكن أن يتحقق كل من الفصل والكفاية إلا في الحالات البلاغية.

يُشار إلى ذلك بالعدالة الكاملة عندما تتحقق الاستقلالية والفصل والاكتفاء في آن واحد. [ 35 ] ومع ذلك، لا يمكن تحقيق العدالة الكاملة إلا في حالات بلاغية محددة. [ 36 ]

الصياغة الرياضية لتعريفات العدالة الجماعية

تعريفات أولية

تعتمد معظم المقاييس الإحصائية للإنصاف على معايير مختلفة، لذا سنبدأ بتعريفها. عند العمل مع مصنف ثنائي ، يمكن أن تأخذ كل من الفئات المتوقعة والفعلية قيمتين: موجبة وسالبة. والآن، لنبدأ بشرح العلاقات المختلفة الممكنة بين النتيجة المتوقعة والنتيجة الفعلية: [ 37 ]

مصفوفة الارتباك
  • الإيجابي الحقيقي (TP): الحالة التي تكون فيها كل من النتيجة المتوقعة والنتيجة الفعلية في فئة إيجابية.
  • النتيجة السلبية الحقيقية (TN): الحالة التي يتم فيها تعيين كل من النتيجة المتوقعة والنتيجة الفعلية للفئة السلبية.
  • النتيجة الإيجابية الخاطئة (FP): حالة تم التنبؤ بأنها تقع في فئة إيجابية، ولكن النتيجة الفعلية تكون سلبية.
  • النتيجة السلبية الكاذبة (FN): حالة تم التنبؤ بأنها في الفئة السلبية ولكن النتيجة الفعلية هي في الفئة الإيجابية.

يمكن تمثيل هذه العلاقات بسهولة باستخدام مصفوفة الارتباك ، وهي جدول يصف دقة نموذج التصنيف. في هذه المصفوفة، تمثل الأعمدة حالات التنبؤ والصفوف حالات الواقعية، على التوالي.

باستخدام هذه العلاقات، يمكننا تحديد مقاييس متعددة يمكن استخدامها لاحقًا لقياس مدى عدالة الخوارزمية:

  • القيمة التنبؤية الإيجابية (PPV): هي نسبة الحالات الإيجابية التي تم التنبؤ بها بشكل صحيح من بين جميع التنبؤات الإيجابية. ويُشار إليها عادةً بالدقة ، وتمثل احتمالية التنبؤ الإيجابي الصحيح. ويتم حسابها بالصيغة التالية:PPV=P(أجتuأل=+ | صرهـدأناجتأناoن=+)=تيPتيP+FP{\displaystyle PPV=P(actual=+\ |\ prediction=+)={\frac {TP}{TP+FP}}}
  • معدل الاكتشاف الخاطئ (FDR): هو نسبة التنبؤات الإيجابية التي كانت في الواقع سلبية من إجمالي التنبؤات الإيجابية. وهو يمثل احتمال حدوث تنبؤ إيجابي خاطئ، ويُحسب بالصيغة التالية:FدR=P(أجتuأل=- | صرهـدأناجتأناoن=+)=FPتيP+FP{\displaystyle FDR=P(actual=-\ |\ prediction=+)={\frac {FP}{TP+FP}}}
  • القيمة المتوقعة السلبية (NPV): هي نسبة الحالات السلبية التي تم التنبؤ بها بشكل صحيح من بين جميع التنبؤات السلبية. وهي تمثل احتمال التنبؤ السلبي الصحيح، ويتم حسابها بالصيغة التالية:شمالPV=P(أجتuأل=- | صرهـدأناجتأناoن=-)=تيشمالتيشمال+Fشمال{\displaystyle NPV=P(actual=-\ |\ prediction=-)={\frac {TN}{TN+FN}}}
  • معدل الإغفال الخاطئ (FOR): هو نسبة التنبؤات السلبية التي كانت إيجابية بالفعل من بين جميع التنبؤات السلبية. وهو يمثل احتمال حدوث تنبؤ سلبي خاطئ، ويُحسب بالصيغة التالية:FياR=P(أجتuأل=+ | صرهـدأناجتأناoن=-)=Fشمالتيشمال+Fشمال{\displaystyle FOR=P(actual=+\ |\ prediction=-)={\frac {FN}{TN+FN}}}
  • معدل الإيجابية الحقيقية (TPR): هو نسبة الحالات الإيجابية التي تم التنبؤ بها بشكل صحيح من بين جميع الحالات الإيجابية. ويُشار إليه عادةً بالحساسية أو الاستدعاء، وهو يُمثل احتمال تصنيف الحالات الإيجابية بشكل صحيح. ويُحسب بالصيغة التالية:تيPR=P(صرهـدأناجتأناoن=+ | أجتuأل=+)=تيPتيP+Fشمال{\displaystyle TPR=P(prediction=+\ |\ actual=+)={\frac {TP}{TP+FN}}}
  • معدل النتائج السلبية الكاذبة (FNR): هو نسبة الحالات الإيجابية التي تم تصنيفها خطأً على أنها سلبية من بين جميع الحالات الإيجابية. ويمثل هذا المعدل احتمال تصنيف الحالات الإيجابية خطأً على أنها سلبية، ويُحسب بالصيغة التالية:FشمالR=P(صرهـدأناجتأناoن=- | أجتuأل=+)=FشمالتيP+Fشمال{\displaystyle FNR=P(prediction=-\ |\ actual=+)={\frac {FN}{TP+FN}}}
  • معدل النتائج السلبية الحقيقية (TNR): هو نسبة الحالات السلبية التي تم التنبؤ بها بشكل صحيح من بين جميع الحالات السلبية. وهو يمثل احتمال تصنيف الحالات السلبية بشكل صحيح، ويُحسب بالصيغة التالية:تيشمالR=P(صرهـدأناجتأناoن=- | أجتuأل=-)=تيشمالتيشمال+FP{\displaystyle TNR=P(prediction=-\ |\ actual=-)={\frac {TN}{TN+FP}}}
  • معدل النتائج الإيجابية الخاطئة (FPR): هو نسبة الحالات السلبية التي تم تصنيفها بشكل خاطئ على أنها إيجابية من بين جميع الحالات السلبية. وهو يمثل احتمال تصنيف الحالات السلبية بشكل خاطئ على أنها إيجابية، ويُحسب بالصيغة التالية:FPR=P(صرهـدأناجتأناoن=+ | أجتuأل=-)=FPتيشمال+FP{\displaystyle FPR=P(prediction=+\ |\ actual=-)={\frac {FP}{TN+FP}}}
العلاقة بين معايير الإنصاف كما هو موضح في باروكاس وآخرون [ 33 ]

يمكن فهم المعايير التالية على أنها مقاييس للتعريفات العامة الثلاثة الواردة في بداية هذا القسم، وهي الاستقلالية والانفصال والكفاية. في الجدول [ 33 ] على اليمين، يمكننا رؤية العلاقات بينها.

ولتحديد هذه المقاييس على وجه التحديد، سنقسمها إلى ثلاث مجموعات كبيرة كما هو الحال في Verma et al.: [ 37 ] التعريفات القائمة على نتيجة متوقعة، وعلى النتائج المتوقعة والفعلية، والتعريفات القائمة على الاحتمالات المتوقعة والنتيجة الفعلية.

سنعمل باستخدام مصنف ثنائي والرموز التالية:S{\textstyle S}يشير إلى النتيجة التي يمنحها المصنف، وهي احتمال أن يكون موضوع معين في الفئة الإيجابية أو السلبية.R{\textstyle R}يمثل التصنيف النهائي الذي تنبأت به الخوارزمية، وعادةً ما تُستمد قيمته منS{\textstyle S}على سبيل المثال، ستكون النتيجة موجبة عندماS{\textstyle S}يتجاوز عتبة معينة.Y{\textstyle Y}يمثل النتيجة الفعلية، أي التصنيف الحقيقي للفرد، وأخيراً،أ{\textstyle A}يشير إلى السمات الحساسة للأفراد.

تعريفات تستند إلى النتائج المتوقعة

تركز التعريفات الواردة في هذا القسم على النتيجة المتوقعةR{\textstyle R}بالنسبة لتوزيعات مختلفة للمواضيع. إنها أبسط مفاهيم العدالة وأكثرها بديهية.

  • التكافؤ الديموغرافي ، ويُشار إليه أيضًا بالتكافؤ الإحصائي ، وتكافؤ معدل القبول ، والمقارنة المعيارية . يُحقق المصنف هذا التعريف إذا كان لدى الأفراد في المجموعتين المحمية وغير المحمية احتمال متساوٍ للتصنيف ضمن الفئة المتوقعة الإيجابية. وذلك إذا تحققت الصيغة التالية:P(R=+ | أ=أ)=P(R=+ | أ=ب)∀أ،ب∈أ{\displaystyle P(R=+\ |\ A=a)=P(R=+\ |\ A=b)\quad \forall a,b\in A}
  • التكافؤ الإحصائي المشروط . يتكون أساسًا من التعريف المذكور أعلاه، ولكنه يقتصر على مجموعة فرعية من الحالات. ويمكن التعبير عنه رياضيًا كما يلي:P(R=+ | ل=ل،أ=أ)=P(R=+ | ل=ل،أ=ب)∀أ،ب∈أ∀ل∈ل{\displaystyle P(R=+\ |\ L=l,A=a)=P(R=+\ |\ L=l,A=b)\quad \forall a,b\in A\quad \forall l\in L}

تعريفات تستند إلى النتائج المتوقعة والفعلية

لا تقتصر هذه التعريفات على النظر في النتيجة المتوقعة فحسبR{\textstyle R}ولكن قارنها أيضًا بالنتيجة الفعليةY{\textstyle Y}.

  • التكافؤ التنبؤي ، ويُشار إليه أيضًا باختبار النتائج . يُحقق المصنف هذا التعريف إذا كانت قيمة التنبؤ الإيجابي (PPV) متساوية بين المجموعتين المحمية وغير المحمية. وذلك إذا تحققت الصيغة التالية:P(Y=+ | R=+،أ=أ)=P(Y=+ | R=+،أ=ب)∀أ،ب∈أ{\displaystyle P(Y=+\ |\ R=+,A=a)=P(Y=+\ |\ R=+,A=b)\quad \forall a,b\in A}
رياضياً، إذا كان للمصنف قيمة تنبؤية إيجابية متساوية لكلا المجموعتين، فسيكون له أيضاً معدل اكتشاف خاطئ متساوٍ، مما يحقق الصيغة التالية:P(Y=- | R=+،أ=أ)=P(Y=- | R=+،أ=ب)∀أ،ب∈أ{\displaystyle P(Y=-\ |\ R=+,A=a)=P(Y=-\ |\ R=+,A=b)\quad \forall a,b\in A}
  • توازن معدل الخطأ الإيجابي الكاذب ، ويُشار إليه أيضًا بالمساواة التنبؤية . يُحقق المصنف هذا التعريف إذا كان لدى الأفراد في المجموعتين المحمية وغير المحمية معدل خطأ إيجابي كاذب متساوٍ. وذلك إذا تحققت الصيغة التالية:P(R=+ | Y=-،أ=أ)=P(R=+ | Y=-،أ=ب)∀أ،ب∈أ{\displaystyle P(R=+\ |\ Y=-,A=a)=P(R=+\ |\ Y=-,A=b)\quad \forall a,b\in A}
رياضياً، إذا كان للمصنف معدل إيجابي كاذب متساوٍ لكلا المجموعتين، فسيكون له أيضاً معدل سلبي صحيح متساوٍ، مما يحقق الصيغة التالية:P(R=- | Y=-،أ=أ)=P(R=- | Y=-،أ=ب)∀أ،ب∈أ{\displaystyle P(R=-\ |\ Y=-,A=a)=P(R=-\ |\ Y=-,A=b)\quad \forall a,b\in A}
  • توازن معدل الخطأ السلبي الكاذب ، ويُشار إليه أيضًا بتكافؤ الفرص . يُحقق المصنف هذا التعريف إذا كان لدى الأفراد في المجموعتين المحمية وغير المحمية معدل خطأ سلبي كاذب متساوٍ. وذلك إذا تحققت الصيغة التالية:P(R=- | Y=+،أ=أ)=P(R=- | Y=+،أ=ب)∀أ،ب∈أ{\displaystyle P(R=-\ |\ Y=+,A=a)=P(R=-\ |\ Y=+,A=b)\quad \forall a,b\in A}
رياضياً، إذا كان للمصنف معدل خطأ سلبي خاطئ متساوٍ لكلا المجموعتين، فسيكون له أيضاً معدل إيجابي صحيح متساوٍ، مما يحقق الصيغة التالية:P(R=+ | Y=+،أ=أ)=P(R=+ | Y=+،أ=ب)∀أ،ب∈أ{\displaystyle P(R=+\ |\ Y=+,A=a)=P(R=+\ |\ Y=+,A=b)\quad \forall a,b\in A}
  • تساوي الاحتمالات ، ويُشار إليه أيضًا بمساواة دقة الإجراء المشروط وسوء المعاملة المتباينة . يُحقق المصنف هذا التعريف إذا كان لدى الأفراد في المجموعتين المحمية وغير المحمية معدل إيجابي صحيح متساوٍ ومعدل إيجابي خاطئ متساوٍ، بما يحقق الصيغة التالية:P(R=+ | Y=y،أ=أ)=P(R=+ | Y=y،أ=ب)y∈{+،-}∀أ،ب∈أ{\displaystyle P(R=+\ |\ Y=y,A=a)=P(R=+\ |\ Y=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}
  • تساوي دقة الاستخدام المشروط . يُحقق المصنف هذا التعريف إذا كانت القيم التنبؤية الإيجابية والقيم التنبؤية السلبية متساوية في المجموعتين المحمية وغير المحمية، بما يحقق الصيغة التالية:P(Y=y | R=y،أ=أ)=P(Y=y | R=y،أ=ب)y∈{+،-}∀أ،ب∈أ{\displaystyle P(Y=y\ |\ R=y,A=a)=P(Y=y\ |\ R=y,A=b)\quad y\in \{+,-\}\quad \forall a,b\in A}
  • تساوي الدقة الإجمالية . يُحقق المصنف هذا التعريف إذا كانت دقة التنبؤ متساوية بين المجموعتين المحمية وغير المحمية، أي احتمالية تصنيف فرد من إحدى المجموعتين ضمنها. وذلك إذا حقق الصيغة التالية:P(R=Y | أ=أ)=P(R=Y | أ=ب)∀أ،ب∈أ{\displaystyle P(R=Y\ |\ A=a)=P(R=Y\ |\ A=b)\quad \forall a,b\in A}
  • المساواة في المعاملة . يُحقق المصنف هذا التعريف إذا كان لدى الأفراد في المجموعتين المحمية وغير المحمية نسبة متساوية من النتائج السلبية الكاذبة والنتائج الإيجابية الكاذبة، بما يحقق الصيغة التالية:Fشمالأ=أFPأ=أ=Fشمالأ=بFPأ=ب{\displaystyle {\frac {FN_{A=a}}{FP_{A=a}}}={\frac {FN_{A=b}}{FP_{A=b}}}}

تعريفات تستند إلى الاحتمالات المتوقعة والنتائج الفعلية

تستند هذه التعريفات إلى النتيجة الفعليةY{\textstyle Y}ودرجة الاحتمالية المتوقعةS{\textstyle S}.

  • عدالة الاختبار ، والمعروفة أيضًا باسم المعايرة أو مطابقة الترددات الشرطية . يُحقق المصنف هذا التعريف إذا كان الأفراد الذين لديهم نفس درجة الاحتمالية المتوقعةS{\textstyle S}يكون لديهم نفس احتمالية التصنيف في الفئة الإيجابية سواء كانوا ينتمون إلى المجموعة المحمية أو المجموعة غير المحمية:P(Y=+ | S=s،أ=أ)=P(Y=+ | S=s،أ=ب)∀s∈S∀أ،ب∈أ{\displaystyle P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)\quad \forall s\in S\quad \forall a,b\in A}
  • المعايرة الجيدة هي امتداد للتعريف السابق. وهي تنص على أنه عندما يكون للأفراد داخل المجموعة المحمية أو خارجها نفس درجة الاحتمالية المتوقعةS{\textstyle S}يجب أن يكون لديهم نفس احتمالية تصنيفهم في الفئة الإيجابية، ويجب أن تكون هذه الاحتمالية مساوية لـS{\textstyle S}:P(Y=+ | S=s،أ=أ)=P(Y=+ | S=s،أ=ب)=s∀s∈S∀أ،ب∈أ{\displaystyle P(Y=+\ |\ S=s,A=a)=P(Y=+\ |\ S=s,A=b)=s\quad \forall s\in S\quad \forall a,b\in A}
  • التوازن للفئة الإيجابية . يُحقق المصنف هذا التعريف إذا كان للأفراد الذين يشكلون الفئة الإيجابية من كلتا المجموعتين المحمية وغير المحمية متوسط ​​درجة احتمالية متوقعة متساويةS{\textstyle S}وهذا يعني أن القيمة المتوقعة لدرجة الاحتمالية للمجموعات المحمية وغير المحمية ذات النتيجة الفعلية الإيجابيةY{\textstyle Y}هو نفسه، ويحقق الصيغة التالية:هـ(S | Y=+،أ=أ)=هـ(S | Y=+،أ=ب)∀أ،ب∈أ{\displaystyle E(S\ |\ Y=+,A=a)=E(S\ |\ Y=+,A=b)\quad \forall a,b\in A}
  • التوازن للفئة السلبية . يُحقق المصنف هذا التعريف إذا كان للأفراد الذين يشكلون الفئة السلبية من كلتا المجموعتين المحمية وغير المحمية متوسط ​​درجة احتمالية متوقعة متساويةS{\textstyle S}وهذا يعني أن القيمة المتوقعة لدرجة الاحتمالية للمجموعات المحمية وغير المحمية ذات النتيجة الفعلية السلبيةY{\textstyle Y}هو نفسه، ويحقق الصيغة التالية:هـ(S | Y=-،أ=أ)=هـ(S | Y=-،أ=ب)∀أ،ب∈أ{\displaystyle E(S\ |\ Y=-,A=a)=E(S\ |\ Y=-,A=b)\quad \forall a,b\in A}

مساواة في الارتباك والإنصاف

فيما يتعلق بمصفوفات الارتباك ، فإن الاستقلال والفصل والكفاية تتطلب ألا يكون للكميات المذكورة أدناه فرق ذو دلالة إحصائية عبر الخصائص الحساسة. [ 36 ]

  • الاستقلال: (TP + FP) / (TP + FP + FN + TN) (أي،P(Y^=1){\displaystyle P({\hat {Y}}=1)}).
  • الفصل: TN / (TN + FP) و TP / (TP + FN) (أي، الخصوصية)P(Y^=0|Y=0){\displaystyle P({\hat {Y}}=0\mid Y=0)}وتذكرP(Y^=1|Y=1){\displaystyle P({\hat {Y}}=1\mid Y=1)}).
  • الكفاية: TP / (TP + FP) و TN / (TN + FN) (أي الدقة)P(Y=1|Y^=1){\displaystyle P(Y=1\mid {\hat {Y}}=1)}والقيمة التنبؤية السلبيةP(Y=0|Y^=0){\displaystyle P(Y=0\mid {\hat {Y}}=0)}).

يتطلب مفهوم العدالة المتساوية في الارتباك [ 38 ] أن يكون لمصفوفة الارتباك لنظام قرار معين نفس التوزيع عند حسابها بشكل طبقي على جميع الخصائص الحساسة.

وظيفة الرعاية الاجتماعية

اقترح بعض الباحثين تعريف العدالة الخوارزمية من منظور دالة الرفاه الاجتماعي . ويجادلون بأن استخدام هذه الدالة يمكّن مصمم الخوارزمية من مراعاة العدالة ودقة التنبؤ من حيث فوائدهما للأفراد المتأثرين بالخوارزمية. كما يسمح للمصمم بالموازنة بين الكفاءة والإنصاف بطريقة مبدئية. [ 39 ] وقد ذكر سينديل مولايناثان أن على مصممي الخوارزميات استخدام دوال الرفاه الاجتماعي لإدراك المكاسب المطلقة للفئات المهمشة. فعلى سبيل المثال، وجدت دراسة أن استخدام خوارزمية اتخاذ القرار في الحبس الاحتياطي قبل المحاكمة، بدلاً من الاعتماد على التقدير البشري البحت، قد خفض معدلات الحبس للسود واللاتينيين والأقليات العرقية عموماً، حتى مع ثبات معدل الجريمة. [ 40 ]

معايير الإنصاف الفردية

يُعدّ التمييز بين مفهومي العدالة الجماعية والفردية من أهم الفروقات بين تعريفات العدالة. [ 41 ] [ 42 ] [ 37 ] [ 43 ] وبعبارة أخرى، تقارن معايير العدالة الجماعية الكميات على مستوى المجموعة، والتي تُحدد عادةً بخصائص حساسة (مثل الجنس، والعرق، والعمر، وما إلى ذلك)، بينما تقارن المعايير الفردية الأفراد. وبعبارة أخرى، تتبع العدالة الفردية مبدأ "أن الأفراد المتشابهين يجب أن يتلقوا معاملة متشابهة".

هناك نهج بديهي للغاية للعدالة، يُعرف عادةً باسم العدالة من خلال عدم الوعي ( FTU )، أو العمى ، والذي ينص على عدم استخدام السمات الحساسة بشكل صريح عند اتخاذ القرارات (الآلية). وهذا في جوهره مفهوم للعدالة الفردية، حيث سيحصل شخصان يختلفان فقط في قيمة سماتهما الحساسة على النتيجة نفسها.

مع ذلك، فإنّ منهجية FTU تعاني عمومًا من عدة عيوب، أهمها أنها لا تأخذ في الحسبان الارتباطات المحتملة بين السمات الحساسة وغير الحساسة المستخدمة في عملية اتخاذ القرار. على سبيل المثال، قد يقوم شخص لديه نية (خبيثة) للتمييز على أساس الجنس بإدخال متغير بديل للجنس في النموذج (أي متغير يرتبط ارتباطًا وثيقًا بالجنس)، وبالتالي يستخدم معلومات الجنس بفعالية مع الالتزام في الوقت نفسه بمتطلبات منهجية FTU.

تُعد مشكلة تحديد المتغيرات المرتبطة بالمتغيرات الحساسة والتي يمكن استخدامها بشكل معقول بواسطة نموذج في عملية صنع القرار مشكلة حاسمة، وهي ذات صلة بمفاهيم المجموعة أيضًا: تتطلب مقاييس الاستقلال إزالة كاملة للمعلومات الحساسة، بينما تسمح المقاييس القائمة على الفصل بالارتباط، ولكن فقط بقدر ما "يبرر" المتغير المستهدف المسمى ذلك.

طُرح المفهوم الأكثر عمومية للعدالة الفردية في العمل الرائد الذي قامت به سينثيا دورك وزملاؤها عام 2012 [ 44 ] ، ويمكن اعتباره ترجمة رياضية لمبدأ أن خريطة القرار التي تأخذ السمات كمدخلات يجب أن تُبنى بحيث تكون قادرة على "رسم خريطة للأفراد المتشابهين بشكل متشابه"، وهو ما يُعبَّر عنه بشرط ليبشيتز على خريطة النموذج. يُطلقون على هذا النهج اسم العدالة من خلال الوعي ( FTA )، تحديدًا كنقيض لمفهوم العدالة من خلال الوعي (FTU)، إذ يؤكدون على أهمية اختيار مقياس المسافة المناسب المتعلق بالهدف لتقييم الأفراد المتشابهين في مواقف محددة. مرة أخرى، ترتبط هذه المشكلة ارتباطًا وثيقًا بالنقطة التي أُثيرت سابقًا حول المتغيرات التي يمكن اعتبارها "مشروعة" في سياقات معينة.

ثمة مقاربة أخرى للعدالة الفردية تتمثل في العدالة الافتراضية. [ 4 ] تقوم فكرة العدالة الافتراضية على أن القرار يكون عادلاً تجاه الفرد إذا كان هو نفسه في كل من العالم الواقعي وعالم افتراضي ينتمي فيه الفرد إلى فئة ديموغرافية مختلفة. [ 45 ]

المقاييس القائمة على السببية

يقيس الإنصاف السببي مدى تكرار حصول مستخدمين أو تطبيقين متطابقين تقريبًا، يختلفان فقط في مجموعة من الخصائص التي يجب أن يكون تخصيص الموارد عادلاً بشأنها، على معاملة متطابقة. [ 46 ]

يُكرَّس فرعٌ كاملٌ من البحث الأكاديمي حول مقاييس العدالة للاستفادة من النماذج السببية لتقييم التحيز في نماذج التعلّم الآلي . ويُبرَّر هذا النهج عادةً بحقيقة أن التوزيع الرصدي نفسه للبيانات قد يُخفي علاقات سببية مختلفة بين المتغيرات المؤثرة، وربما تفسيرات مختلفة لما إذا كانت النتائج متأثرة بنوع من التحيز أم لا. [ 33 ]

يقترح كوسنر وآخرون [ 45 ] استخدام السيناريوهات المضادة للواقع ، ويُعرّفون عملية صنع القرار بأنها عادلة في هذا السيناريو إذا لم تتغير النتيجة لأي فرد في السيناريو المضاد للواقع الذي تتغير فيه السمات الحساسة. تجدر الإشارة إلى أن هذا يُصنّف أيضًا كمقياس للعدالة الفردية. الصيغة الرياضية هي:

P(Rأ←أ=1|أ=أ،X=x)=P(Rأ←ب=1|أ=أ،X=x)،∀أ،ب؛{\displaystyle P(R_{A\leftarrow a}=1\mid A=a,X=x)=P(R_{A\leftarrow b}=1\mid A=a,X=x),\quad \forall a,b;}

أي: تم اختيار فرد عشوائي لديه سمة حساسةأ=أ{\displaystyle A=a}وميزات أخرىX=x{\displaystyle X=x}والشخص نفسه لو كانت قد فعلتأ=ب{\displaystyle A=b}ينبغي أن تتاح لهم نفس فرصة القبول. الرمزR^أ←أ{\displaystyle {\hat {R}}_{A\leftarrow a}}يمثل المتغير العشوائي المضاد للواقعR{\displaystyle R}في السيناريو الذي تكون فيه السمة الحساسةأ{\displaystyle A}مثبت علىأ=أ{\displaystyle A=a}التكييف علىأ=أ،X=x{\displaystyle A=a,X=x}وهذا يعني أن هذا الشرط يقع على المستوى الفردي، حيث أننا نعتمد على جميع المتغيرات التي تحدد ملاحظة واحدة.

غالبًا ما تُدرَّب نماذج التعلّم الآلي على بياناتٍ تعتمد نتائجها على القرار المُتخذ في ذلك الوقت. [ 47 ] على سبيل المثال، إذا كان على نموذج التعلّم الآلي تحديد ما إذا كان السجين سيعود إلى الجريمة، وما إذا كان ينبغي إطلاق سراحه مبكرًا، فقد تعتمد النتيجة على ما إذا تم إطلاق سراح السجين مبكرًا أم لا. يقترح ميشلر وآخرون [ 48 ] صيغةً لحساب احتمالات التعادل الافتراضية.

P(R=1|Y0=0،أ=أ)=P(R=1|Y0=0،أ=ب)∧P(R=0|Y1=1،أ=أ)=P(R=0|Y1=1،أ=ب)،∀أ،ب؛{\displaystyle P(R=1\mid Y^{0}=0,A=a)=P(R=1\mid Y^{0}=0,A=b)\wedge P(R=0\mid Y^{1}=1,A=a)=P(R=0\mid Y^{1}=1,A=b),\quad \forall a,b;}

أينR{\displaystyle R}هو متغير عشوائي،Yx{\displaystyle Y^{x}}يشير إلى النتيجة المترتبة على القرارx{\displaystyle x}تم أخذها، وأ{\displaystyle A}هي ميزة حساسة.

يقترح بليكو وبارينبويم [ 49 ] إطارًا موحدًا للتعامل مع التحليل السببي للعدالة. ويقترحان استخدام نموذج العدالة القياسي، الذي يتكون من رسم بياني سببي يحتوي على 4 أنواع من المتغيرات:

  • السمات الحساسة (أ{\displaystyle A})
  • المتغير المستهدف (Y{\displaystyle Y})
  • الوسطاء (دبليو{\displaystyle W}) بينأ{\displaystyle A}وY{\displaystyle Y}، مما يمثل التأثيرات غير المباشرة المحتملة للسمات الحساسة على النتيجة،
  • قد تشترك المتغيرات في سبب مشترك معأ{\displaystyle A}(Z{\displaystyle Z})، مما يمثل التأثيرات الزائفة المحتملة (أي غير السببية) للسمات الحساسة على النتيجة.

في هذا الإطار، يتمكن بليكو وبارينبويم [ 49 ] من تصنيف التأثيرات المحتملة التي قد تُحدثها السمات الحساسة على النتيجة. علاوة على ذلك، فإن مستوى التفصيل الذي تُقاس به هذه التأثيرات - أي المتغيرات الشرطية المستخدمة لحساب متوسط ​​التأثير - يرتبط ارتباطًا مباشرًا بجانب "الفرد مقابل المجموعة" في تقييم العدالة.

استراتيجيات الحد من التحيز

يمكن تطبيق الإنصاف على خوارزميات التعلم الآلي بثلاث طرق مختلفة: المعالجة المسبقة للبيانات ، والتحسين أثناء تدريب البرامج، أو نتائج المعالجة اللاحقة للخوارزمية.

المعالجة المسبقة

عادةً، لا يقتصر الأمر على المصنف فقط؛ بل قد تكون مجموعة البيانات متحيزة أيضاً. تمييز مجموعة البياناتد{\textstyle D}فيما يتعلق بالمجموعةأ=أ{\textstyle A=a}يمكن تعريفها على النحو التالي: دأناsجأ=أ(د)=|{X∈د|X(أ)≠أ،X(Y)=+}||{X∈د|X(أ)≠أ}|-|{X∈د|X(أ)=أ،X(Y)=+}||{X∈د|X(أ)=أ}|{\displaystyle disc_{A=a}(D)={\frac {|\{X\in D|X(A)\neq a,X(Y)=+\}|}{|\{X\in D|X(A)\neq a\}|}}-{\frac {|\{X\in D|X(A)=a,X(Y)=+\}|}{|\{X\in D|X(A)=a\}|}}}

أي، تقريب للفرق بين احتمالات الانتماء إلى الفئة الإيجابية بالنظر إلى أن الشخص لديه سمة محمية مختلفة عنأ{\textstyle a}ويساويأ{\textstyle a}.

تعمل الخوارزميات التي تصحح التحيز في مرحلة المعالجة المسبقة على إزالة المعلومات المتعلقة بمتغيرات مجموعة البيانات التي قد تؤدي إلى قرارات غير عادلة، مع الحرص على تقليل التغييرات قدر الإمكان. ولا يقتصر الأمر على مجرد إزالة المتغير الحساس، إذ قد ترتبط سمات أخرى بالمتغير المحمي.

إحدى طرق القيام بذلك هي ربط كل فرد في مجموعة البيانات الأولية بتمثيل وسيط يستحيل فيه تحديد ما إذا كان ينتمي إلى فئة محمية معينة، مع الحفاظ على أكبر قدر ممكن من المعلومات. بعد ذلك، يتم تعديل التمثيل الجديد للبيانات للحصول على أقصى دقة في الخوارزمية.

بهذه الطريقة، يتم تمثيل الأفراد في نموذج متعدد المتغيرات جديد، حيث يكون احتمال تمثيل أي فرد من مجموعة محمية بقيمة معينة في هذا النموذج مساوياً لاحتمال تمثيل فرد لا ينتمي إلى المجموعة المحمية. ثم يُستخدم هذا النموذج للحصول على التنبؤ الخاص بالفرد، بدلاً من البيانات الأولية. ولأن النموذج الوسيط يُبنى بحيث يُعطي الاحتمال نفسه للأفراد داخل المجموعة المحمية أو خارجها، فإن هذه السمة تبقى مخفية عن المصنف.

يُشرح مثال في دراسة زيميل وآخرون [ 50 ] حيث يُستخدم متغير عشوائي متعدد الحدود كتمثيل وسيط. وفي هذه العملية، يُشجع النظام على الاحتفاظ بجميع المعلومات باستثناء تلك التي قد تؤدي إلى قرارات متحيزة، وعلى الحصول على تنبؤ دقيق قدر الإمكان.

من جهة، تتميز هذه الطريقة بإمكانية استخدام البيانات المُعالجة مسبقًا في أي مهمة من مهام التعلم الآلي. علاوة على ذلك، لا حاجة لتعديل المصنف، إذ يُطبق التصحيح على مجموعة البيانات قبل المعالجة. من جهة أخرى، تُحقق الطرق الأخرى نتائج أفضل من حيث الدقة والإنصاف.

إعادة الوزن

إعادة الترجيح مثال على خوارزمية المعالجة المسبقة. وتتلخص الفكرة في تعيين وزن لكل نقطة من نقاط مجموعة البيانات بحيث يكون التمييز المرجح صفرًا بالنسبة للمجموعة المحددة. [ 51 ]

إذا كانت مجموعة البياناتد{\textstyle D}كان المتغير الحساس غير متحيزأ{\textstyle A}والمتغير المستهدفY{\textstyle Y}ستكون مستقلة إحصائياً، وسيكون احتمال التوزيع المشترك هو حاصل ضرب الاحتمالات كما يلي: Pهـxص(أ=أ∧Y=+)=P(أ=أ)×P(Y=+)=|{X∈د|X(أ)=أ}||د|×|{X∈د|X(Y)=+}||د|{\displaystyle P_{exp}(A=a\wedge Y=+)=P(A=a)\times P(Y=+)={\frac {|\{X\in D|X(A)=a\}|}{|D|}}\times {\frac {|\{X\in D|X(Y)=+\}|}{|D|}}}

لكن في الواقع، مجموعة البيانات ليست غير متحيزة والمتغيرات ليست مستقلة إحصائياً، لذا فإن الاحتمال الملاحظ هو: Poبs(أ=أ∧Y=+)=|{X∈د|X(أ)=أ∧X(Y)=+}||د|{\displaystyle P_{obs}(A=a\wedge Y=+)={\frac {|\{X\in D|X(A)=a\wedge X(Y)=+\}|}{|D|}}}

وللتعويض عن هذا التحيز، يضيف البرنامج وزناً ، أقل للعناصر المفضلة وأعلى للعناصر غير المفضلة. لكل عنصرX∈د{\textstyle X\in D}نحصل على: دبليو(X)=Pهـxص(أ=X(أ)∧Y=X(Y))Poبs(أ=X(أ)∧Y=X(Y)){\displaystyle W(X)={\frac {P_{exp}(A=X(A)\wedge Y=X(Y))}{P_{obs}(A=X(A)\wedge Y=X(Y))}}}

عندما يكون لدينا لكلX{\textstyle X}الوزن المرتبطدبليو(X){\textstyle W(X)}نحسب التمييز المرجح بالنسبة للمجموعةأ=أ{\textstyle A=a}على النحو التالي: دأناsجأ=أ(د)=∑دبليو(X)X∈{X∈د|X(أ)≠أ،X(Y)=+}∑دبليو(X)X∈{X∈د|X(أ)≠أ}-∑دبليو(X)X∈{X∈د|X(أ)=أ،X(Y)=+}∑دبليو(X)X∈{X∈د|X(أ)=أ}{\displaystyle disc_{A=a}(D)={\frac {\sum W(X)X\in \{X\in D|X(A)\neq a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)\neq a\}}}-{\frac {\sum W(X)X\in \{X\in D|X(A)=a,X(Y)=+\}}{\sum W(X)X\in \{X\in D|X(A)=a\}}}}

يمكن إثبات أن هذا التمييز المرجح يساوي صفرًا بعد إعادة ترجيحه.

إجراءات الالتحاق

يتمثل أحد الأساليب الأخرى في تصحيح التحيز أثناء التدريب. ويمكن تحقيق ذلك بإضافة قيود إلى هدف التحسين للخوارزمية. [ 52 ] تجبر هذه القيود الخوارزمية على تحسين العدالة، من خلال الحفاظ على معدلات متساوية لبعض المقاييس للمجموعة المحمية وبقية الأفراد. على سبيل المثال، يمكننا إضافة شرط إلى هدف الخوارزمية ينص على أن معدل النتائج الإيجابية الخاطئة متساوٍ للأفراد داخل المجموعة المحمية وخارجها.

تعتمد هذه الطريقة بشكل أساسي على معدل النتائج الإيجابية الخاطئة، ومعدل النتائج السلبية الخاطئة، ومعدل التصنيف الخاطئ الإجمالي. يمكن إضافة قيد واحد أو أكثر من هذه القيود إلى هدف الخوارزمية. تجدر الإشارة إلى أن تساوي معدلات النتائج السلبية الخاطئة يستلزم تساوي معدلات النتائج الإيجابية الصحيحة، مما يعني تكافؤ الفرص. بعد إضافة هذه القيود، قد يصبح حل المشكلة معقدًا، لذا قد يكون من الضروري تخفيفها.

إزالة التحيز العدائي

نقوم بتدريب مصنفين في الوقت نفسه باستخدام طريقة تعتمد على التدرج (مثل: انحدار التدرج ). يحاول المصنف الأول، وهو المتنبئ ، إنجاز مهمة التنبؤ.Y{\textstyle Y}، المتغير المستهدف، معطىX{\textstyle X}، المدخل، عن طريق تعديل أوزانهدبليو{\textstyle W}لتقليل دالة الخسارةلP(y^،y){\textstyle L_{P}({\hat {y}},y)}أما الثاني، فيحاول فيه الخصم إنجاز مهمة التنبؤ.أ{\textstyle A}المتغير الحساس، بالنظر إلىY^{\textstyle {\hat {Y}}}عن طريق تعديل أوزانهايو{\textstyle U}لتقليل دالة الخسارةلأ(أ^،أ){\textstyle L_{A}({\hat {a}},a)}[ 53 ] من النقاط المهمة هنا أنه لكي ينتشر بشكل صحيح ،Y^{\textstyle {\hat {Y}}}يجب أن يشير ما سبق إلى المخرجات الأولية للمصنف، وليس إلى التنبؤ المنفصل؛ على سبيل المثال، مع شبكة عصبية اصطناعية ومسألة تصنيف،Y^{\textstyle {\hat {Y}}}قد يشير ذلك إلى مخرجات طبقة softmax .

ثم نقوم بالتحديثيو{\textstyle U}لتقليللأ{\textstyle L_{A}}في كل خطوة من خطوات التدريب وفقًا للتدرج∇يولأ{\textstyle \nabla _{U}L_{A}}ونقوم بالتعديلدبليو{\textstyle W}وفقًا للتعبير: ∇دبليولP-صرoج∇دبليولأ∇دبليولP-α∇دبليولأ{\displaystyle \nabla _{W}L_{P}-proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}-\alpha \nabla _{W}L_{A}} أينα\alphaهو مُعامل فائق قابل للتعديل يمكن أن يتغير في كل خطوة زمنية.

التمثيل البياني للمتجهات المستخدمة في إزالة التحيز العدائي كما هو موضح في Zhang et al. [ 53 ]

الفكرة البديهية هي أننا نريد من المتنبئ أن يحاول تقليللP{\textstyle L_{P}}(لذلك المصطلح∇دبليولP{\textstyle \nabla _{W}L_{P}}) مع تحقيق أقصى قدر من ) وفي الوقت نفسه،لأ{\textstyle L_{A}}(لذلك المصطلح-α∇دبليولأ{\textstyle -\alpha \nabla _{W}L_{A}})، بحيث يفشل الخصم في التنبؤ بالمتغير الحساس من Y^{\textstyle {\hat {Y}}}.

على المدى-صرoج∇دبليولأ∇دبليولP{\textstyle -proj_{\nabla _{W}L_{A}}\nabla _{W}L_{P}}يمنع المتنبئ من التحرك في اتجاه يساعد الخصم على تقليل دالة الخسارة الخاصة به.

يمكن إثبات أن تدريب نموذج تصنيف تنبؤي باستخدام هذه الخوارزمية يحسن التكافؤ الديموغرافي فيما يتعلق بتدريبه بدون الخصم .

المعالجة اللاحقة

تحاول الطريقة الأخيرة تصحيح نتائج المصنف لتحقيق العدالة. في هذه الطريقة، لدينا مصنف يُرجع درجة لكل فرد، ونحتاج إلى إجراء تنبؤ ثنائي لهذه الدرجات. من المرجح أن تُسفر الدرجات العالية عن نتيجة إيجابية، بينما من المرجح أن تُسفر الدرجات المنخفضة عن نتيجة سلبية، ولكن يمكننا تعديل العتبة لتحديد متى تكون الإجابة بنعم حسب الرغبة. تجدر الإشارة إلى أن الاختلافات في قيمة العتبة تؤثر على المفاضلة بين معدلات النتائج الإيجابية الصحيحة والنتائج السلبية الصحيحة.

إذا كانت دالة التقييم عادلة بمعنى أنها مستقلة عن السمة المحمية، فإن أي اختيار للعتبة سيكون عادلاً أيضاً، ولكن المصنفات من هذا النوع تميل إلى التحيز، لذا قد يلزم استخدام عتبة مختلفة لكل مجموعة محمية لتحقيق العدالة. [ 54 ] إحدى طرق القيام بذلك هي رسم معدل الإيجابية الحقيقية مقابل معدل السلبية الكاذبة عند إعدادات عتبة مختلفة (يُسمى هذا منحنى ROC ) وإيجاد عتبة تتساوى عندها المعدلات للمجموعة المحمية والأفراد الآخرين. [ 54 ]

التصنيف القائم على خيار الرفض

بفرض وجود مصنف، لنفترضP(+|X){\textstyle P(+|X)}ليكن الاحتمال الذي تحسبه المصنفات هو احتمال أن تكون الحالةX{\textstyle X}ينتمي إلى الفئة الموجبة +. عندماP(+|X){\textstyle P(+|X)}إذا كانت القيمة قريبة من 1 أو من 0، فإن الحالةX{\textstyle X}يتم تحديدها بدرجة عالية من اليقين على أنها تنتمي إلى الفئة + أو – على التوالي. ومع ذلك، عندماP(+|X){\textstyle P(+|X)}كلما اقتربت القيمة من 0.5، أصبح التصنيف أكثر غموضاً. [ 55 ]

نقولX{\textstyle X}يُعتبر "حالة مرفوضة" إذامأx(P(+|X)،1-P(+|X))≤θ{\textstyle max(P(+|X),1-P(+|X))\leq \theta }مع شيء معينθ{\textstyle \theta }بحيث0.5<θ<1{\textstyle 0.5<\theta <1}.

تعتمد خوارزمية "ROC" على تصنيف الحالات غير المرفوضة وفقًا للقاعدة المذكورة أعلاه، وتصنيف الحالات المرفوضة على النحو التالي: إذا كانت الحالة مثالًا على مجموعة محرومة (X(أ)=أ{\displaystyle X(A)=a}ثم قم بتصنيفها على أنها إيجابية، وإلا فقم بتصنيفها على أنها سلبية.

يمكننا تحسين مقاييس التمييز المختلفة (رابط) كدوال لـθ{\textstyle \theta }لإيجاد الحل الأمثلθ{\textstyle \theta }لكل مشكلة، وتجنب التمييز ضد المجموعة المتميزة. [ 55 ]

انظر أيضاً

مراجع

  1. ↑ كاتون، سيمون؛ هاس، كريستيان (2024). "الإنصاف في التعلم الآلي: دراسة استقصائية". مجلة ACM Computing Surveys . 56 (7): 1–38 . arXiv : 2010.04053 . doi : 10.1145/3616865 .
  2. 1 2 ماتو، جوليا أنجوين، جيف لارسون، لورين كيرشنر، سوريا. "التحيز الآلي" . برو بابليكا . تم الاطلاع عليه بتاريخ 16 أبريل 2022 .{{cite web}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  3. ↑ فريدلر، سوريل أ.؛ شيدجر، كارلوس؛ فينكاتاسوبرامانيان، سوريش (أبريل 2021). "إمكانية (عدم) إمكانية العدالة: تتطلب أنظمة القيم المختلفة آليات مختلفة لاتخاذ قرارات عادلة" . مجلة اتصالات رابطة مكائن ​​الحوسبة . 64 (4): 136-143 . doi : 10.1145/3433949 . ISSN 0001-0782 . S2CID 1769114 .  
  4. 1 2 مهرابي، نيناريه؛ مورستاتر، فريد؛ ساكسينا، نريبسوتا؛ ليرمان، كريستينا؛ غالستيان، آرام (13 يوليو 2021). "دراسة استقصائية حول التحيز والإنصاف في التعلم الآلي" . مجلة ACM Computing Surveys . 54 (6): 115:1–115:35. arXiv : 1908.09635 . doi : 10.1145/3457607 . ISSN 0360-0300 . S2CID 201666566 .  
  5. ↑ "الإنصاف في الذكاء الاصطناعي 360" . aif360.mybluemix.net . مؤرشف من الأصل بتاريخ 29 يونيو 2022. تم الاطلاع عليه بتاريخ 18 نوفمبر 2022 .
  6. ↑ "مجموعة أدوات IBM AI Fairness 360 مفتوحة المصدر تضيف وظائف جديدة" . Tech Republic. 4 يونيو 2020.
  7. ↑ "ممارسات الذكاء الاصطناعي المسؤولة" . جوجل للذكاء الاصطناعي . تم الاطلاع عليه بتاريخ 18 نوفمبر 2022 .
  8. ↑ مؤشرات العدالة ، tensorflow، 10 نوفمبر 2022 ، تم الاطلاع عليه في 18 نوفمبر 2022
  9. ↑ "كيف نستخدم تقنية Fairness Flow للمساعدة في بناء ذكاء اصطناعي يعمل بشكل أفضل للجميع" . ai.facebook.com . تم الاطلاع عليه بتاريخ 18 نوفمبر 2022 .
  10. ↑ "خبراء الذكاء الاصطناعي يحذرون من أن أداة مكافحة التحيز في فيسبوك "غير كافية تمامًا"" . VentureBeat . 31 مارس 2021. تم الاطلاع عليه بتاريخ 18 نوفمبر 2022. "
  11. ↑ هاتشينسون، بن؛ ميتشل، مارغريت (29 يناير 2019). "50 عامًا من (عدم) نزاهة الاختبارات". وقائع مؤتمر العدالة والمساءلة والشفافية . نيويورك، نيويورك، الولايات المتحدة الأمريكية: ACM FAT*'19. الصفحات 49-58 . arXiv : 1811.10104 . doi : 10.1145/3287560.3287600 . ISBN  9781450361255.
  12. 1 2 3 لو، كويني؛ بويت، مايكل جيه؛ سميث، مايكل دي (23 مايو 2023)، مرآة منظور الفيل: التحقيق في التحيز اللغوي على جوجل، تشات جي بي تي، ويكيبيديا، ويوتيوب ، arXiv : 2303.16281
  13. ↑ كوتيك، هاداس؛ دوكوم، ريكر؛ صن، ديفيد (5 نوفمبر 2023). "التحيز الجنسي والقوالب النمطية في نماذج اللغة الكبيرة" . وقائع مؤتمر الذكاء الجماعي التابع لجمعية آلات الحوسبة . CI '23. نيويورك، نيويورك، الولايات المتحدة الأمريكية: جمعية آلات الحوسبة. الصفحات 12-24 . arXiv : 2308.14921 . doi : 10.1145/3582269.3615599 . ISBN  979-8-4007-0113-9.
  14. ↑ "استخدام أساليب تعتمد على البيانات لتحديد التحيز الجنسي في ملفات تعريف لينكدإن" . معالجة المعلومات وإدارتها . 60 (5) 103423. معالجة المعلومات وإدارتها 60(5)، 103423، 2023. doi : 10.1016/j.ipm.2023.103423 .
  15. ↑ تشو، كارين؛ تان، تشينهاو (ديسمبر 2023). بوعمر، هدى؛ بينو، خوان؛ بالي، كاليكا (محررون). "التقييم القائم على الكيانات للتحيز السياسي في التلخيص الآلي" . نتائج مؤتمر رابطة اللغويات الحاسوبية: EMNLP 2023. سنغافورة: رابطة اللغويات الحاسوبية: 10374-10386 . arXiv : 2305.02321 . doi : 10.18653/v1/2023.findings-emnlp.696 .
  16. ↑ «المدعي العام إريك هولدر يلقي كلمة في الاجتماع السنوي السابع والخمسين للجمعية الوطنية لمحامي الدفاع الجنائي والمؤتمر الثالث عشر لشبكة العدالة الجنائية بالولايات» . www.justice.gov . 1 أغسطس 2014. تاريخ الاطلاع: 16 أبريل 2022 .
  17. ↑ ديتريش، ويليام؛ ميندوزا، كريستينا؛ برينان، تيم (2016). "مقاييس مخاطر COMPAS: إثبات الدقة والإنصاف والتكافؤ التنبؤي" (ملف PDF) . شركة نورثبوينت .
  18. ↑ أنجوين، جيف لارسون، جوليا (29 يوليو 2016). "رد فني على نورثبوينت" . برو بابليكا . تم الاطلاع عليه في 18 نوفمبر 2022 .{{cite web}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
  19. ↑ روز، آدم (22 يناير 2010). "هل كاميرات التعرف على الوجوه عنصرية؟" . مجلة تايم . ISSN 0040-781X . تاريخ الاسترجاع: 18 نوفمبر 2022 . 
  20. ↑ «جوجل تعتذر عن خاصية الوسم التلقائي العنصري في تطبيق الصور» . صحيفة الغارديان . 1 يوليو 2015. تاريخ الاطلاع: 16 أبريل 2022 .
  21. ↑ «تم تقييم مسابقة جمال بواسطة الذكاء الاصطناعي، ولم تُعجب الروبوتات بالبشرة الداكنة» . صحيفة الغارديان . 8 سبتمبر 2016. تاريخ الاطلاع: 16 أبريل 2022 .
  22. 1 2 بوولامويني، جوي ؛ جبرو، تيمنيت (فبراير 2018). ظلال النوع الاجتماعي: تفاوتات الدقة المتقاطعة في التصنيف التجاري للجنس (ملف PDF) . مؤتمر العدالة والمساءلة والشفافية. نيويورك، نيويورك، الولايات المتحدة الأمريكية. الصفحات 77-91 . 
  23. ↑ «طالبة تثبت تحيز خوارزمية تويتر نحو الوجوه ذات البشرة الفاتحة، والنحيفة، والأصغر سناً» . صحيفة الغارديان . ١٠ أغسطس ٢٠٢١. تاريخ الاطلاع: ١٨ نوفمبر ٢٠٢٢ .
  24. ^ openai/dalle-2-preview ، OpenAI، 17 نوفمبر 2022 ، استرجاعها 18 نوفمبر 2022
  25. ↑ "لا حلول سريعة: كيف أوضح نموذج DALL·E 2 من OpenAI تحديات التحيز في الذكاء الاصطناعي" . أخبار NBC . 27 يوليو 2022. تم الاطلاع عليه بتاريخ 23 يوليو 2024 .
  26. ↑ «أمازون تلغي أداة توظيف سرية تعمل بالذكاء الاصطناعي أظهرت تحيزًا ضد النساء» . رويترز . ١٠ أكتوبر ٢٠١٨. تم الاطلاع عليه بتاريخ ١٨ نوفمبر ٢٠٢٢ .
  27. ↑ "خوارزمية بطاقة آبل تثير مزاعم بالتحيز الجنسي ضد غولدمان ساكس" . صحيفة واشنطن بوست . الرقم الدولي الموحد للدوريات 0190-8286 . تاريخ الاطلاع: 18 نوفمبر 2022 . 
  28. ↑ مارتينيز، إيمانويل؛ كيرشنر، لورين (25 أغسطس 2021). "التحيز الخفي في خوارزميات الموافقة على الرهن العقاري - ذا مارك أب" . themarkup.org . تم الاطلاع عليه بتاريخ 18 نوفمبر 2022 .
  29. ↑ روجيري، سالفاتوري؛ ألفاريز، خوسيه م.؛ بوجنانا، أندريا؛ ستات، لورا؛ توريني، فرانكو (26 يونيو 2023). "هل يمكننا الوثوق بـ Fair-AI؟" . وقائع مؤتمر AAAI حول الذكاء الاصطناعي . 37 (13). جمعية النهوض بالذكاء الاصطناعي (AAAI): 15421-15430 . doi : 10.1609/aaai.v37i13.26798 . hdl : 11384/136444 . ISSN 2374-3468 . S2CID 259678387 .  
  30. ^ بويل مارتن. دي بي، تيجل (2022). “القيود المتأصلة في عدالة الذكاء الاصطناعي”. اتصالات ACM . 67 (2): 48-55 . أرخايف : 2212.06495 . دوى : 10.1145/3624700 . اتش دي ال : 1854/LU-01GMNH04RGNVWJ730BJJXGCY99 .
  31. ↑ كاستلنوفو، أليساندرو؛ إنفيراردي، نيكول؛ نانينو، غابرييل؛ بينكو، إيلاريا جوزيبينا؛ ريغولي، دانييلي (2023). "هل هذا عادل بما فيه الكفاية؟ خريطة للقيود الحالية لمتطلبات وجود خوارزميات "عادلة". arXiv : 2311.12435 [ cs.AI ].
  32. ↑ غودول، أليكسيا؛ أريغوني، أوتلا؛ شاريسي، فيكي ؛ إسكوبار-بلاناس، مارينا؛ هوبونت، إيزابيل (2024)، "فهم تأثير الإشراف البشري على النتائج التمييزية في صنع القرار المدعوم بالذكاء الاصطناعي"، المؤتمر الأوروبي للذكاء الاصطناعي 2024 ، سلسلة آفاق في الذكاء الاصطناعي وتطبيقاته، دار نشر IOS، الصفحات 1067-1074 ، doi : 10.3233/faia240598 ، ISBN  978-1-64368-548-9
  33. 1 2 3 4 سولون باروكاس؛ موريتز هاردت؛ أرفيند نارايانان، العدالة والتعلم الآلي . تم الاطلاع عليه بتاريخ 15 ديسمبر 2019.
  34. ↑ مايز، إليزابيث (2001). دليل تقييم الجدارة الائتمانية . نيويورك، نيويورك، الولايات المتحدة الأمريكية: دار نشر جلينليك. ص 282. ISBN  0-8144-0619-X.
  35. ↑ بيرك، ريتشارد؛ حيدري، هدى؛ جباري، شاهين؛ كيرنز، مايكل؛ روث، آرون (فبراير 2021). "الإنصاف في تقييمات مخاطر العدالة الجنائية: الوضع الراهن" . الأساليب والبحوث الاجتماعية . 50 (1): 3-44 . arXiv : 1703.09207 . doi : 10.1177/0049124118782533 . ISSN 0049-1241 . S2CID 12924416 .  
  36. 1 2 رايز، تيم (3 مارس 2021). "العدالة الجماعية: إعادة النظر في الاستقلالية" . وقائع مؤتمر ACM لعام 2021 حول العدالة والمساءلة والشفافية . ACM. الصفحات 129-137 . arXiv : 2101.02968 . doi : 10.1145/3442188.3445876 . ISBN  978-1-4503-8309-7. S2CID 231667399 . 
  37. 1 2 3 فيرما، ساهيل؛ روبين، جوليا (2018). "شرح تعريفات الإنصاف" . وقائع ورشة العمل الدولية حول إنصاف البرمجيات . ص 1-7 . doi : 10.1145/3194770.3194776 . ISBN  9781450357463. S2CID 49561627 . 
  38. ↑ غورسوي، فوركان؛ كاكادياريس، يوانيس أ. (نوفمبر 2022). "عدالة الارتباك المتساوية: قياس التفاوتات القائمة على المجموعات في أنظمة اتخاذ القرار الآلية". ورش عمل المؤتمر الدولي لهندسة الكهرباء والإلكترونيات (IEEE) حول استخراج البيانات (ICDMW) لعام 2022. IEEE. الصفحات 137-146 . arXiv : 2307.00472 . doi : 10.1109/ICDMW58026.2022.00027 . ISBN  979-8-3503-4609-1. S2CID 256669476 . 
  39. ↑ تشين، فيوليت (شينينغ)؛ هوكر، جيه إن (2021). "العدالة القائمة على الرفاهية من خلال التحسين". arXiv : 2102.00311 [ cs.AI ].
  40. ↑ مولايناثان، سينديل (19 يونيو 2018). العدالة الخوارزمية ودالة الرفاه الاجتماعي . كلمة رئيسية في المؤتمر التاسع عشر لجمعية الحوسبة الآلية (ACM) حول الاقتصاد والحوسبة (EC'18) . يوتيوب. الدقيقة 48. بعبارة أخرى، إذا كانت لديك دالة رفاه اجتماعي تهتم فيها بالضرر، وتهتم بالضرر الذي يلحق بالأمريكيين من أصل أفريقي، فها هي النتيجة: انخفاض عدد الأمريكيين من أصل أفريقي في السجون بنسبة 12% بين عشية وضحاها... قبل أن نخوض في تفاصيل الضرر النسبي، تُعرَّف دالة الرفاه بالضرر المطلق، لذا ينبغي علينا حساب الضرر المطلق أولًا.
  41. ↑ ميتشل، شيرا؛ بوتاس، إريك؛ باروكاس، سولون؛ دامور، ألكسندر؛ لوم، كريستيان (2021). "الإنصاف الخوارزمي: الخيارات والافتراضات والتعريفات" . المراجعة السنوية للإحصاء وتطبيقاته . 8 (1): 141-163 . arXiv : 1811.07867 . Bibcode : 2021AnRSA...8..141M . doi : 10.1146/annurev-statistics-042720-125902 . S2CID 228893833 . 
  42. ^ كاستلنوفو، اليساندرو. كروبي، ريكاردو؛ جريكو، جريتا؛ ريجولي، دانييل. بينكو، إيلاريا جوزيبينا؛ كوسينتيني، أندريا كلاوديو (2022). "توضيح الفروق الدقيقة في مشهد مقاييس العدالة" . التقارير العلمية . 12 (1): 4209. أرخايف : 2106.00467 . بيب كود : 2022NatSR..12.4209C . دوى : 10.1038/s41598-022-07939-1 . بمك 8913820 . بميد 35273279 .  
  43. ↑ مهرابي، نيناريه، فريد مورستاتر، نريبسوتا ساكسينا، كريستينا ليرمان ، وآرام غالستيان. "دراسة استقصائية حول التحيز والإنصاف في التعلم الآلي." مجلة ACM Computing Surveys (CSUR) 54، العدد 6 (2021): 1-35.
  44. ↑ دورك، سينثيا؛ هاردت، موريتز؛ بيتاسي، تونيان؛ رينغولد، عمر؛ زيميل، ريتشارد (2012). "الإنصاف من خلال الوعي" . وقائع المؤتمر الثالث للابتكارات في علوم الحاسوب النظرية - ITCS '12 . الصفحات 214-226 . doi : 10.1145/2090236.2090255 . ISBN  9781450311151. S2CID 13496699 . 
  45. 1 2 كوسنر، إم جيه، لوفتوس، جيه، راسل، سي، وسيلفا، آر. (2017). العدالة المضادة للواقع . التطورات في أنظمة معالجة المعلومات العصبية، 30.
  46. ↑ غالهوترا، ساينيام؛ برون، يوري؛ ميليو، ألكسندرا (2017). "اختبار الإنصاف: اختبار البرمجيات للكشف عن التمييز". وقائع الاجتماع المشترك الحادي عشر لعام 2017 حول أسس هندسة البرمجيات . الصفحات 498-510 . arXiv : 1709.03221 . doi : 10.1145/3106237.3106277 . ISBN  9781450351058. S2CID 6324652 . 
  47. ↑ كوستن، أماندا؛ ميشلر، آلان؛ كينيدي، إدوارد هـ.؛ تشولديكوفا، ألكسندرا (27 يناير 2020). "تقييمات المخاطر الافتراضية، والتقييم، والإنصاف". وقائع مؤتمر 2020 حول الإنصاف والمساءلة والشفافية . FAT* '20. نيويورك، نيويورك، الولايات المتحدة الأمريكية: رابطة آلات الحوسبة. الصفحات 582-593 . doi : 10.1145/3351095.3372851 . ISBN  978-1-4503-6936-7. S2CID 202539649 . 
  48. ↑ ميشلر، آلان؛ كينيدي، إدوارد هـ.؛ تشولديكوفا، ألكسندرا (1 مارس 2021). "الإنصاف في أدوات تقييم المخاطر". وقائع مؤتمر ACM لعام 2021 حول الإنصاف والمساءلة والشفافية . FAccT '21. نيويورك، نيويورك، الولايات المتحدة الأمريكية: رابطة آلات الحوسبة. الصفحات 386-400 . doi : 10.1145/3442188.3445902 . ISBN  978-1-4503-8309-7. S2CID 221516412 . 
  49. 1 2 بليكو، دراغو؛ بارينبويم، إلياس (2022). "تحليل العدالة السببية". arXiv : 2207.11385 .{{cite journal}}يتطلب الاستشهاد بالمجلة ( مساعدة )|journal=
  50. ↑ ريتشارد زيميل؛ يو (ليديل) وو؛ كيفن سويرسكي؛ تونيان بيتاسي؛ سينتيا دورك، تعلم التمثيل العادل . تم الاطلاع عليه في 1 ديسمبر 2019
  51. ↑ فيصل كاميران؛ تون كالدرز، تقنيات معالجة البيانات المسبقة للتصنيف دون تمييز . تم الاطلاع عليه بتاريخ 17 ديسمبر 2019
  52. ↑ محمد بلال ظفر؛ إيزابيل فاليرا؛ مانويل غوميز رودريغيز؛ كريشنا ب. غومادي، العدالة تتجاوز التمييز في المعاملة والتأثير: تعلم التصنيف دون إساءة معاملة تمييزية . تم الاطلاع عليه في 1 ديسمبر 2019
  53. 1 2 بريان هو تشانغ؛ بليك ليموين؛ مارغريت ميتشل، التخفيف من التحيزات غير المرغوب فيها باستخدام التعلم التنافسي . تم الاسترجاع في 17 ديسمبر 2019
  54. 1 2 موريتز هاردت؛ إريك برايس؛ ناثان سريبرو، تكافؤ الفرص في التعلم الخاضع للإشراف . تم الاطلاع عليه في 1 ديسمبر 2019
  55. 1 2 فيصل كاميران؛ عاصم كريم؛ شيانغليانغ تشانغ، نظرية القرار للتصنيف الواعي بالتمييز . تم الاطلاع عليه بتاريخ 17 ديسمبر 2019