إعادة تعلم الآلة

إن عملية إزالة التعلم الآلي هي فرع من فروع التعلم الآلي يركز على إزالة عناصر غير مرغوب فيها محددة، مثل البيانات الخاصة، أو بيانات التدريب الخاطئة أو التي تم التلاعب بها، أو المعلومات القديمة، أو المواد المحمية بحقوق الطبع والنشر، أو المحتوى الضار، أو القدرات الخطيرة، أو المعلومات المضللة، دون الحاجة إلى إعادة بناء النماذج من الصفر.

قد يُطلب من نماذج اللغة الكبيرة ، كتلك التي تُشغّل ChatGPT ، ليس فقط إزالة عناصر مُحددة، بل أيضًا التخلص من "مفهوم" أو "حقيقة" أو "معرفة" يصعب ربطها بأمثلة مُحددة. وقد ظهرت مصطلحات جديدة مثل "تحرير النموذج" و"تحرير المفهوم" و"التخلص من المعرفة" لوصف هذه العملية. ^{[ 1 ]}

كانت الجهود البحثية المبكرة مدفوعة إلى حد كبير بالمادة 17 من اللائحة العامة لحماية البيانات (GDPR )، وهي لائحة الخصوصية للاتحاد الأوروبي المعروفة باسم "الحق في النسيان" ( RTBF )، والتي تم إقرارها عام 2014. ^{[ 2 ] [ 3 ]} لم تتوقع اللائحة العامة لحماية البيانات أن يؤدي تطوير نماذج لغوية ضخمة إلى جعل محو البيانات مهمة معقدة. ^{[ 3 ]} وقد أدت هذه المسألة منذ ذلك الحين إلى أبحاث حول "التعلم الآلي العكسي"، مع تركيز متزايد على إزالة المواد المحمية بحقوق الطبع والنشر، والمحتوى الضار، والقدرات الخطيرة، وحماية البيانات والخصوصية، والمعلومات المضللة. وكما تُشكل التجارب المبكرة لدى البشر التجارب اللاحقة، فإن بعض المفاهيم أكثر جوهرية ويصعب نسيانها. قد تكون معلومة ما متأصلة بعمق في الرسم البياني المعرفي للنموذج لدرجة أن نسيانها قد يُسبب تناقضات داخلية، مما يتطلب تعديلات على أجزاء أخرى من الرسم البياني لحلها.

بدأ الباحثون الآن أيضاً بدراسة عملية التخلص من التعلم في سياق إزالة بيانات التدريب غير الصحيحة أو التي تم التلاعب بها بشكل عدائي، مثل التصنيفات المتحيزة بشكل منهجي أو هجمات التسميم. ^{[ 4 ]}

تُعدّ الخصوصية وحماية البيانات من بين الشواغل التي طُرحت تقنية "إلغاء التعلّم الآلي" لمعالجتها. ^{[ 3 ] [ 5 ]} في حين أن العديد من قوانين الخصوصية، بما في ذلك اللائحة العامة لحماية البيانات (GDPR)، تشترط حذف البيانات كعلاج لجمعها أو معالجتها بشكل غير قانوني، إلا أن حذف البيانات لا يُعدّ علاجًا كافيًا في سياقات التعلّم الآلي. ^{[ 3 ]} تجادل الباحثة القانونية تيفاني سي. لي بأن إلغاء التعلّم الآلي قد يكون علاجًا ضروريًا لانتهاكات الخصوصية في سياقات التعلّم الآلي، لأن "الأثر الخوارزمي" للبيانات المستخدمة في التدريب يبقى، حتى لو حُذفت البيانات من مجموعة بيانات معالج البيانات. ^{[ 5 ]} نظرًا لأن البيانات المستخدمة في مجموعة التدريب يمكن أن يكون لها تأثير مستمر على معلمات النموذج، فإن أي استخدام مستقبلي للنموذج سيحمل معه "الأثر الخوارزمي" للبيانات التي جُمعت أو استُخدمت بشكل غير قانوني. ^{[ 5 ]} في القانون، طُرحت تقنية "إلغاء التعلّم الآلي" كعلاج لجمع البيانات أو استخدامها بشكل غير قانوني. في هذا السياق، يُمكن أيضًا استخدام "إلغاء التعلّم الآلي" بالإضافة إلى التدمير الخوارزمي، أو الإزالة الخوارزمية، أو حذف النموذج. ^{[ 5 ] [ 6 ] [ 7 ]} استُخدمت آلية استرداد الأموال الخوارزمية تحديدًا كأداة إنفاذ من قِبل لجنة التجارة الفيدرالية الأمريكية. ^{[ 5 ] [ 8 ] [ 6 ]} وتجادل الباحثة القانونية كابريس ل. روبرتس بأن آلية استرداد الأموال الخوارزمية يمكن فهمها في إطار مبدأ الإثراء غير المشروع التقليدي أيضًا. ^{[ 9 ]}

في الوقت الراهن، ينبع الدافع وراء عملية إزالة التعلم الآلي من مجموعة متزايدة من المخاوف التي تتجاوز بكثير التركيز الأصلي لهذا المجال على خصوصية البيانات. ويصنف تصنيف شائع الاستخدام في الأدبيات فئتين رئيسيتين من الدوافع. ^{[ 1 ]}

يشمل إلغاء الوصول الحالات التي يطلب فيها صاحب البيانات أو صاحب الحقوق إزالة البيانات التي يملكها أو يتحكم بها. ويرتبط هذا عادةً بقانون الحق في اتخاذ القرار (RTBF) الذي أقره النظام الأوروبي العام لحماية البيانات ( GDPR ) والتشريعات المماثلة مثل قانون خصوصية المستهلك في كاليفورنيا ( CCPA ). تمنح هذه الأنظمة الأفراد الحق القانوني في طلب محو بياناتهم الشخصية من أي نظام قام بمعالجتها، بما في ذلك النماذج التي تم تدريبها عليها. كما يشمل إلغاء الوصول إزالة المحتوى المحمي بحقوق الطبع والنشر أو المحتوى المدفوع الذي تم دمجه في مجموعات بيانات التدريب دون الحصول على التراخيص اللازمة، وهو مصدر قلق برز مع الاستخدام الواسع النطاق لمجموعات بيانات التدريب المسبق التي يتم جمعها في الغالب من الإنترنت. ^{[ 10 ] [ 1 ]}

يشمل تصحيح النموذج الحالات التي يُظهر فيها النموذج سلوكًا غير مرغوب فيه ناتجًا عن بيانات التدريب، بغض النظر عن طلب أي فرد. وهذا يشمل:

• إزالة المخرجات السامة أو المتحيزة أو غير الآمنة الناتجة عن المحتوى الضار في مجموعة التدريب
• تصحيح الارتباطات القديمة أو غير الصحيحة من الناحية الواقعية، مثل المعرفة القديمة المشفرة في نموذج تم نشره
• إزالة القدرات الخطرة، مثل المعرفة التفصيلية بتركيب العوامل الكيميائية أو البيولوجية
• تصحيح تأثير تسميم البيانات أو الهجمات المعادية التي أفسدت سلوك النموذج ^{[ 10 ]}

تمّت صياغة هذه الفئة الثانية رسميًا تحت مسمى "التعلم الآلي التصحيحي العكسي"، والذي يُعرّف التعلم العكسي كآلية لاحقة للتدريب لإصلاح آثار بيانات التدريب السيئة أو الضارة. ويرتبط هذا ارتباطًا وثيقًا بأدبيات سلامة الذكاء الاصطناعي ، حيث وُجد أن ترشيح البيانات وحده غير كافٍ لمنع ترميز المعرفة الخطرة في أوزان النموذج، مما يحفز استخدام التعلم العكسي كاستراتيجية تكميلية لتخفيف المخاطر. ^{[ 11 ] [ 1 ]}

وقد تم التمييز في الدراسات السابقة بين إزالة بيانات التدريب (أي إزالة تأثير بيانات تدريب محددة على معلمات النموذج) وكبحها (أي منع النموذج من توليد مخرجات محددة بغض النظر عن كيفية ترميز تلك المعرفة). وهذان الهدفان ليسا متكافئين: فإزالة بيانات التدريب لا تضمن كبحًا ذا مغزى للمخرجات، وكبح المخرجات لا يعني إزالة تأثير بيانات التدريب الأساسية. ^{[ 11 ]}

SISA هي استراتيجية تدريب تتألف من أربع آليات مصممة لجعل عملية إزالة التعلم الآلي أكثر كفاءة من خلال تنظيم كيفية تدريب النماذج وتحديثها. هدفها هو تمكين النظام من إزالة تأثير نقاط بيانات محددة دون الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر. من خلال إعادة تنظيم بيانات التدريب وسير العمل، تقلل SISA من العبء الحسابي لطلبات إزالة التعلم. ^{[ 12 ]}

تقسم عملية التجزئة مجموعة بيانات التدريب إلى عدة مجموعات فرعية منفصلة، ​​أو أجزاء. يُستخدم كل جزء لتدريب نموذج منفصل. يضمن هذا أن تؤثر نقطة بيانات واحدة على جزء واحد فقط، لذا فإن إلغاء تعلمها يتطلب تحديث الجزء المقابل فقط بدلاً من النموذج بأكمله.

يشير العزل إلى تدريب كل جزء على حدة، دون مشاركة أي بيانات بين الأجزاء أثناء عملية التدريب. يمنع هذا الفصل التلوث المتبادل بين الأجزاء، مما يضمن أن نسيان البيانات في جزء ما لا يتطلب تعديلات على أي جزء آخر.

تقسم عملية التقطيع البيانات داخل كل جزء إلى شرائح متسلسلة، وتخزن حالات النموذج بعد تدريب كل شريحة. عندما يستهدف طلب إعادة التدريب جزءًا من البيانات، يمكن للنظام الرجوع إلى نقطة التفتيش السابقة لتلك النقطة، وإعادة التدريب بدءًا من تلك الشريحة فقط. هذا يقلل وقت إعادة التدريب حتى داخل الجزء الواحد.

تتم عملية التجميع أثناء الاستدلال، عند الاستعلام عن النموذج. حيث يتم دمج مخرجات كل جزء لتحديد مخرجات النموذج الكلي. ويتم ذلك غالبًا من خلال التصويت بالأغلبية أو حساب المتوسط. وهذا ما يسمح للأنظمة المدربة باستخدام SISA بالعمل كنموذج واحد على الرغم من كونها مكونة من نماذج متعددة على مستوى الأجزاء.

تُمكّن هذه الآليات مجتمعةً أنظمة التعلّم الآلي من نسيان نقاط بيانات مُحدّدة بتكلفة حسابية أقل بكثير من إعادة التدريب الكامل. لكنّ المقابل هو أن التجزئة والتقسيم قد يؤديان إلى انخفاض دقة النموذج، وضعف التعميم، وزيادة متطلبات التخزين لنقاط التحقق الوسيطة. ويمكن تقبّل هذا الأمر بناءً على احتياجات الفرد أو المؤسسة للامتثال لحق النسيان أو التعافي بكفاءة من هجمات الاختراق.

تُصنف خوارزميات التعلم الآلي العكسي بشكل عام إلى طرق دقيقة وطرق تقريبية، مما يعكس مقايضة أساسية بين الضمانات الرسمية وسهولة الحساب. ^{[ 1 ]}