النموذج التوليدي

الموسوعة الحرة

النماذج التوليدية هي فئة من النماذج الحسابية شائعة الاستخدام في التصنيف . في مجال تعلم الآلة ، تُستخدم هذه النماذج عادةً لنمذجة التوزيع المشترك للمدخلات والمخرجات، مثل P(X,Y)، أو لنمذجة كيفية توزيع المدخلات داخل كل فئة، مثل P(X|Y) مع التوزيع الاحتمالي المسبق للفئة P(Y). ولأنها تصف عملية توليد البيانات كاملةً، يمكن استخدام النموذج التوليدي لرسم عينات جديدة تُشابه البيانات المرصودة، وهي عملية تُعرف غالبًا باسم توليد البيانات الاصطناعية . [ 1 ] [ 2 ] [ 3 ] [ 4 ] تُستخدم النماذج التوليدية لتقدير الكثافة ، والمحاكاة ، والتعلم باستخدام البيانات المفقودة أو المصنفة جزئيًا. في مجال التصنيف ، يمكنها التنبؤ بالتصنيفات من خلال دمج P(X|Y) وP(Y) وتطبيق قاعدة بايز . غالبًا ما تُقارن النماذج التوليدية بالنماذج التمييزية ، التي تُركز على التنبؤ بالمخرجات من المدخلات مباشرةً.

تشمل أساليب النماذج التوليدية التي تستخدم توزيع احتمالي مشترك بدلاً من ذلك، مصنفات بايز الساذجة ، ونماذج الخليط الغاوسي ، والمشفرات التلقائية المتغيرة ، والشبكات التوليدية التنافسية وغيرها.

تعريف

في التصنيف الإحصائي ، يُطلق على منهجين رئيسيين اسم المنهج التوليدي والمنهج التمييزي . يحسب هذان المنهجان المصنفات باستخدام أساليب مختلفة، تتباين في درجة النمذجة الإحصائية . المصطلحات غير متسقة، [ أ ] ولكن يمكن تمييز ثلاثة أنواع رئيسية: [ 5 ]

  1. النموذج التوليدي هو نموذج إحصائي لتوزيع الاحتمال المشتركP(X،Y){\displaystyle P(X,Y)}[ 6 ] يمكن استخدام نموذج توليدي " لتوليد " حالات عشوائية ( نتائج ) للملاحظة x . [ 7 ]
  2. النموذج التمييزي هو نموذج للاحتمال الشرطيP(Y|X=x){\displaystyle P(Y\mid X=x)}بالنسبة للهدف Y ، بالنظر إلى الملاحظة x . يمكن استخدامه لـ "تمييز" قيمة المتغير المستهدف Y ، بالنظر إلى الملاحظة x . [ 8 ]
  3. تُعرف المصنفات التي يتم حسابها دون استخدام نموذج احتمالي أيضًا بشكل فضفاض باسم "التمييزية".

لا يُعتمد التمييز بين هاتين الفئتين الأخيرتين بشكلٍ متسق؛ [ 9 ] يشير جيبارا (2004) إلى هذه الفئات الثلاث على أنها التعلم التوليدي ، والتعلم الشرطي ، والتعلم التمييزي ، بينما يميز نغ وجوردان (2002) بين فئتين فقط، ويسميانهما المصنفات التوليدية (التوزيع المشترك) والمصنفات التمييزية (التوزيع الشرطي أو انعدام التوزيع)، دون التمييز بين الفئتين الأخيرتين. [ 10 ] وبالمثل، فإن المصنف القائم على نموذج توليدي هو مصنف توليدي، بينما المصنف القائم على نموذج تمييزي هو مصنف تمييزي، مع العلم أن هذا المصطلح يشمل أيضًا المصنفات التي لا تعتمد على نموذج.

في مجال التصنيف، نرغب في الانتقال من قيمة x إلى تصنيف y (أو توزيع احتمالي للتصنيفات). يمكن حساب ذلك مباشرةً، دون استخدام توزيع احتمالي ( مصنف غير توزيعي )؛ إذ يمكن تقدير احتمالية تصنيف معين بناءً على قيمة معينة.P(Y|X=x){\displaystyle P(Y|X=x)}( النموذج التمييزي )، وبناء التصنيف على ذلك؛ أو يمكن تقدير التوزيع المشتركP(X،Y){\displaystyle P(X,Y)}( النموذج التوليدي )، ومن ثم حساب الاحتمال الشرطيP(Y|X=x){\displaystyle P(Y|X=x)}ثم يُبنى التصنيف على ذلك. هذه الأساليب غير مباشرة بشكل متزايد، ولكنها احتمالية بشكل متزايد، مما يسمح بتطبيق المزيد من المعرفة المتخصصة ونظرية الاحتمالات. عمليًا، تُستخدم مناهج مختلفة، اعتمادًا على المشكلة المحددة، ويمكن للأساليب الهجينة أن تجمع بين نقاط قوة مناهج متعددة.

يُعرّف تقسيم بديل هذه العناصر بشكل متناظر على النحو التالي:

  • النموذج التوليدي هو نموذج للاحتمالية الشرطية للمتغير القابل للملاحظة X ، بالنظر إلى متغير مستهدف y ، بشكل رمزي،P(X|Y=y){\displaystyle P(X\mid Y=y)}[ 7 ]
  • النموذج التمييزي هو نموذج للاحتمالية الشرطية للهدف Y ، بالنظر إلى الملاحظة x ، ويرمز له بـP(Y|X=x){\displaystyle P(Y\mid X=x)}[ 8 ]

بغض النظر عن التعريف الدقيق، فإن هذا المصطلح دستوري لأن النموذج التوليدي يمكن استخدامه "لتوليد" حالات عشوائية ( نتائج )، سواء كانت لملاحظة أو هدف.(x،y){\displaystyle (x,y)}أو لملاحظة x مُعطاة قيمة مستهدفة y ، [ 7 ] بينما يمكن استخدام نموذج تمييزي أو مُصنِّف تمييزي (بدون نموذج) "لتمييز" قيمة المتغير المستهدف Y ، مُعطاة ملاحظة x . [ 8 ] الفرق بين " التمييز " و" التصنيف " دقيق، ولا يتم التمييز بينهما باستمرار. (يصبح مصطلح "المُصنِّف التمييزي" زائداً عندما يكون "التمييز" مُرادفاً لـ"التصنيف").

يُستخدم مصطلح "النموذج التوليدي" أيضًا لوصف النماذج التي تُولّد حالات لمتغيرات الإخراج بطريقة لا ترتبط ارتباطًا واضحًا بتوزيعات الاحتمالات على عينات محتملة من متغيرات الإدخال. تُعدّ الشبكات التوليدية التنافسية أمثلة على هذا النوع من النماذج التوليدية، ويتم تقييمها بشكل أساسي بناءً على مدى تشابه مخرجات مُحددة مع مدخلات محتملة. هذه النماذج ليست مصنفات.

العلاقات بين النموذج

في تطبيقات التصنيف، غالبًا ما يكون المتغير القابل للملاحظة X متغيرًا مستمرًا ، بينما يكون المتغير المستهدف Y عادةً متغيرًا منفصلاً يتكون من مجموعة محدودة من التصنيفات، والاحتمال الشرطيP(Y|X){\displaystyle P(Y\mid X)}ويمكن تفسيرها أيضًا على أنها دالة هدف (غير حتمية)و:X→Y{\displaystyle f\colon X\to Y}، مع اعتبار X كمدخلات و Y كمخرجات.

بالنظر إلى مجموعة محدودة من التصنيفات، فإن تعريفَي "النموذج التوليدي" مرتبطان ارتباطًا وثيقًا. نموذج التوزيع الشرطيP(X|Y=y){\displaystyle P(X\mid Y=y)}يمثل نموذج توزيع كل تصنيف، ونموذج التوزيع المشترك يعادل نموذج توزيع قيم التصنيفاتP(Y){\displaystyle P(Y)}بالإضافة إلى توزيع الملاحظات المعطاة بتصنيف معين،P(X|Y){\displaystyle P(X\mid Y)}بشكل رمزي،P(X،Y)=P(X|Y)P(Y).{\displaystyle P(X,Y)=P(X\mid Y)P(Y).}وبالتالي، في حين أن نموذج التوزيع الاحتمالي المشترك أكثر إفادة من نموذج توزيع التصنيف (ولكن بدون تردداتهما النسبية)، إلا أنها خطوة صغيرة نسبياً، ومن ثم لا يتم التمييز بينهما دائماً.

بافتراض نموذج للتوزيع المشترك،P(X،Y){\displaystyle P(X,Y)}يمكن حساب توزيع المتغيرات الفردية على أنه التوزيعات الهامشية .P(X)=∑yP(X،Y=y){\displaystyle P(X)=\sum _{y}P(X,Y=y)}وP(Y)=∫xP(Y،X=x){\displaystyle P(Y)=\int _{x}P(Y,X=x)}(باعتبار X متغيرًا مستمرًا، وبالتالي التكامل عليه، و Y متغيرًا منفصلاً، وبالتالي الجمع عليه)، ويمكن حساب أي من التوزيعين الشرطيين من تعريف الاحتمال الشرطي :P(X|Y)=P(X،Y)/P(Y){\displaystyle P(X\mid Y)=P(X,Y)/P(Y)}وP(Y|X)=P(X،Y)/P(X){\displaystyle P(Y\mid X)=P(X,Y)/P(X)}.

بافتراض نموذج لاحتمال شرطي واحد، وتوزيعات احتمالية مُقدَّرة للمتغيرين X و Y ، المشار إليهما بـP(X){\displaystyle P(X)}وP(Y){\displaystyle P(Y)}، يمكن للمرء تقدير الاحتمال الشرطي المعاكس باستخدام قاعدة بايز :

P(X|Y)P(Y)=P(Y|X)P(X).{\displaystyle P(X\mid Y)P(Y)=P(Y\mid X)P(X).}

على سبيل المثال، بالنظر إلى نموذج توليدي لـP(X|Y){\displaystyle P(X\mid Y)}ويمكن للمرء أن يقدر ما يلي:

P(Y|X)=P(X|Y)P(Y)/P(X)،{\displaystyle P(Y\mid X)=P(X\mid Y)P(Y)/P(X),}

وبإعطاء نموذج تمييزي لـP(Y|X){\displaystyle P(Y\mid X)}ويمكن للمرء أن يقدر ما يلي:

P(X|Y)=P(Y|X)P(X)/P(Y).{\displaystyle P(X\mid Y)=P(Y\mid X)P(X)/P(Y).}

لاحظ أن قاعدة بايز (حساب احتمال شرطي واحد بدلالة الآخر) وتعريف الاحتمال الشرطي (حساب الاحتمال الشرطي بدلالة التوزيع المشترك) يتم الخلط بينهما في كثير من الأحيان.

قارن بالمصنفات التمييزية

تُصمّم الخوارزمية التوليدية نموذجًا لكيفية توليد البيانات بهدف تصنيف الإشارة. وتطرح السؤال التالي: بناءً على افتراضات التوليد، ما هي الفئة الأكثر احتمالًا لتوليد هذه الإشارة؟ أما الخوارزمية التمييزية، فلا تُعنى بكيفية توليد البيانات، بل تُصنّف الإشارة المُعطاة ببساطة. لذا، تسعى الخوارزميات التمييزية إلى التعلّم.ص(y|x){\displaystyle p(y|x)}مباشرة من البيانات ثم محاولة تصنيفها. من ناحية أخرى، تحاول الخوارزميات التوليدية التعلمص(x،y){\displaystyle p(x,y)}والتي يمكن تحويلها إلىص(y|x){\displaystyle p(y|x)}لاحقًا لتصنيف البيانات. إحدى مزايا الخوارزميات التوليدية هي أنه يمكنك استخدامهاص(x،y){\displaystyle p(x,y)}لتوليد بيانات جديدة مشابهة للبيانات الموجودة. من ناحية أخرى، فقد ثبت أن بعض الخوارزميات التمييزية تعطي أداءً أفضل من بعض الخوارزميات التوليدية في مهام التصنيف. [ 11 ]

على الرغم من أن النماذج التمييزية لا تحتاج إلى نمذجة توزيع المتغيرات المرصودة، إلا أنها لا تستطيع عمومًا التعبير عن العلاقات المعقدة بين المتغيرات المرصودة والمتغيرات المستهدفة. ولكن بشكل عام، لا تتفوق بالضرورة على النماذج التوليدية في مهام التصنيف والانحدار . يُنظر إلى الفئتين على أنهما متكاملتان أو على أنهما وجهان لعملة واحدة. [ 12 ]

التطبيقات

  • أخذ العينات / المحاكاة
  • تصنيف
  • تقدير الكثافة والاحتمالية
  • البيانات المفقودة واستكمالها
  • الكشف عن الحالات الشاذة
  • التعلم شبه الموجه

أمثلة

مثال بسيط

لنفترض أن بيانات الإدخال هيx∈{1،2}{\displaystyle x\in \{1,2\}}، مجموعة التصنيفات لـx{\displaystyle x}يكونy∈{0،1}{\displaystyle y\in \{0,1\}}وهناك النقاط الأربع التالية من البيانات: (x،y)={(1،0)،(1،1)،(2،0)،(2،1)}{\displaystyle (x,y)=\{(1,0),(1,1),(2,0),(2,1)\}}

بالنسبة للبيانات المذكورة أعلاه، تقدير التوزيع الاحتمالي المشتركص(x،y){\displaystyle p(x,y)}ستكون النتائج المستمدة من القياس التجريبي كما يلي:

y=0{\displaystyle y=0}y=1{\displaystyle y=1}
x=1{\displaystyle x=1}1/4{\displaystyle 1/4}1/4{\displaystyle 1/4}
x=2{\displaystyle x=2}1/4{\displaystyle 1/4}1/4{\displaystyle 1/4}

بينماص(y|x){\displaystyle p(y|x)}سوف نتابع:

y=0{\displaystyle y=0}y=1{\displaystyle y=1}
x=1{\displaystyle x=1}1/2{\displaystyle 1/2}1/2{\displaystyle 1/2}
x=2{\displaystyle x=2}1/2{\displaystyle 1/2}1/2{\displaystyle 1/2}

توليد النصوص

يقدم شانون (1948) مثالاً يتم فيه استخدام جدول ترددات أزواج الكلمات الإنجليزية لتوليد جملة تبدأ بـ "representing and speedily is an good"؛ وهي ليست لغة إنجليزية سليمة ولكنها ستقترب منها بشكل متزايد مع انتقال الجدول من أزواج الكلمات إلى ثلاثيات الكلمات وما إلى ذلك.

العائلات والأنواع

النماذج التوليدية

أنواع النماذج التوليدية هي:

إذا كانت البيانات المرصودة مأخوذة بالفعل من النموذج التوليدي، فإن ضبط معلمات هذا النموذج لتعظيم احتمالية البيانات يُعدّ أسلوبًا شائعًا. مع ذلك، ولأن معظم النماذج الإحصائية ما هي إلا تقريبات للتوزيع الحقيقي ، فإذا كان تطبيق النموذج يهدف إلى استنتاج معلومات حول مجموعة فرعية من المتغيرات بناءً على قيم معروفة لمتغيرات أخرى، فيمكن القول إن هذا التقريب يفترض افتراضات أكثر من اللازم لحل المشكلة المطروحة. في مثل هذه الحالات، قد يكون من الأدق نمذجة دوال الكثافة الشرطية مباشرةً باستخدام نموذج تمييزي (انظر أدناه)، مع العلم أن تفاصيل التطبيق هي التي ستحدد في النهاية النهج الأنسب في كل حالة على حدة.

النماذج التوليدية العميقة

مع ظهور التعلم العميق ، نشأت فئة جديدة من الأساليب تُعرف باسم النماذج التوليدية العميقة (DGMs) [ 13 ] [ 14 ] ، وذلك من خلال دمج النماذج التوليدية والشبكات العصبية العميقة. وعادةً ما يصاحب زيادة حجم الشبكات العصبية زيادة في حجم بيانات التدريب، وكلاهما ضروري لتحقيق أداء جيد. [ 15 ]

تشمل نماذج التوليد العميق الشائعة المشفرات التلقائية المتغيرة (VAEs) والشبكات التوليدية التنافسية (GANs) ونماذج الانحدار الذاتي. وقد برز مؤخرًا اتجاه نحو بناء نماذج توليد عميقة ضخمة جدًا. [ 13 ] على سبيل المثال، يُعد GPT-3 ، وسلفه GPT-2 ، [ 16 ] نماذج لغوية عصبية انحدارية ذاتية تحتوي على مليارات المعاملات، بينما يُستخدم BigGAN [ 17 ] وVQ-VAE [ 18 ] لتوليد الصور، وقد يصل عدد معاملاتهما إلى مئات الملايين، أما Jukebox فهو نموذج توليد ضخم جدًا للصوت الموسيقي يحتوي على مليارات المعاملات. [ 19 ]

انظر أيضاً

ملحوظات

  1. ↑ ثلاثة مصادر رئيسية، Ng & Jordan 2002 و Jebara 2004 و Mitchell 2015 ، تقدم تقسيمات وتعريفات مختلفة.

مراجع

  1. ↑ غودفيلو، إيان؛ بينجيو، يوشوا (2016). التعلم العميق . الحوسبة التكيفية والتعلم الآلي. كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0-262-03561-3.
  2. ↑ "ما هو توليد البيانات الاصطناعية؟" . K2View . تم الاطلاع عليه بتاريخ 19-03-2026 .
  3. ↑ مورفي، كيفن ب. (2012). تعلم الآلة: منظور احتمالي . مطبعة معهد ماساتشوستس للتكنولوجيا. ISBN 978-0262018029.
  4. ↑ بيشوب، كريستوفر م. (2006). التعرف على الأنماط والتعلم الآلي . سبرينغر. ISBN 978-0387310732.
  5. ↑ جبارة، توني (2004). التعلم الآلي: التمييزي والتوليدي . سلسلة سبرينغر الدولية في الهندسة وعلوم الحاسوب. كلوير أكاديميك (سبرينغر). ISBN 978-1-4020-7647-3.
  6. ↑ نغ وجوردان (2002) : "تتعلم المصنفات التوليدية نموذجًا للاحتمالية المشتركة،ص(x،y){\displaystyle p(x,y)}، من المدخلات x والتصنيف y ، ويقومون بتوقعاتهم باستخدام قواعد بايز لحسابص(y|x){\displaystyle p(y\mid x)}ثم اختيار التصنيف الأكثر احتمالاً y .
  7. 1 2 3 ميتشل 2015 : "يمكننا استخدام قاعدة بايز كأساس لتصميم خوارزميات التعلم (مقاربات الدوال)، كما يلي: بافتراض أننا نرغب في تعلم دالة هدف معينةو:X→Y{\displaystyle f\colon X\to Y}أو ما يعادل ذلك،P(Y|X){\displaystyle P(Y\mid X)}نستخدم بيانات التدريب لتعلم تقديرات لـP(X|Y){\displaystyle P(X\mid Y)}وP(Y){\displaystyle P(Y)}يمكن بعد ذلك تصنيف أمثلة X الجديدة باستخدام توزيعات الاحتمالية المقدرة هذه، بالإضافة إلى قاعدة بايز. يُطلق على هذا النوع من المصنفات اسم المصنف التوليدي ، لأنه يمكننا رؤية التوزيع.P(X|Y){\displaystyle P(X\mid Y)}كما يصف كيفية توليد حالات عشوائية X مشروطة بالسمات المستهدفة Y.
  8. 1 2 3 ميتشل 2015 : "الانحدار اللوجستي هو خوارزمية تقريب دالة تستخدم بيانات التدريب لتقدير مباشرP(Y|X){\displaystyle P(Y\mid X)}على عكس خوارزمية بايز البسيطة. وبهذا المعنى، يُشار غالبًا إلى الانحدار اللوجستي على أنه مصنف تمييزي لأنه يمكننا رؤية التوزيعP(Y|X){\displaystyle P(Y\mid X)}باعتبارها تميز بشكل مباشر قيمة الهدف Y لأي حالة معينة X
  9. ↑ جيبارا 2004 ، 2.4 التعلم التمييزي : "هذا التمييز بين التعلم الشرطي والتعلم التمييزي ليس حاليًا اتفاقية راسخة في هذا المجال."
  10. ↑ نغ وجوردان 2002 : "المصنفات التمييزية تُنمذج الاحتمال اللاحقص(y|x){\displaystyle p(y|x)}مباشرةً، أو تعلم خريطة مباشرة من المدخلات x إلى تصنيفات الفئات.
  11. ↑ نغ وجوردان 2002
  12. ↑ بيشوب، سي إم؛ لاسير، جيه. (24 سبتمبر 2007)، "التوليدي أم التمييزي؟ الحصول على أفضل ما في كلا العالمين"، في برناردو، جيه إم (محرر)، الإحصاء البايزي 8: وقائع الاجتماع الدولي الثامن في فالنسيا، 2-6 يونيو 2006 ، مطبعة جامعة أكسفورد، ص 3-23 ، ISBN  978-0-19-921465-5
  13. 1 2 "التوسع - الباحثون يطورون نماذج توليدية عميقة واسعة النطاق" . مايكروسوفت . 9 أبريل 2020.
  14. ↑ "النماذج التوليدية" . OpenAI . 16 يونيو 2016.
  15. ↑ كابلان، جاريد؛ ماكاندليش، سام؛ هينيغان، توم؛ براون، توم ب.؛ تشيس، بنجامين؛ تشايلد، ريون؛ غراي، سكوت؛ رادفورد، أليك؛ وو، جيفري؛ أمودي، داريو (2020). "قوانين القياس لنماذج اللغة العصبية". arXiv : 2001.08361 [ stat.ML ].
  16. ↑ "نماذج لغوية أفضل وآثارها" . OpenAI . 14 فبراير 2019.
  17. ↑ بروك، أندرو؛ دوناهو، جيف؛ سيمونيان، كارين (2018). "تدريب الشبكات التوليدية الخصومية واسعة النطاق لتوليف الصور الطبيعية عالية الدقة". arXiv : 1809.11096 [ cs.LG ].
  18. ↑ رضوي، علي؛ فان دن أورد، آرون؛ فينيالس، أوريول (2019). “إنشاء صور متنوعة عالية الدقة باستخدام VQ-VAE-2”. أرخايف : 1906.00446 [ cs.LG ].
  19. ^ "الموسيقي" . أوبن آي . 30 أبريل 2020.

مصادر