ستايلجان

في ديسمبر 2019، أزالت فيسبوك شبكة من الحسابات ذات الهويات المزيفة، وذكرت أن بعضها استخدم صورًا شخصية تم إنشاؤها باستخدام تقنيات التعلم الآلي. ^{[ 17 ]}

تُعدّ شبكة GAN التدريجية ^{[ 9 ]} طريقةً لتدريب شبكات GAN لتوليد الصور على نطاق واسع بثبات، وذلك من خلال تنمية مولد GAN من نطاق صغير إلى نطاق كبير بطريقة هرمية. ومثل شبكة SinGAN، تُقسّم هذه الطريقة المولد إلى أجزاء أصغر.${\displaystyle G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}}$والمميز كـ${\displaystyle D=D_{N}\circ D_{N-1}\circ \cdots \circ D_{1}}$.

أثناء التدريب، في البداية فقط${\displaystyle G_{N},D_{N}}$تُستخدم في لعبة GAN لإنشاء صور بحجم 4x4. ثم${\displaystyle G_{N-1},D_{N-1}}$تتم إضافتها للوصول إلى المرحلة الثانية من لعبة GAN، لتوليد صور بحجم 8x8، وهكذا، حتى نصل إلى لعبة GAN لتوليد صور بحجم 1024x1024.

لتجنب عدم الاستمرارية بين مراحل لعبة الشبكة التوليدية الخصومية (GAN)، يتم دمج كل طبقة جديدة (الشكل 2 من الورقة البحثية ^{[ 9 ]} ). على سبيل المثال، هكذا تبدأ المرحلة الثانية من لعبة الشبكة التوليدية الخصومية:

• قبل ذلك مباشرة، تتكون لعبة GAN من الزوج${\displaystyle G_{N},D_{N}}$توليد وتمييز الصور بحجم 4x4.
• بعد ذلك مباشرة، تتكون لعبة GAN من الزوج${\displaystyle ((1-\alpha )+\alpha \cdot G_{N-1})\circ u\circ G_{N},D_{N}\circ d\circ ((1-\alpha )+\alpha \cdot D_{N-1})}$توليد وتمييز الصور بحجم 8x8. هنا، الوظائف${\displaystyle u,d}$هي وظائف تكبير وتصغير الصور، و${\displaystyle \alpha }$هو عامل مزج (يشبه إلى حد كبير ألفا في تكوين الصور) ينتقل بسلاسة من 0 إلى 1.

تم تصميم StyleGAN كمزيج من GAN التدريجي مع نقل الأنماط العصبية . ^{[ 18 ]}

يتمثل الخيار المعماري الرئيسي لـ StyleGAN-1 في آلية نمو تدريجي، على غرار Progressive GAN. تبدأ كل صورة مُولَّدة كقيمة ثابتة ^{[ ملاحظة 1 ]}${\displaystyle 4\times 4\times 512}$يتم تمرير المصفوفة بشكل متكرر عبر كتل الأنماط. تُطبق كل كتلة نمط "متجه نمط كامن" عبر تحويل أفيني ("تطبيع الحالة التكيفي")، على غرار كيفية استخدام نقل الأنماط العصبية لمصفوفة غراميان . ثم تُضاف الضوضاء، ويتم التطبيع (طرح المتوسط، ثم القسمة على التباين).

في وقت التدريب، عادة ما يتم استخدام متجه نمط كامن واحد فقط لكل صورة يتم إنشاؤها، ولكن في بعض الأحيان يتم استخدام اثنين ("التنظيم المختلط") من أجل تشجيع كل كتلة نمط على أداء نمطها بشكل مستقل دون توقع مساعدة من كتل الأنماط الأخرى (لأنها قد تتلقى متجه نمط كامن مختلف تمامًا).

بعد التدريب، يمكن إدخال متجهات كامنة متعددة للأنماط في كل كتلة نمط. تتحكم المتجهات التي تُدخل إلى الطبقات السفلية في الأنماط واسعة النطاق، بينما تتحكم المتجهات التي تُدخل إلى الطبقات العليا في أنماط التفاصيل الدقيقة.

مزج الأنماط بين صورتين${\displaystyle x,x'}$يمكن تنفيذ ذلك أيضًا. أولًا، قم بتشغيل خوارزمية التدرج الهبوطي للعثور على${\displaystyle z,z'}$بحيث${\displaystyle G(z)\approx x,G(z')\approx x'}$يُطلق على هذا اسم "إسقاط الصورة مرة أخرى إلى فضاء النمط الكامن ". ثم،${\displaystyle z}$يمكن إدخالها إلى كتل الأنماط السفلية، و${\displaystyle z'}$إلى كتل الأنماط الأعلى، لإنشاء صورة مركبة ذات نمط واسع النطاق من${\displaystyle x}$وأسلوب التفاصيل الدقيقة لـ${\displaystyle x'}$ويمكن أيضاً تجميع صور متعددة بهذه الطريقة.

يتفوق StyleGAN2 على StyleGAN بطريقتين.

أولًا، يطبق هذا الأسلوب متجه النمط الكامن لتحويل أوزان طبقة الالتفاف، وبالتالي يحل مشكلة "البقعة". ^{[ 19 ]} وتكمن مشكلة "البقعة" باختصار في أن استخدام متجه النمط الكامن لتطبيع الصورة المُولَّدة يُفقدها معلومات مفيدة. ونتيجةً لذلك، تعلَّم المُولِّد إنشاء "تشتيت" بواسطة بقعة كبيرة، تمتص معظم تأثير التطبيع (يشبه إلى حد ما استخدام الشعلات لتشتيت صاروخ موجه حراريًا ).

ثانيًا، يستخدم هذا الأسلوب وصلات متبقية، مما يساعده على تجنب ظاهرة تعطل بعض الميزات عند فواصل بكسلات. على سبيل المثال، قد يتعطل الخط الفاصل بين سنين عند بكسلات تقبل القسمة على 32، لأن المولد تعلم توليد الأسنان خلال المرحلة N-5، وبالتالي لم يتمكن من توليد سوى أسنان أولية في تلك المرحلة، قبل تكبيرها 5 مرات (وبالتالي فواصل 32).

تم تحديث هذا بواسطة StyleGAN2-ADA ("ADA" اختصار لـ "التكيفي")، ^{[ 20 ]} الذي يستخدم تقنية زيادة البيانات القابلة للعكس . كما أنه يضبط مقدار زيادة البيانات المطبقة بالبدء من الصفر، وزيادته تدريجيًا حتى تصل " الخوارزمية الاستدلالية للتجاوز " إلى مستوى مستهدف، ومن هنا جاءت تسمية "التكيفي".

يُحسّن نموذج StyleGAN3 ^{[ 21 ]} من نموذج StyleGAN2 بحلّ مشكلة "التصاق النسيج"، والتي يمكن ملاحظتها في الفيديوهات الرسمية. ^{[ 22 ]} وقد حلّلوا المشكلة باستخدام نظرية نايكويست-شانون لأخذ العينات ، وجادلوا بأن الطبقات في المُولّد تعلّمت استغلال الإشارة عالية التردد في البكسلات التي تعمل عليها.

لحل هذه المشكلة، اقترحوا فرض مرشحات تمرير منخفضة صارمة بين طبقات كل مولد، بحيث يُجبر المولد على التعامل مع البكسلات بطريقة تتوافق مع الإشارات المتصلة التي تمثلها، بدلاً من التعامل معها كإشارات منفصلة فقط. كما فرضوا ثباتًا دورانيًا وانتقاليًا باستخدام المزيد من مرشحات الإشارة . وبذلك، أصبح بإمكان StyleGAN-3 الناتج توليد صور تدور وتنتقل بسلاسة، دون أي تشويش في النسيج.