نموذج الانتشار الكامن

لضغط بيانات الصور، يتم أولاً تدريب نموذج التشفير التلقائي التبايني (VAE) على مجموعة بيانات من الصور. يأخذ جزء التشفير في النموذج صورة كمدخل ويُخرج تمثيلاً كامناً منخفض الأبعاد للصورة. يُستخدم هذا التمثيل الكامن بعد ذلك كمدخل لشبكة U-Net. بمجرد تدريب النموذج، يُستخدم المُشفِّر لترميز الصور إلى تمثيلات كامنة، ويُستخدم المُفكِّك لفك ترميز هذه التمثيلات الكامنة وتحويلها إلى صور.

لنفترض أن المشفر والمفكك الخاصين بـ VAE هما${\displaystyle E,D}$.

لترميز صورة RGB، يتم تقسيم قنواتها الثلاث على القيمة القصوى، مما ينتج عنه موتر.${\displaystyle x}$شكل${\displaystyle (3,512,512)}$مع وجود جميع الإدخالات ضمن النطاق${\displaystyle [0,1]}$المتجه المشفر هو${\displaystyle 0.18215\times E(2x-1)}$، مع شكل${\displaystyle (4,64,64)}$حيث يمثل 0.18215 مُعاملًا فائقًا، اختاره المؤلفون الأصليون لتبييض المتجه المُشفّر تقريبًا إلى تباين يساوي واحدًا. وعلى العكس من ذلك، بالنظر إلى موتر كامن${\displaystyle y}$الصورة التي تم فك تشفيرها هي${\displaystyle (D(y/0.18125)+1)/2}$ثم يتم قصها إلى النطاق${\displaystyle [0,1]}$[ ^{19 ] [ 20 ]​}

في النسخة المُطبقة، ^{[ 3 ] : ldm/models/autoencoder.py} ، يكون المُشفِّر عبارة عن شبكة عصبية التفافية (CNN) مزودة بآلية انتباه ذاتي واحدة قرب النهاية. ويأخذ موترًا ذا شكل${\displaystyle (3,H,W)}$ويُخرج موترًا ذا شكل${\displaystyle (8,H/8,W/8)}$، وهو عبارة عن سلسلة من المتوسط ​​والتباين المتوقعين للمتجه الكامن، كل منهما على شكل${\displaystyle (4,H/8,W/8)}$يتم استخدام التباين في التدريب، ولكن بعد التدريب، عادة ما يتم أخذ المتوسط ​​فقط، مع تجاهل التباين.

وحدة فك التشفير هي أيضًا شبكة عصبية تلافيفية (CNN) مزودة بآلية انتباه ذاتي واحدة قرب نهايتها. وهي تأخذ شكل موتر.${\displaystyle (4,H/8,W/8)}$ويُخرج موترًا ذا شكل${\displaystyle (3,H,W)}$.

يستقبل العمود الفقري لشبكة U-Net الأنواع التالية من المدخلات:

• مصفوفة صور كامنة ، ينتجها مُشفِّر VAE. أبعادها${\displaystyle ({\text{channel}},{\text{width}},{\text{height}})}$. عادة،${\displaystyle ({\text{channel}},{\text{width}},{\text{height}})=(4,64,64)}$.
• متجه تضمين الخطوة الزمنية ، الذي يُخبر العمود الفقري بمقدار التشويش الموجود في الصورة. على سبيل المثال، تضمين الخطوة الزمنية${\displaystyle t=0}$يشير ذلك إلى أن الصورة المدخلة خالية من التشويش بالفعل، بينما${\displaystyle t=100}$وهذا يعني وجود ضوضاء كثيرة.
• سلسلة متجهات تضمين الوسائط ، التي تُشير إلى البنية الأساسية بشروط إضافية لإزالة التشويش. على سبيل المثال، في توليد الصور من النصوص، يُقسّم النص إلى سلسلة من الرموز، ثم يُشفّر بواسطة مُشفّر نصي، مثل مُشفّر CLIP ، قبل إدخاله إلى البنية الأساسية. كمثال آخر، يمكن معالجة صورة مُدخلة بواسطة مُحوّل الرؤية إلى سلسلة من المتجهات، والتي يمكن استخدامها بعد ذلك لتهيئة البنية الأساسية لمهام مثل توليد صورة بنفس النمط.

تُنتج كل عملية تشغيل لشبكة U-Net الأساسية متجه ضوضاء متوقع. يُصغّر هذا المتجه ويُطرح من مصفوفة الصورة الكامنة، مما ينتج عنه صورة كامنة أقل ضوضاءً. تُكرر عملية إزالة الضوضاء وفقًا لجدول زمني محدد ("جدول الضوضاء")، ثم يُعالج مُفكِّك VAE مخرجات الخطوة الأخيرة للحصول على الصورة النهائية.

على غرار شبكة U-Net القياسية ، تتكون البنية الأساسية لشبكة U-Net المستخدمة في SD 1.5 بشكل أساسي من طبقات تصغير متبوعة بطبقات تكبير. مع ذلك، تحتوي البنية الأساسية لشبكة U-Net على وحدات إضافية تُمكّنها من معالجة التضمين. كمثال توضيحي، سنصف طبقة تصغير واحدة في البنية الأساسية:

• تتم معالجة المصفوفة الكامنة والتضمين الزمني بواسطة ResBlock:
  • تتم معالجة المصفوفة الكامنة بواسطة طبقة التفافية .
  • تتم معالجة متجه تضمين الوقت بواسطة شبكة تغذية أمامية ذات طبقة واحدة ، ثم تتم إضافته إلى المصفوفة السابقة (يتم بثها على جميع وحدات البكسل).
  • تتم معالجة هذا بواسطة طبقة التفافية أخرى، ثم يتم تضمين الوقت مرة أخرى.
• تتم معالجة المصفوفة الكامنة وتسلسل متجه التضمين بواسطة SpatialTransformer، وهو في الأساس وحدة فك تشفير قياسية قبل LN Transformer بدون إخفاء سببي.
  • في وحدات الانتباه المتقاطع، تعمل المصفوفة الكامنة نفسها كسلسلة استعلام، حيث يمثل كل بكسل متجه استعلام واحد. على سبيل المثال، إذا كانت أبعاد المصفوفة الكامنة في هذه الطبقة من شبكة U-Net${\displaystyle (128,32,32)}$ثم يكون تسلسل الاستعلام قد${\displaystyle 1024}$متجهات، كل منها يحتوي على${\displaystyle 128}$الأبعاد. يعمل تسلسل متجه التضمين كتسلسل مفتاح وكتسلسل قيمة.
  • عند عدم إدخال أي تسلسل متجه تضمين، فإن كتلة الانتباه المتبادل تُفعّل الانتباه الذاتي افتراضيًا، حيث تعمل المصفوفة الكامنة كاستعلام ومفتاح وقيمة. ^{[ 21 ] : السطر 251}

بلغة شبه رمزية،

دالة ResBlock ( x , time , residual_channels ): x_in = x time_embedding = feedforward_network ( time ) x = concatenate ( x , residual_channels ) x = conv_layer_1 ( activate ( normalize_1 ( x ))) + time_embedding x = conv_layer_2 ( dropout ( activate ( normalize_2 ( x )))) return x_in + xدالة SpatialTransformer ( x , cond ): x_in = x x = normalize ( x ) x = proj_in ( x ) x = cross_attention ( x , cond ) x = proj_out ( x ) return x_in + xدالة unet ( x , time , cond ) : residual_channels = [ ] for resblock , spatialtransformer in downscaling_layers : x = resblock ( x , time ) residual_channels.append ( x ) x = spatialtransformer ( x , cond )x = middle_layer.resblock_1 ( x , time ) x = middle_layer.spatialtransformer ( x , time ) x = middle_layer.resblock_2 ( x , time )​​​​​​لكل resblock و spatialtransformer في upscaling_layers : residual = residual_channels.pop ( ) x = resblock ( concatenate ( x , residual ) , time ) x = spatialtransformer ( x , cond )إرجاع x

يمكن الاطلاع على التصميم المعماري المفصل في ^{[ 22 ] [ 23 ]}