نموذج الصورة العميقة

يمكن صياغة المسائل العكسية مثل تقليل الضوضاء ، وتحسين الدقة الفائقة ، وإعادة بناء الصور كمهمة تحسين.${\displaystyle x^{*}=min_{x}E(x;x_{0})+R(x)}$، أين${\displaystyle x}$هي صورة،${\displaystyle x_{0}}$تمثيل مشوه لتلك الصورة،${\displaystyle E(x;x_{0})}$هو مصطلح بيانات يعتمد على المهمة، و R(x) هو المنظم .

تتعلم الشبكات العصبية العميقة مولد/مفكك شفرة${\displaystyle x=f_{\theta }(z)}$والذي يرسم متجه رمز عشوائي${\displaystyle z}$إلى صورة${\displaystyle x}$.

طريقة تشويه الصورة المستخدمة في الإنشاء${\displaystyle x_{0}}$يتم اختيارها للتطبيق المحدد.

في هذا النهج،${\displaystyle R(x)}$يتم استبدال الاحتمال المسبق بالاحتمال المسبق الضمني الذي تم التقاطه بواسطة الشبكة العصبية (حيث${\displaystyle R(x)=0}$بالنسبة للصور التي يمكن إنتاجها بواسطة الشبكات العصبية العميقة و${\displaystyle R(x)=+\infty }$وإلا). وهذا يُعطي معادلة المُصغِّر${\displaystyle \theta ^{*}=argmin_{\theta }E(f_{\theta }(z);x_{0})}$ونتيجة عملية التحسين${\displaystyle x^{*}=f_{\theta ^{*}}(z)}$.

أداة التصغير${\displaystyle \theta ^{*}}$(عادةً ما تكون خوارزمية انحدار التدرج ) تبدأ من معلمات مُهيأة عشوائيًا وتنحدر إلى أفضل نتيجة محلية لتحقيق${\displaystyle x^{*}}$وظيفة الاستعادة.

عادةً، يستخدم نموذج الشبكة العصبية العميقة لتحليل الصور نموذجًا مشابهًا لشبكة U-Net، ولكن بدون وصلات الربط التي تربط وحدات التشفير بوحدات فك التشفير. ويذكر الباحثون في ورقتهم البحثية أن "نتائجنا هنا (وفي مقارنات أخرى مماثلة) تشير إلى أن امتلاك بنية أعمق أمر مفيد، وأن وجود وصلات الربط التي تعمل بكفاءة عالية في مهام التعرف (مثل التجزئة الدلالية) أمر ضار للغاية." ^{[ 1 ]}

مبدأ إزالة التشويش هو استعادة الصورة${\displaystyle x}$من خلال ملاحظة صاخبة${\displaystyle x_{0}}$، أين${\displaystyle x_{0}=x+\epsilon }$التوزيع${\displaystyle \epsilon }$يُعرف أحيانًا (على سبيل المثال: ضوضاء مستشعر التنميط والفوتون ^{[ 2 ]} ) ويمكن دمجه اختياريًا في النموذج، على الرغم من أن هذه العملية تعمل بشكل جيد في إزالة الضوضاء العمياء.

دالة الطاقة التربيعية${\displaystyle E(x,x_{0})=||x-x_{0}||^{2}}$يُستخدم كمعامل بيانات، ويتم إدخاله في معادلة لـ${\displaystyle \theta ^{*}}$ينتج عن ذلك مشكلة التحسين${\displaystyle min_{\theta }||f_{\theta }(z)-x_{0}||^{2}}$.

تُستخدم تقنية الدقة الفائقة لإنشاء نسخة ذات دقة أعلى من الصورة س. يتم ضبط مصطلح البيانات على${\displaystyle E(x;x_{0})=||d(x)-x_{0}||^{2}}$حيث أن d(·) هو عامل تقليل حجم العينة مثل Lanczos الذي يقلل حجم الصورة بمعامل t.

تُستخدم تقنية ترميم الصور لإعادة بناء منطقة مفقودة في الصورة.${\displaystyle x_{0}}$تُعرَّف هذه البكسلات المفقودة بأنها القناع الثنائي${\displaystyle m\in \{0,1\}^{H\times V}}$يُعرَّف مصطلح البيانات على النحو التالي:${\displaystyle E(x;x_{0})=||(x-x_{0})\odot m||^{2}}$(أين${\displaystyle \odot }$(هو منتج هادامارد ).

يكمن المنطق وراء ذلك في أن الخسارة تُحسب فقط على وحدات البكسل المعروفة في الصورة، وستتعلم الشبكة ما يكفي عن الصورة لملء الأجزاء غير المعروفة منها حتى وإن لم تشمل الخسارة المحسوبة تلك الوحدات. تُستخدم هذه الاستراتيجية لإزالة العلامات المائية من الصور بمعاملة العلامة المائية على أنها وحدات بكسل مفقودة.

يمكن تطبيق هذا النهج على صور متعددة. ومن الأمثلة البسيطة التي ذكرها المؤلف إعادة بناء صورة للحصول على إضاءة طبيعية ووضوح من صورة ملتقطة بفلاش وأخرى بدونه. إعادة بناء الفيديو ممكنة، لكنها تتطلب تحسينات لمراعاة الاختلافات المكانية.