تصنيف الكائنات بناءً على التجزئة

تُعنى مشكلة تجزئة الصور بتقسيم الصورة إلى مناطق متعددة وفقًا لمعيار تجانس معين. تتناول هذه المقالة بشكل أساسي مناهج نظرية الرسوم البيانية لتجزئة الصور، وذلك بتطبيق تجزئة الرسوم البيانية عبر القطع الأدنى أو القطع الأقصى . ويمكن اعتبار تصنيف الكائنات القائم على التجزئة حالة خاصة من التجميع الطيفي المطبق على تجزئة الصور.

تطبيقات تجزئة الصور

  • ضغط الصور
    • قم بتقسيم الصورة إلى مكونات متجانسة، واستخدم خوارزمية الضغط الأنسب لكل مكون لتحسين الضغط.
  • التشخيص الطبي
    • التجزئة التلقائية لصور الرنين المغناطيسي لتحديد المناطق السرطانية.
  • رسم الخرائط والقياس
    • التحليل الآلي لبيانات الاستشعار عن بعد من الأقمار الصناعية لتحديد وقياس المناطق ذات الأهمية.
  • مواصلات
    • يُتيح تقسيم شبكة النقل تحديد المناطق التي تتميز بحالات مرور متجانسة. [ 1 ]

التجزئة باستخدام القطع المعيارية

صياغة نظرية الرسم البياني

يمكن تمثيل مجموعة النقاط في فضاء ميزات عشوائي كرسم بياني كامل غير موجه وموزون G = (V, E)، حيث تمثل عقد الرسم البياني النقاط الموجودة في فضاء الميزات. الوزنwأناج{\displaystyle w_{ij}}من حافة(أنا،ج)هـ{\displaystyle (i,j)\in E}هي دالة للتشابه بين العقدأنا{\displaystyle i}وج{\displaystyle j}في هذا السياق، يمكننا صياغة مشكلة تجزئة الصور كمشكلة تقسيم الرسم البياني التي تطلب تقسيمًاV1،،Vك{\displaystyle V_{1},\cdots ,V_{k}}مجموعة الرؤوسV{\displaystyle V}، حيث، وفقًا لمقياس ما، الرؤوس في أي مجموعةVأنا{\displaystyle V_{i}}تتمتع بتشابه كبير، والرؤوس في مجموعتين مختلفتينVأنا،Vج{\displaystyle V_{i},V_{j}}تشابه منخفض.

تخفيضات موحدة

ليكن G = ( V , E , w ) رسمًا بيانيًا مُثقَّلًا.أ{\displaystyle A}وب{\displaystyle B}ليكن مجموعتين جزئيتين من الرؤوس.

يترك:

w(أ،ب)=أناأ،جبwأناج{\displaystyle w(A,B)=\sum \limits _{i\in A,j\in B}w_{ij}}
ncut(أ،ب)=w(أ،ب)w(أ،V)+w(أ،ب)w(ب،V){\displaystyle \operatorname {ncut} (A,B)={\frac {w(A,B)}{w(A,V)}}+{\frac {w(A,B)}{w(B,V)}}}
ناسوك(أ،ب)=w(أ،أ)w(أ،V)+w(ب،ب)w(ب،V){\displaystyle \operatorname {nassoc} (A,B)={\frac {w(A,A)}{w(A,V)}}+{\frac {w(B,B)}{w(B,V)}}}

في نهج القطع المعياري، [ 2 ] لأي قطع(S،S¯){\displaystyle (S,{\overline {S}})}فيجي{\displaystyle G}،ncut(S،S¯){\displaystyle \operatorname {ncut} (S,{\overline {S}})}يقيس التشابه بين الأجزاء المختلفة، وناسوك(S،S¯){\displaystyle \operatorname {nassoc} (S,{\overline {S}})}يقيس التشابه الكلي للرؤوس في نفس الجزء.

منذncut(S،S¯)=2-ناسوك(S،S¯){\displaystyle \operatorname {ncut} (S,{\overline {S}})=2-\operatorname {nassoc} (S,{\overline {S}})}، قطع(S*،S¯*){\displaystyle (S^{*},{\overline {S}}^{*})}ذلك يقللncut(S،S¯){\displaystyle \operatorname {ncut} (S,{\overline {S}})}كما أنه يزيد منناسوك(S،S¯){\displaystyle \operatorname {nassoc} (S,{\overline {S}})}.

حساب القطع(S*،S¯*){\displaystyle (S^{*},{\overline {S}}^{*})}ذلك يقللncut(S،S¯){\displaystyle \operatorname {ncut} (S,{\overline {S}})}هي مسألة صعبة من نوع NP-hard . ومع ذلك، يمكننا إيجاد قطع في وقت متعدد الحدود(S،S¯){\displaystyle (S,{\overline {S}})}ذات وزن معياري صغيرncut(S،S¯){\displaystyle \operatorname {ncut} (S,{\overline {S}})}باستخدام التقنيات الطيفية .

خوارزمية ncut

يترك:

د(أنا)=جwأناج{\displaystyle d(i)=\sum \limits _{j}w_{ij}}

أيضًا، ليكن Dن×ن{\displaystyle n\times n}مصفوفة قطرية معد{\displaystyle d}على القطر، ودعدبليو{\displaystyle W}كنن×ن{\displaystyle n\times n}مصفوفة متناظرة معwأناج=wجأنا{\displaystyle w_{ij}=w_{ji}}.

بعد بعض العمليات الجبرية، نحصل على:

مين(S،S¯)ncut(S،S¯)=مينyyتي(د-دبليو)yyتيدy{\displaystyle \min \limits _{(S,{\overline {S}})}\operatorname {ncut} (S,{\overline {S}})=\min \limits _{y}{\frac {y^{T}(DW)y}{y^{T}Dy}}}

مع مراعاة القيود التالية:

  • yأنا{1،-ب}{\displaystyle y_{i}\in \{1,-b\}}، لبعض الثوابت-ب{\displaystyle -b}
  • yتد1=0{\displaystyle y^{t}D1=0}

التقليلyتي(د-دبليو)yyتيدy{\displaystyle {\frac {y^{T}(DW)y}{y^{T}Dy}}}تخضع المسألة للقيود المذكورة أعلاه، وهي مسألة صعبة من نوع NP . ولجعل المسألة قابلة للحل، نخفف القيود المفروضة علىy{\displaystyle y}، والسماح لها بأخذ قيم حقيقية. يمكن حل المسألة المُخففة عن طريق حل مسألة القيم الذاتية المعممة.(د-دبليو)y=λدy{\displaystyle (D-W)y=\lambda Dy}للحصول على ثاني أصغر قيمة ذاتية معممة.

خوارزمية التقسيم:

  1. بناءً على مجموعة من الخصائص، قم بإنشاء رسم بياني مرجحجي=(V،هـ){\displaystyle G=(V,E)}، احسب وزن كل حافة، ولخص المعلومات فيد{\displaystyle D}ودبليو{\displaystyle W}.
  2. يحل(د-دبليو)y=λدy{\displaystyle (D-W)y=\lambda Dy}بالنسبة للمتجهات الذاتية ذات القيم الذاتية الأصغر الثانية.
  3. استخدم المتجه الذاتي ذو القيمة الذاتية الثانية الأصغر لتقسيم الرسم البياني إلى قسمين (على سبيل المثال، التجميع وفقًا للإشارة).
  4. حدد ما إذا كان ينبغي تقسيم القسم الحالي إلى أقسام فرعية.
  5. قم بتقسيم الأجزاء المجزأة بشكل متكرر، إذا لزم الأمر.

التعقيد الحسابي

يستغرق حل مسألة القيم الذاتية القياسية لجميع المتجهات الذاتية (باستخدام خوارزمية QR ، على سبيل المثال)يا(ن3){\displaystyle O(n^{3})}الوقت. هذا غير عملي لتطبيقات تجزئة الصور حيثن{\displaystyle n}يمثل عدد البكسلات في الصورة.

بما أن خوارزمية القطع غير الكاملة تستخدم متجهًا ذاتيًا واحدًا فقط، وهو المتجه المقابل لأصغر قيمة ذاتية معممة ثانية، فإنه يمكن تحسين الكفاءة بشكل كبير إذا تم حل مسألة القيمة الذاتية المقابلة بطريقة لا تعتمد على المصفوفات ، أي دون التعامل مع المصفوفة W أو حتى حسابها بشكل صريح، كما هو الحال في خوارزمية لانكزوس على سبيل المثال . تتطلب الطرق التي لا تعتمد على المصفوفات دالة واحدة فقط تُجري عملية ضرب مصفوفة في متجه لمتجه معين، في كل تكرار. في تجزئة الصور، تكون المصفوفة W عادةً مصفوفة متفرقة، تحتوي على عدد من العناصر غير الصفرية.يا(ن){\displaystyle O(n)}لذا فإن عملية ضرب المصفوفة في المتجه تأخذيا(ن){\displaystyle O(n)}وقت.

بالنسبة للصور عالية الدقة، غالبًا ما تكون القيمة الذاتية الثانية غير مستقرة ، مما يؤدي إلى بطء تقارب خوارزميات حل القيم الذاتية التكرارية، مثل خوارزمية لانكزوس . يُعدّ التكييف المسبق تقنية أساسية لتسريع التقارب، كما هو الحال في طريقة LOBPCG الخالية من المصفوفات . يستغرق حساب المتجه الذاتي باستخدام طريقة خالية من المصفوفات ومُكيّفة مسبقًا بشكل أمثل وقتًا.يا(ن){\displaystyle O(n)}الوقت، وهو التعقيد الأمثل، لأن المتجه الذاتي لديهن{\displaystyle n}عناصر.

تطبيقات البرمجيات

تستخدم مكتبة scikit-learn [ 3 ] خوارزمية LOBPCG من SciPy مع التكييف المسبق متعدد الشبكات الجبرية لحل مشكلة القيم الذاتية لمصفوفة لابلاس للرسم البياني لإجراء تجزئة الصورة عبر تقسيم الرسم البياني الطيفي كما تم اقتراحه لأول مرة في [ 4 ] وتم اختباره فعليًا في [ 5 ] و [ 6 ] .

قطع OBJ

تُعدّ خوارزمية OBJ CUT [ 7 ] طريقة فعّالة لتقسيم الكائن تلقائيًا. وهي طريقة عامة، وبالتالي يمكن تطبيقها على أي نموذج لتصنيف الكائنات. عند إعطاء صورة D تحتوي على مثال لفئة كائنات معروفة، مثل الأبقار، تقوم خوارزمية OBJ CUT بحساب تقسيم الكائن، أي أنها تستنتج مجموعة من التصنيفات m . 

ليكن m مجموعة من التصنيفات الثنائية، وليكنΘ{\displaystyle \Theta }يكون مُعامل شكل (Θ{\displaystyle \Theta }(هو شكل مسبق على التصنيفات من نموذج بنية تصويرية متعددة الطبقات (LPS)) دالة طاقةهـ(م،Θ){\displaystyle E(m,\Theta )}يُعرَّف على النحو التالي.

هـ(م،Θ)=ϕx(د|مx)+ϕx(مx|Θ)+Ψxy(مx،مy)+ϕ(د|مx،مy){\displaystyle E(m,\Theta )=\sum \phi _{x}(D|m_{x})+\phi _{x}(m_{x}|\Theta )+\sum \Psi _{xy}(m_{x},m_{y})+\phi (D|m_{x},m_{y})} (1)

على المدىϕx(د|مx)+ϕx(مx|Θ){\displaystyle \phi _{x}(D|m_{x})+\phi _{x}(m_{x}|\Theta )}يُطلق عليه اسم مصطلح أحادي، والمصطلحΨxy(مx،مy)+ϕ(د|مx،مy){\displaystyle \Psi _{xy}(m_{x},m_{y})+\phi (D|m_{x},m_{y})}يُطلق عليه اسم الحد الثنائي. ويتكون الحد الأحادي من الاحتماليةϕx(د|مx){\displaystyle \phi _{x}(D|m_{x})}بناءً على اللون، والإمكانات الأحاديةϕx(مx|Θ){\displaystyle \phi _{x}(m_{x}|\Theta )}بناءً على المسافة منΘ{\displaystyle \Theta }يتكون الحد الثنائي من احتمال مسبقΨxy(مx،مy){\displaystyle \Psi _{xy}(m_{x},m_{y})}ومصطلح متناقضϕ(د|مx،مy){\displaystyle \phi (D|m_{x},m_{y})}.

أفضل أنواع الملصقاتم*{\displaystyle m^{*}}يقللأناwأناهـ(م،Θأنا){\displaystyle \sum \limits _{i}w_{i}E(m,\Theta _{i})}، أينwأنا{\displaystyle w_{i}}يمثل وزن المعاملΘأنا{\displaystyle \Theta _{i}}.

م*=argمينمأناwأناهـ(م،Θأنا){\displaystyle m^{*}=\arg \min \limits _{m}\sum \limits _{i}w_{i}E(m,\Theta _{i})} (2)

الخوارزمية

  1. بالنظر إلى الصورة D، يتم اختيار فئة من فئات الكائنات، على سبيل المثال الأبقار أو الخيول.
  2. يتم مطابقة نموذج LPS المقابل مع D للحصول على العيناتΘ1،،Θs{\displaystyle \Theta _{1},\cdots ,\Theta _{s}}
  3. يتم تحديد دالة الهدف المعطاة بالمعادلة (2) عن طريق حسابهـ(م،Θأنا){\displaystyle E(m,\Theta _{i})}وباستخدامwأنا=ز(Θأنا|Z){\displaystyle w_{i}=g(\Theta _{i}|Z)}
  4. يتم تقليل دالة الهدف باستخدام عملية MINCUT واحدة للحصول على التجزئة m .

مناهج أخرى

مراجع

  1. لوبيز، كليليا؛ لوكليرك، لودوفيك؛ كريشناكوماري، بانشامي؛ تشيابوت، نيكولاس؛ فان لينت، هانز (25 أكتوبر 2017). "الكشف عن الانتظام اليومي لأنماط الازدحام الحضري باستخدام خرائط السرعة ثلاثية الأبعاد" . التقارير العلمية . 7 (14029): 14029. Bibcode : 2017NatSR...714029L . doi : 10.1038/ s41598-017-14237-8 . PMC 5656590. PMID 29070859 .  
  2. جيانبو شي وجيتيندرا مالك (1997): "القطع المعيارية وتجزئة الصور"، مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط، الصفحات 731-737
  3. "التجميع الطيفي - وثائق scikit-learn" .
  4. كنيازيف، أندرو ف. (2003). بولي؛ ديلون؛ غوش؛ كوجان (محررون). خوارزميات الحلول الذاتية المُهيأة الحديثة لتجزئة الصور الطيفية وتقسيم الرسوم البيانية . تجميع مجموعات البيانات الكبيرة؛ المؤتمر الدولي الثالث لمعهد مهندسي الكهرباء والإلكترونيات حول استخراج البيانات (ICDM 2003)، ملبورن، فلوريدا: جمعية الحاسبات التابعة لمعهد مهندسي الكهرباء والإلكترونيات. الصفحات 59-62 . 
  5. كنيازيف، أندرو ف. (2006). تجزئة الصور الطيفية متعددة المقاييس: التكييف المسبق متعدد المقاييس لحساب القيم الذاتية لمصفوفات لابلاس في تجزئة الصور . ورشة عمل التعلم السريع للمتشعبات، WM Williamsburg، VA. doi : 10.13140/RG.2.2.35280.02565 .
  6. كنيازيف، أندرو ف. (2006). تقسيم الرسم البياني الطيفي متعدد المقاييس وتجزئة الصور . ورشة عمل حول الخوارزميات لمجموعات البيانات الضخمة الحديثة، جامعة ستانفورد وياهو! للأبحاث.
  7. إم بي كومار، بي إتش إس تور، وإيه زيسرمان. قطع الهدف. في وقائع مؤتمر IEEE حول رؤية الحاسوب والتعرف على الأنماط ، سان دييغو، الصفحات 18-25، 2005.
  8. إي. بورنشتاين، إس. أولمان: تجزئة من أعلى إلى أسفل خاصة بالفئة . في وقائع المؤتمر الأوروبي السابع حول رؤية الحاسوب، كوبنهاغن، الدنمارك، الصفحات 109-124، 2002.
  9. Z. Tu, X. Chen, AL Yuille, SC Zhu: تحليل الصور: توحيد التجزئة والكشف والتعرف . نحو التعرف على الكائنات على مستوى الفئة 2006: 545–576
  10. ب. لايبي، أ. ليوناردس، ب. شيل: نموذج شكل ضمني لتصنيف وتجزئة الكائنات المدمجة . نحو التعرف على الكائنات على مستوى الفئة 2006: 508-524
  11. ج. وين، ن. جويجيك. لوكاس: تعلم فئات الكائنات باستخدام التجزئة غير الخاضعة للإشراف . في وقائع المؤتمر الدولي لهندسة الكهرباء والإلكترونيات حول رؤية الحاسوب، بكين، 2005.
  12. جيه إم وين، جيه شوتون: حقل عشوائي متسق التخطيط للتعرف على الأجسام المحجوبة جزئيًا وتجزئتها . مؤتمر رؤية الحاسوب وأنماط التعرف (1) 2006: 37-44