خريطة بروز العناصر

📅 آخر تحديث: ٢٣ يوليو ٢٠٢٦
✍️ نُشر في: ٢٣ يوليو ٢٠٢٦
📷 يحتوي على 7 صور
الموسوعة الحرة
منظر لحصن ماربورغ (ألمانيا) وخريطة بروز الصورة باستخدام اللون والشدة والاتجاه.

في مجال رؤية الحاسوب ، تُعدّ خريطة بروز العناصر صورةً تُبرز إما المنطقة التي تركز عليها عيون الإنسان أولاً أو المناطق الأكثر أهمية لنماذج التعلّم الآلي . [ 1 ] يهدف إنشاء خريطة بروز العناصر إلى عكس درجة أهمية البكسل بالنسبة للجهاز البصري البشري أو نموذج التعلّم الآلي الذي قد يكون غير واضح.

على سبيل المثال، في هذه الصورة، ينظر الشخص أولاً إلى الحصن والغيوم الخفيفة، لذلك يجب تمييزها على خريطة الأهمية.

طلب

ملخص

تُستخدم خرائط التمييز في حلّ مجموعة متنوعة من المشكلات المختلفة. بعض التطبيقات العامة:

العين البشرية

  • ضغط الصور والفيديوهات : تركز العين البشرية فقط على منطقة صغيرة من المشهد. لذلك، ليس من الضروري ضغط المشهد بأكمله بجودة موحدة. ووفقًا للمؤلفين، فإن استخدام خريطة بروز العناصر يقلل من الحجم النهائي للفيديو مع الحفاظ على نفس مستوى الإدراك البصري. [ 2 ]
  • تقييم جودة الصور والفيديوهات : تتمثل المهمة الرئيسية لمقياس جودة الصور والفيديوهات في وجود ارتباط قوي بآراء المستخدمين. وتُعطى الاختلافات في المناطق البارزة أهمية أكبر، وبالتالي تُسهم بشكل أكبر في درجة الجودة. [ 3 ]
  • إعادة توجيه الصورة : تهدف هذه التقنية إلى تغيير حجم الصورة عن طريق تكبير أو تصغير المناطق غير المهمة. ولذلك، تعتمد خوارزميات إعادة التوجيه على توفر خرائط بروز العناصر التي تُقدّر بدقة جميع تفاصيل الصورة البارزة. [ 4 ]
  • الكشف عن الأجسام والتعرف عليها : بدلاً من تطبيق خوارزمية معقدة حسابياً على الصورة بأكملها، يمكننا استخدامها على المناطق الأكثر بروزاً في الصورة والتي من المرجح أن تحتوي على جسم ما. [ 5 ]
  • يبدو أن القشرة البصرية الأولية (V1) مسؤولة عن خريطة البروز، وفقًا لفرضية بروز V1 [ 6 ] .

الذكاء الاصطناعي القابل للتفسير

تُعدّ خرائط التمييز أداةً بارزةً في الذكاء الاصطناعي القابل للتفسير ، [ 7 ] إذ تُقدّم تفسيراتٍ بصريةً لعملية اتخاذ القرار في نماذج التعلّم الآلي ، ولا سيما الشبكات العصبية العميقة . تُبرز هذه الخرائط المناطق في بيانات الإدخال الأكثر تأثيرًا على مخرجات النموذج، ما يُشير بوضوح إلى موضع تركيز النموذج عند إجراء التنبؤ. في مهام تصنيف الصور، على سبيل المثال، يُمكن لخرائط التمييز تحديد البكسلات أو المناطق التي تُساهم بشكلٍ كبيرٍ في قرار تصنيف مُحدّد. تتراوح تقنيات رسم خرائط التمييز، المُطوّرة للشبكات العصبية الالتفافية ، من حساب تدرّج درجة التصنيف بالنسبة لبيانات الإدخال إلى خوارزمياتٍ أكثر تعقيدًا، مثل التدرّجات المُتكاملة [ 8 ] ورسم خرائط تنشيط التصنيف . [ 7 ] في بنية المحوّل ، أدّت آليات الانتباه إلى خرائط تمييز مُماثلة، مثل خرائط الانتباه، [ 9 ] وتوسيعات الانتباه، [ 10 ] وخرائط الانتباه المُميّزة للتصنيف. [ 11 ]

بروز العناصر كمشكلة تجزئة

يمكن اعتبار تقدير بروز العناصر مثالاً على تجزئة الصور . في مجال رؤية الحاسوب ، تُعرَّف تجزئة الصور بأنها عملية تقسيم الصورة الرقمية إلى عدة أجزاء (مجموعات من البكسلات، تُعرف أيضاً بالبكسلات الفائقة ). يهدف التجزئة إلى تبسيط تمثيل الصورة أو تغييره ليصبح أكثر وضوحاً وأسهل تحليلاً. تُستخدم تجزئة الصور عادةً لتحديد مواقع الكائنات والحدود (الخطوط، والمنحنيات، وما إلى ذلك) في الصور. وبشكل أدق، تُعرَّف تجزئة الصور بأنها عملية إسناد تصنيف لكل بكسل في الصورة، بحيث تشترك البكسلات التي تحمل التصنيف نفسه في خصائص معينة. [ 12 ]

الخوارزميات

ملخص

توجد ثلاثة أشكال من خوارزميات تقدير بروز العناصر الكلاسيكية المطبقة في مكتبة OpenCV :

  • البروز الثابت: يعتمد على ميزات الصورة والإحصائيات لتحديد مناطق الاهتمام في الصورة.
  • بروز الحركة: يعتمد على الحركة في الفيديو، والتي يتم اكتشافها بواسطة التدفق البصري . تعتبر الأجسام المتحركة بارزة.
  • خاصية وجود الكائن: تعكس هذه الخاصية مدى احتمالية تغطية نافذة الصورة لكائن ما. وتُنشئ هذه الخوارزميات مجموعة من المربعات المحيطة بمكان وجود الكائن في الصورة.

إلى جانب الأساليب التقليدية، تحظى الأساليب القائمة على الشبكات العصبية بشعبية واسعة أيضاً. ومن الأمثلة على استخدام الشبكات العصبية في تقدير بروز الحركة:

  • شبكة TASED-Net : تتكون من وحدتين أساسيتين. أولاً، تقوم شبكة التشفير باستخراج الميزات المكانية والزمانية منخفضة الدقة، ثم تقوم شبكة التنبؤ التالية بفك تشفير الميزات المشفرة مكانيًا مع تجميع جميع المعلومات الزمنية.
  • شبكة STRA-Net : تركز على قضيتين أساسيتين. أولاً، دمج السمات المكانية والزمانية من خلال اقتران المظهر والتدفق البصري ، ثم تعلم بروز متعدد المقاييس من خلال آلية الانتباه .
  • STAViS : يجمع هذا النظام بين المعلومات البصرية والسمعية المكانية والزمانية. ويستخدم شبكة واحدة تتعلم تحديد مواقع مصادر الصوت ودمج المعلومات البارزة للحصول على خريطة بروز نهائية.

ظهر في الأدبيات مفهوم جديد للبروز الثابت يُعرف باسم حساسية التشوه البصري. [ 13 ] يقوم هذا المفهوم على فكرة أن الحواف الحقيقية، أي محيطات الأجسام، أكثر بروزًا من المناطق الأخرى ذات النسيج المعقد. ويكشف عن الحواف بطريقة مختلفة عن خوارزميات كشف الحواف التقليدية ، إذ يستخدم عتبة صغيرة نسبيًا لقيم التدرجات اللونية ليأخذ وجود التدرجات بعين الاعتبار. وبذلك، يحصل على أربع خرائط ثنائية للاتجاهات الرأسية والأفقية وقطريين. تُطبق عمليتا الإغلاق والفتح المورفولوجيتان على الصور الثنائية لسد الفجوات الصغيرة. ولإزالة الأشكال الشبيهة بالبقع، يستخدم تحويل المسافة . ففي النهاية، تمثل مجموعات البكسل المتصلة حوافًا (أو محيطات) فردية. وتُستخدم عتبة لحجم مجموعة البكسل المتصلة لتحديد ما إذا كانت كتلة الصورة تحتوي على حافة قابلة للإدراك (منطقة بارزة) أم لا.

مثال على التنفيذ

أولاً، يجب علينا حساب المسافة بين كل بكسل وبقية البكسلات في نفس الإطار:

SألS(أناك)=∑أنا=1شمال|أناك-أناأنا|{\displaystyle \mathrm {SALS} (I_{k})=\sum _{i=1}^{N}|I_{k}-I_{i}|}

أناأنا{\displaystyle I_{i}}قيمة البكسلأنا{\displaystyle i}، في نطاق [0,255]. المعادلة التالية هي الصيغة الموسعة لهذه المعادلة.

SALS( I k ) = | I k - I 1 | + | I k - I 2 | + ... + | I k - I N |

حيث N هو العدد الإجمالي للبكسلات في الإطار الحالي. بعد ذلك، يمكننا إعادة صياغة الصيغة. نضع القيم التي لها نفس قيمة I معًا.

SALS( I k ) = Σ F n × | I k - I n |

حيث F <sub>n</sub> هو تردد I<sub> n</sub> . وقيمة n تنتمي إلى الفترة [0,255]. يتم التعبير عن الترددات في شكل مدرج تكراري ، ووقت حساب المدرج التكراري هو ⁠يا(شمال){\displaystyle O(N)}التعقيد الزمني .

تعقيد الخطة

تحتوي خوارزمية خريطة بروز العناصر هذه علىيا(شمال){\displaystyle O(N)}التعقيد الزمني . بما أن وقت حساب الرسم البياني هويا(شمال){\displaystyle O(N)}التعقيد الزمني هو حيث N هو عدد البكسلات في الإطار. بالإضافة إلى ذلك، يتطلب الجزء السالب والجزء المضاعف من هذه المعادلة 256 عملية. وبالتالي، فإن التعقيد الزمني لهذه الخوارزمية هويا(شمال+256){\displaystyle O(N+256)}وهو ما يساوييا(شمال){\displaystyle O(N)}⁠ .

الشفرة الزائفة

جميع التعليمات البرمجية التالية هي تعليمات برمجية زائفة بلغة MATLAB . أولاً، اقرأ البيانات من تسلسلات الفيديو.

for k = 2 : 1 : 13 % أي من الإطار 2 إلى الإطار 13، وفي كل حلقة تزداد قيمة K بمقدار واحد. I = imread ( currentfilename ); % قراءة الإطار الحالي I1 = im2single ( I ); % تحويل الصورة المزدوجة إلى صورة مفردة (مطلوب للأمر vlslic) l = imread ( previousfilename ); % قراءة الإطار السابق I2 = im2single ( l ); regionSize = 10 ; % ضبط معلمات SLIC، هذه المعلمات هي نتيجة تجريبية. RegionSize تعني حجم البكسل الفائق. regularizer = 1 ; % ضبط معلمات SLIC segments1 = vl_slic ( I1 , regionSize , regularizer ); % الحصول على البكسل الفائق للإطار الحالي segments2 = vl_slic ( I2 , regionSize , regularizer ); % الحصول على البكسل الفائق للإطار السابق numsuppix = max ( segments1 (:)); % الحصول على عدد وحدات البكسل الفائقة. جميع المعلومات المتعلقة بوحدات البكسل الفائقة موجودة في هذا الرابط [http://www.vlfeat.org/overview/slic.html] regstats1 = regionprops ( segments1 , ' all ' ); regstats2 = regionprops ( segments2 , ' all ' ); % الحصول على خصائص المنطقة بناءً على segments1

بعد قراءة البيانات، نقوم بمعالجة البكسلات الفائقة لكل إطار. يمثل Spnum1 و Spnum2 رقم البكسل في الإطار الحالي والبكسل السابق على التوالي.

% أولًا، نحسب مسافة القيمة لكل بكسل. % هذا هو الكود الأساسي لدينا for i = 1 : 1 : spnum1 % من البكسل الأول إلى الأخير. وفي كل حلقة i++ for j = 1 : 1 : spnum2 % من البكسل الأول إلى الأخير. j++. الإطار السابق centerdist ( i : j ) = sum (( center ( i ) - center ( j ))); % حساب مسافة المركز end end

ثم نقوم بحساب المسافة اللونية لكل بكسل، وهذه العملية نسميها دالة الانكماش.

for i = 1 : 1 : spnum1 % من أول بكسل في الإطار الحالي إلى آخر بكسل. I ++ for j = 1 : 1 : spnum2 % من أول بكسل في الإطار السابق إلى آخر بكسل. J++ posdiff ( i , j ) = sum (( regstats1 ( j ). Centroid ' - mupwtd (:, i ))); % حساب مسافة اللون. end end

بعد هاتين العمليتين، سنحصل على خريطة بارزة، ثم نقوم بتخزين كل هذه الخرائط في مجلد ملفات جديد.

اختلاف الخوارزميات

يكمن الاختلاف الرئيسي بين الدالتين الأولى والثانية في دالة الانكماش. إذا كان كل من spnum1 و spnum2 يمثلان رقم بكسل الإطار الحالي، فإن دالة الانكماش هذه تُستخدم لدالة بروز العناصر الأولى. أما إذا كان spnum1 يمثل رقم بكسل الإطار الحالي و spnum2 يمثل رقم بكسل الإطار السابق، فإن دالة الانكماش هذه تُستخدم لدالة بروز العناصر الثانية. عند استخدام دالة الانكماش الثانية، التي تعتمد على بكسلات الإطار نفسه لحساب المسافة المركزية والحصول على خريطة بروز العناصر، نطبق هذه الدالة على كل إطار، ثم نطرح خريطة بروز العناصر للإطار الحالي من خريطة بروز العناصر للإطار السابق للحصول على صورة جديدة تمثل نتيجة بروز العناصر الجديدة لدالة بروز العناصر الثالثة.

نتيجة بروز

مجموعات البيانات

تحتوي مجموعة بيانات تحديد العناصر البارزة عادةً على حركات العين البشرية على بعض تسلسلات الصور. وهي ذات قيمة كبيرة لإنشاء خوارزميات جديدة لتحديد العناصر البارزة أو لتقييم الخوارزميات الحالية. أهم معايير مجموعة البيانات هي الدقة المكانية والحجم ومعدات تتبع العين . على سبيل المثال، إليك جزء من جدول مجموعات البيانات الكبيرة من مجموعات بيانات MIT/Tübingen لتحديد العناصر البارزة .

مجموعات بيانات بروز العناصر
مجموعة البياناتدقةمقاسمراقبالمدةجهاز تتبع العين
CAT20001920×1080 بكسل4000 صورة245 ثوانٍEyeLink 1000 (1000  هرتز)
EyeTrackUAV21280×720 بكسل43 فيديو3033 ثانيةجهاز EyeLink 1000 Plus (1000  هرتز، ثنائي العدسة)
كراود فيكس1280×720 بكسل434 فيديو261-3 ثوانٍجهاز تتبع العين من آي ترايب (60  هرتز)
سافام1920×1080 بكسل43 فيديو5020 ثانيةSMI iViewXTM عالي السرعة 1250 (500  هرتز)

لجمع بيانات بروز العناصر البصرية، يجب تجهيز تسلسلات الصور أو مقاطع الفيديو وأجهزة تتبع حركة العين ، ودعوة المشاركين. يجب أن يتمتع المشاركون بنظر طبيعي أو مصحح، وأن يكونوا على نفس المسافة من الشاشة. في بداية كل جلسة تسجيل، يُعاد ضبط جهاز تتبع حركة العين . وللقيام بذلك، يُثبّت المشارك نظره على مركز الشاشة. ثم تبدأ الجلسة، ويتم جمع بيانات بروز العناصر البصرية من خلال عرض التسلسلات وتسجيل حركة العين.

جهاز تتبع العين عبارة عن كاميرا عالية السرعة ، قادرة على تسجيل حركات العين بمعدل 250 إطارًا في الثانية على الأقل . تتم معالجة الصور الملتقطة بالكاميرا بواسطة برنامج يعمل على جهاز كمبيوتر مخصص، ويعيد بيانات النظرة.

انظر أيضاً

مراجع

  1. ↑ سوبهاش، بيجيل (6 مارس 2022). "الذكاء الاصطناعي القابل للتفسير: خرائط الأهمية" . ميديوم . تم الاسترجاع في 26 مايو 2024 .
  2. ↑ غو، تشينلي؛ تشانغ، ليمينغ (يناير 2010). "نموذج جديد للكشف عن بروز العناصر المكانية والزمانية متعددة الدقة وتطبيقاته في ضغط الصور والفيديو". معاملات IEEE في معالجة الصور . 19 (1): 185-198 . Bibcode : 2010ITIP...19..185G . doi : 10.1109/TIP.2009.2030969 . ISSN 1057-7149 . PMID 19709976. S2CID 1154218 .   
  3. ↑ تونغ، يوبينغ؛ كونيك، هوبرت؛ شيخ، فوزي؛ تريميو، آلان (2010-05-01). "تقييم جودة الصورة المرجعية الكاملة بناءً على تحليل خريطة البروز" . مجلة علوم وتكنولوجيا التصوير . 54 (3): 30503-1–30503-14. doi : 10.2352/J.ImagingSci.Technol.2010.54.3.030503 . hdl : 11250/142490 .
  4. ↑ جوفرمان، ستاس؛ زيلنيك-مانور، ليحي؛ تال، أيليت (أكتوبر 2012). "الكشف عن العناصر البارزة مع مراعاة السياق". معاملات IEEE في تحليل الأنماط والذكاء الآلي . 34 (10): 1915-1926 . Bibcode : 2012ITPAM..34.1915G . doi : 10.1109/TPAMI.2011.272 . ISSN 1939-3539 . PMID 22201056 .  
  5. ↑ جيانغ، هوايزو؛ وانغ، جينغدونغ؛ يوان، زيجيان؛ وو، يانغ؛ تشنغ، ناننينغ؛ لي، شيبنغ (يونيو 2013). "الكشف عن الأجسام البارزة: نهج تكاملي تمييزي للميزات الإقليمية" . مؤتمر IEEE لعام 2013 حول رؤية الحاسوب والتعرف على الأنماط . IEEE. الصفحات 2083-2090 . arXiv : 1410.5926 . doi : 10.1109/cvpr.2013.271 . ISBN  978-0-7695-4989-7.
  6. ↑ لي، تشاوبينغ (2002-01-01). "خريطة بروز في القشرة البصرية الأولية" . اتجاهات في العلوم المعرفية . 6 (1): 9-16 . doi : 10.1016/S1364-6613(00)01817-9 . ISSN 1364-6613 . 
  7. 1 2 مولر، رومي (2024). "كيف يؤثر الذكاء الاصطناعي القابل للتفسير على الأداء البشري: مراجعة منهجية للنتائج السلوكية لخرائط التمييز البصري". المجلة الدولية للتفاعل بين الإنسان والحاسوب . 41 (4): 2020-2051 . arXiv : 2404.16042 . doi : 10.1080/10447318.2024.2381929 .
  8. ^ سونداراراجان، موكوند؛ تالي، أنكور؛ يان تشيكي (2017). “الإسناد البديهي للشبكات العميقة”. أرخايف : 1703.01365 [ cs.LG ].
  9. ^ دوسوفيتسكي ، أليكسي. باير، لوكاس. كوليسنيكوف، الكسندر؛ ويسنبورن، ديرك. تشاي، شياو هوا؛ أونترثينر، توماس؛ دهقاني، مصطفى؛ مينديرر، ماتياس؛ هيجولد، جورج. جيلي، سيلفان. أوسزكوريت، جاكوب؛ هولسبي ، نيل (2020). “الصورة تستحق 16 × 16 كلمة: محولات للتعرف على الصور على نطاق واسع”. أرخايف : 2010.11929 [ cs.CV ].
  10. ↑ أبنار، سميرة؛ زويديما، ويليم (2020). "قياس تدفق الانتباه في المحولات". arXiv : 2005.00928 [ cs.LG ].
  11. ↑ بروكي، لينارت؛ بيندا، جاكوب؛ نيو كريستوفر تشونغ (2023). "خرائط الانتباه التمييزية للفئات لمحولات الرؤية". arXiv : 2312.02364 [ cs.CV ].
  12. ↑ أ. مايتي (2015). "الكشف عن الأجسام البارزة ومعالجتها بشكل مرتجل". arXiv : 1511.02999 [ cs.CV ].
  13. ↑ باك، مسعود؛ بايازيت، أولوغ (يوليو 2020). "تخصيص البتات الإقليمي مع الانتباه البصري وحساسية التشوه" . أدوات وتطبيقات الوسائط المتعددة . 79 ( 27-28 ): 19239-19263 . doi : 10.1007/s11042-020-08686-z . ISSN 1380-7501 .