تحويل الميزة الثابتة للمقياس

اكتشاف الميزة
كشف الحافة
حكيم ديريش التفاضلي سوبل بريويت روبنسون صليب روبرتس
كشف الزاوية
مشغل هاريس شي وتوماسي منحنى المستوى المنحنى مقاييس قوة السمات الهسية سوزان سريع
كشف الكتل
لابلاسيان أو غاوسي (LoG) الفرق بين الغاوسيين (DoG) محدد الهسيان (DoH) المناطق المتطرفة الأكثر استقرارًا بي سي بي آر
كشف التلال
تحويل هوف
تحويل هوف تحويل هوف المعمم
موتر البنية
موتر البنية موتر البنية المعممة
الكشف عن السمات الثابتة الأفينية
التكيف الشكلي هاريس أفيني هسيان أفيني
وصف الميزة
غربلة ركوب الأمواج جلوه خنزير
مساحة المقياس
مسلمات مساحة المقياس تفاصيل التنفيذ الأهرامات
ف ت هـ

تحويل الميزة الثابتة للمقياس ( SIFT ) هو خوارزمية رؤية حاسوبية لاكتشاف الميزات المحلية في الصور ووصفها ومطابقتها ، اخترعها ديفيد لوي في عام 1999. ^[1] تشمل التطبيقات التعرف على الكائنات ، ورسم الخرائط والملاحة الآلية ، وخياطة الصور ، والنمذجة ثلاثية الأبعاد ، والتعرف على الإيماءات ، وتتبع الفيديو ، والتعرف الفردي على الحياة البرية ومطابقة الحركة .

يتم استخراج نقاط مفتاح SIFT للأشياء أولاً من مجموعة من الصور المرجعية ^[1] وتخزينها في قاعدة بيانات. يتم التعرف على الكائن في صورة جديدة من خلال مقارنة كل ميزة من الصورة الجديدة بقاعدة البيانات هذه بشكل فردي والعثور على ميزات مطابقة مرشحة بناءً على المسافة الإقليدية لمتجهات الميزات الخاصة بها. من المجموعة الكاملة للمطابقات، يتم تحديد مجموعات فرعية من النقاط الرئيسية التي تتفق على الكائن وموقعه ومقياسه واتجاهه في الصورة الجديدة لتصفية المطابقات الجيدة. يتم إجراء تحديد المجموعات المتسقة بسرعة باستخدام تنفيذ جدول تجزئة فعال لتحويل هوف المعمم . تخضع كل مجموعة من 3 ميزات أو أكثر تتفق على كائن وموضعه لمزيد من التحقق التفصيلي للنموذج ويتم بعد ذلك تجاهل القيم المتطرفة. أخيرًا يتم حساب احتمالية أن تشير مجموعة معينة من الميزات إلى وجود كائن، مع الأخذ في الاعتبار دقة الملاءمة وعدد المطابقات الخاطئة المحتملة. يمكن تحديد مطابقات الكائن التي تجتاز كل هذه الاختبارات على أنها صحيحة بثقة عالية. ^[2]

على الرغم من أن خوارزمية SIFT كانت محمية سابقًا ببراءة اختراع، إلا أن براءة اختراعها انتهت في عام 2020. ^[3]

This section may be too technical for most readers to understand. Please help improve it to make it understandable to non-experts, without removing the technical details. (October 2010) (Learn how and when to remove this message)

بالنسبة لأي كائن في صورة، يمكننا استخراج نقاط مهمة في الصورة لتوفير "وصف للميزات" للكائن. يمكن بعد ذلك استخدام هذا الوصف، المستخرج من صورة تدريبية، لتحديد موقع الكائن في صورة جديدة (لم يسبق رؤيتها) تحتوي على كائنات أخرى. للقيام بذلك بشكل موثوق، يجب أن تكون الميزات قابلة للاكتشاف حتى إذا تم قياس الصورة، أو إذا كانت تحتوي على ضوضاء وإضاءة مختلفة. عادة ما تقع مثل هذه النقاط على مناطق عالية التباين في الصورة، مثل حواف الكائن.

من الخصائص المهمة الأخرى لهذه الميزات أن المواضع النسبية بينها في المشهد الأصلي لا ينبغي أن تتغير بين الصور. على سبيل المثال، إذا تم استخدام الزوايا الأربع للباب فقط كميزات، فستعمل بغض النظر عن موضع الباب؛ ولكن إذا تم استخدام نقاط في الإطار أيضًا، فسوف يفشل التعرف إذا تم فتح الباب أو إغلاقه. وبالمثل، فإن الميزات الموجودة في الأشياء المفصلية أو المرنة لن تعمل عادةً إذا حدث أي تغيير في هندستها الداخلية بين صورتين في المجموعة التي تتم معالجتها. في الممارسة العملية، يكتشف SIFT ويستخدم عددًا أكبر بكثير من الميزات من الصور، مما يقلل من مساهمة الأخطاء الناجمة عن هذه الاختلافات المحلية في الخطأ المتوسط ​​لجميع أخطاء مطابقة الميزات.

يمكن لـ SIFT ^[3] التعرف على الكائنات بشكل قوي حتى بين الفوضى وتحت الانسداد الجزئي، لأن موصوف ميزة SIFT ثابت في مواجهة التدرج المنتظم والتوجيه وتغيرات الإضاءة، وثابت جزئيًا في مواجهة التشوهات المتآلفة . ^[1] يلخص هذا القسم خوارزمية SIFT الأصلية ويذكر بعض التقنيات المتنافسة المتاحة للتعرف على الكائنات تحت الفوضى والانسداد الجزئي.

يعتمد موصوف SIFT على قياسات الصور من حيث الحقول المستقبلة ^{[4] [5] [6] [7]} التي يتم من خلالها إنشاء إطارات مرجعية ثابتة للمقياس المحلي ^{[8] [9] من خلال} اختيار المقياس المحلي . ^{[10] [11] [9]} يتم تقديم شرح نظري عام حول هذا في مقالة Scholarpedia حول SIFT. ^[12]

مشكلة	تقنية	ميزة
تحديد موقع المفتاح / المقياس / الدوران	الفرق بين الغاوسيين / هرم المقياس والفضاء / تعيين الاتجاه	الدقة والاستقرار والمقياس وثبات الدوران
تشوه هندسي	تشويش / إعادة أخذ عينات من مستويات اتجاه الصورة المحلية	الثبات التقاربي
الفهرسة والمطابقة	أقرب جار / أفضل سلة بحث أولية	الكفاءة / السرعة
تحديد المجموعة	التصويت على تحويل هوغ	نماذج وضعية موثوقة
التحقق من النموذج / اكتشاف القيم المتطرفة	المربعات الصغرى الخطية	تحمل أفضل للأخطاء مع عدد أقل من المطابقات
قبول الفرضية	تحليل الاحتمالات البايزية	مصداقية

This section does not cite any sources. Please help improve this section by adding citations to reliable sources. Unsourced material may be challenged and removed. (April 2022) (Learn how and when to remove this message)

إن الكشف عن السمات المحلية للصورة ووصفها يمكن أن يساعد في التعرف على الأشياء. إن سمات SIFT محلية وتعتمد على مظهر الشيء عند نقاط اهتمام معينة، وهي ثابتة بالنسبة لمقياس الصورة ودورانها. كما أنها قوية في مواجهة التغيرات في الإضاءة والضوضاء والتغيرات الطفيفة في وجهة النظر. بالإضافة إلى هذه الخصائص، فهي مميزة للغاية، ويسهل استخراجها نسبيًا وتسمح بتحديد صحيح للشيء مع احتمالية منخفضة لعدم التطابق. من السهل نسبيًا مطابقتها مع قاعدة بيانات (كبيرة) من السمات المحلية، ولكن مع ذلك، يمكن أن تكون الأبعاد العالية مشكلة، ويتم استخدام خوارزميات احتمالية بشكل عام مثل أشجار kd مع أفضل بحث أولي في الصندوق . إن وصف الشيء من خلال مجموعة من سمات SIFT قوي أيضًا في مواجهة ^{الانسداد الجزئي ؛} يكفي ما لا يقل عن 3 سمات SIFT من الشيء لحساب موقعه ووضعه. يمكن إجراء التعرف في وقت قريب من الوقت الحقيقي، على الأقل بالنسبة لقواعد البيانات الصغيرة وعلى أجهزة الكمبيوتر الحديثة.

تحول طريقة Lowe لتوليد ميزات الصورة الصورة إلى مجموعة كبيرة من متجهات الميزات، كل منها ثابت لترجمة الصورة، والتدرج، والدوران، وثابت جزئيًا لتغيرات الإضاءة، وقوي للتشوه الهندسي المحلي. تشترك هذه الميزات في خصائص مماثلة مع الخلايا العصبية في القشرة البصرية الأولية التي تشفر الأشكال الأساسية واللون والحركة لاكتشاف الأشياء في رؤية الرئيسيات. ^[13] يتم تعريف المواقع الرئيسية على أنها الحدود القصوى والدنيا لنتيجة اختلاف دالة Gaussian المطبقة في مساحة المقياس على سلسلة من الصور الملساء والمعاد أخذ عينات منها. يتم تجاهل نقاط المرشح منخفضة التباين ونقاط استجابة الحافة على طول الحافة. ​​يتم تعيين التوجهات السائدة لنقاط رئيسية موضعية. تضمن هذه الخطوات أن تكون النقاط الرئيسية أكثر استقرارًا للمطابقة والتعرف. يتم بعد ذلك الحصول على أوصاف SIFT القوية للتشوه الأفيني المحلي من خلال النظر في وحدات البكسل حول نصف قطر الموقع الرئيسي، وطمس وإعادة أخذ عينات من مستويات اتجاه الصورة المحلية.

تتكون الفهرسة من تخزين مفاتيح SIFT وتحديد المفاتيح المطابقة من الصورة الجديدة. استخدم Lowe تعديلًا لخوارزمية شجرة kd تسمى طريقة البحث الأفضل أولاً ^[14] والتي يمكنها تحديد أقرب الجيران باحتمالية عالية باستخدام قدر محدود فقط من الحساب. تستخدم خوارزمية BBF ترتيب بحث معدّل لخوارزمية شجرة kd بحيث يتم البحث عن الصناديق في مساحة الميزة بترتيب أقرب مسافة لها من موقع الاستعلام. يتطلب ترتيب البحث هذا استخدام قائمة انتظار أولوية تعتمد على الكومة لتحديد ترتيب البحث بكفاءة. نحصل على مرشح لكل نقطة رئيسية من خلال تحديد أقرب جار لها في قاعدة بيانات النقاط الرئيسية من صور التدريب. يتم تعريف أقرب الجيران على أنهم النقاط الرئيسية ذات المسافة الإقليدية الدنيا من متجه الوصف المحدد. الطريقة التي حدد بها لوي ^[2] ما إذا كان يجب الاحتفاظ بمرشح معين أو "طرده" هي من خلال التحقق من النسبة بين المسافة من هذا المرشح المعطى والمسافة من أقرب نقطة رئيسية ليست من نفس فئة الكائن مثل المرشح في متناول اليد (متجه ميزة المرشح / أقرب متجه ميزة من فئة مختلفة مختلفة)، والفكرة هي أنه لا يمكننا التأكد إلا من المرشحين حيث لا "تزدحم" الميزات / النقاط الرئيسية من فئات كائنات مميزة (ليس بالضرورة فوضى هندسية في مساحة الميزة ولكن أكثر من ذلك فوضى على طول النصف الأيمن (> 0) من الخط الحقيقي)، هذه نتيجة واضحة لاستخدام المسافة الإقليدية كمقياس لأقرب جار لدينا. عتبة النسبة للرفض هي كلما كانت أعلى من 0.8. قضت هذه الطريقة على 90٪ من المطابقات الخاطئة مع تجاهل أقل من 5٪ من المطابقات الصحيحة. لتحسين كفاءة خوارزمية أفضل سلة أولاً، تم قطع البحث بعد التحقق من أول 200 مرشح لأقرب جار. بالنسبة لقاعدة بيانات تحتوي على 100000 نقطة رئيسية، فإن هذا يوفر تسريعًا للبحث الدقيق عن أقرب جار بنحو 2 من حيث الحجم، إلا أنه يؤدي إلى خسارة أقل من 5% في عدد المطابقات الصحيحة.

يتم استخدام تحويل هوف لتجميع فرضيات النموذج الموثوقة للبحث عن المفاتيح التي تتفق على وضع نموذج معين . يحدد تحويل هوف مجموعات الميزات ذات التفسير المتسق باستخدام كل ميزة للتصويت على جميع أوضاع الكائنات المتسقة مع الميزة. عندما يتم العثور على مجموعات من الميزات للتصويت على نفس وضع الكائن، فإن احتمالية صحة التفسير أعلى بكثير من أي ميزة واحدة. يتم إنشاء إدخال في جدول تجزئة للتنبؤ بموقع النموذج واتجاهه ومقياسه من فرضية المطابقة. يتم البحث في جدول التجزئة لتحديد جميع مجموعات ما لا يقل عن 3 إدخالات في سلة المهملات، ويتم فرز السلالات بترتيب تنازلي للحجم.

تحدد كل نقطة رئيسية من نقاط SIFT موقعًا ثنائي الأبعاد ومقياسًا واتجاهًا، وتحتوي كل نقطة رئيسية مطابقة في قاعدة البيانات على سجل لمعلماتها نسبة إلى صورة التدريب التي تم العثور عليها فيها. إن تحويل التشابه الذي تنطوي عليه هذه المعلمات الأربع هو مجرد تقريب لمساحة الوضع الكاملة ذات الست درجات من الحرية لكائن ثلاثي الأبعاد ولا يأخذ في الاعتبار أيضًا أي تشوهات غير صلبة. لذلك، استخدم Lowe ^[2] أحجام حاويات عريضة تبلغ 30 درجة للتوجيه، وعامل 2 للمقياس، و0.25 مرة من أقصى بعد متوقع لصورة التدريب (باستخدام المقياس المتوقع) للموقع. يتم إعطاء عينات مفتاح SIFT التي تم إنشاؤها على المقياس الأكبر ضعف وزن تلك الموجودة على المقياس الأصغر. وهذا يعني أن المقياس الأكبر قادر فعليًا على تصفية الجيران الأكثر احتمالية للتحقق على المقياس الأصغر. وهذا يحسن أيضًا أداء التعرف من خلال إعطاء وزن أكبر للمقياس الأقل ضوضاء. لتجنب مشكلة تأثيرات الحدود في تعيين الحاوية، فإن كل تطابق لنقطة رئيسية يصوت لصالح أقرب حاويتين في كل بُعد، مما يعطي إجمالي 16 إدخالاً لكل فرضية ويوسع نطاق الوضع بشكل أكبر.

يخضع كل عنقود محدد بعد ذلك لإجراء تحقق يتم فيه تنفيذ حل خطي لأقل المربعات لمعاملات التحويل الأفيني الذي يربط النموذج بالصورة. يمكن كتابة التحويل الأفيني لنقطة نموذج [xy] ^T إلى نقطة صورة [uv] ^{T على النحو التالي}

${\displaystyle {\begin{bmatrix}u\\v\end{bmatrix}}={\begin{bmatrix}m_{1}&m_{2}\\m_{3}&m_{4}\end{bmatrix}}{\begin{bmatrix}x\\y\end{bmatrix}}+{\begin{bmatrix}t_{x}\\t_{y}\end{bmatrix}}}$

حيث تكون ترجمة النموذج هي [t _x t _y ] ^T ويتم تمثيل الدوران الأفيني والمقياس والامتداد بالمعلمات m ₁ و m ₂ و m ₃ و m _4. لحل معلمات التحويل، يمكن إعادة كتابة المعادلة أعلاه لجمع المجهول في متجه عمودي.

${\displaystyle {\begin{bmatrix}x&y&0&0&1&0\\0&0&x&y&0&1\\....\\....\end{bmatrix}}{\begin{bmatrix}m1\\m2\\m3\\m4\\t_{x}\\t_{y}\end{bmatrix}}={\begin{bmatrix}u\\v\\.\\.\end{bmatrix}}}$

تُظهر هذه المعادلة تطابقًا واحدًا، ولكن يمكن إضافة أي عدد من التطابقات الإضافية، مع مساهمة كل تطابق بصفين إضافيين في المصفوفة الأولى والأخيرة. يلزم وجود 3 تطابقات على الأقل لتوفير حل. يمكننا كتابة هذا النظام الخطي على النحو التالي:

${\displaystyle A{\hat {\mathbf {x} }}\approx \mathbf {b} ,}$

حيث A هي مصفوفة معروفة ذات أبعاد m في n (عادةً مع m > n )، وx هو متجه معلمات غير معروف ذي أبعاد n ، و b هو متجه قياس معروف ذي أبعاد m .

لذلك، فإن المتجه الأدنى هو حل للمعادلة الطبيعية${\displaystyle {\hat {\mathbf {x} }}}$

${\displaystyle A^{T}\!A{\hat {\mathbf {x} }}=A^{T}\mathbf {b} .}$

يتم إعطاء حل نظام المعادلات الخطية من حيث المصفوفة ، والتي تسمى شبه العكس لـ A ، بواسطة ${\displaystyle (A^{T}A)^{-1}A^{T}}$

${\displaystyle {\hat {\mathbf {x} }}=(A^{T}\!A)^{-1}A^{T}\mathbf {b} .}$

الذي يقلل من مجموع مربعات المسافات من مواقع النموذج المتوقعة إلى مواقع الصورة المقابلة.

يمكن الآن إزالة القيم المتطرفة من خلال التحقق من الاتفاق بين كل سمة صورة والنموذج، مع الأخذ في الاعتبار حل المعلمة. مع الأخذ في الاعتبار حل المربعات الصغرى الخطية ، يلزم أن تتفق كل مطابقة ضمن نصف نطاق الخطأ الذي تم استخدامه للمعلمات في صناديق تحويل هوف . مع تجاهل القيم المتطرفة، يتم إعادة حل حل المربعات الصغرى الخطية بالنقاط المتبقية، وتكرار العملية. إذا بقي أقل من 3 نقاط بعد تجاهل القيم المتطرفة ، فسيتم رفض المطابقة. بالإضافة إلى ذلك، يتم استخدام مرحلة المطابقة من أعلى إلى أسفل لإضافة أي تطابقات أخرى تتفق مع موضع النموذج المتوقع، والتي ربما تم تفويتها من صندوق تحويل هوف بسبب تقريب تحويل التشابه أو أخطاء أخرى.

يعتمد القرار النهائي بقبول أو رفض فرضية النموذج على نموذج احتمالي مفصل. ^[15] تحسب هذه الطريقة أولاً العدد المتوقع للمطابقات الخاطئة لوضع النموذج، مع الأخذ في الاعتبار الحجم المتوقع للنموذج، وعدد الميزات داخل المنطقة، ودقة الملاءمة. ثم يعطي تحليل الاحتمالات البايزية احتمال وجود الكائن بناءً على العدد الفعلي للميزات المطابقة التي تم العثور عليها. يتم قبول النموذج إذا كان الاحتمال النهائي للتفسير الصحيح أكبر من 0.98. يعطي التعرف على الكائنات المستند إلى SIFT الخاص بـ Lowe نتائج ممتازة باستثناء الاختلافات الواسعة في الإضاءة وفي ظل التحولات غير الصلبة.

نبدأ باكتشاف نقاط الاهتمام، والتي يطلق عليها النقاط الرئيسية في إطار SIFT. يتم لف الصورة باستخدام مرشحات غاوسية بمقاييس مختلفة، ثم يتم أخذ الفرق بين الصور المتعاقبة ذات الضبابية الغوسية . ثم يتم أخذ النقاط الرئيسية كقيم قصوى/دنيا للفرق بين الغاوسيين (DoG) التي تحدث بمقاييس متعددة. على وجه التحديد، يتم إعطاء صورة DoG بواسطة ${\displaystyle D\left(x,y,\sigma \right)}$

${\displaystyle D\left(x,y,\sigma \right)=L\left(x,y,k_{i}\sigma \right)-L\left(x,y,k_{j}\sigma \right)}$,

أين هو التفاف الصورة الأصلية مع التمويه الغاوسي على مقياس ، أي،${\displaystyle L\left(x,y,k\sigma \right)}$${\displaystyle I\left(x,y\right)}$ ${\displaystyle G\left(x,y,k\sigma \right)}$${\displaystyle k\sigma }$

${\displaystyle L\left(x,y,k\sigma \right)=G\left(x,y,k\sigma \right)*I\left(x,y\right)}$

ومن ثم فإن صورة DoG بين المقاييس و هي مجرد الفرق بين الصور الضبابية الغاوسية عند المقاييس و . لاكتشاف أقصى قيم مساحة المقياس في خوارزمية SIFT، يتم أولاً التفاف الصورة باستخدام الضبابية الغاوسية عند مقاييس مختلفة. يتم تجميع الصور الملتفة حسب الأوكتاف (الأوكتاف يتوافق مع مضاعفة قيمة )، ويتم تحديد قيمة بحيث نحصل على عدد ثابت من الصور الملتفة لكل أوكتاف. ثم يتم أخذ صور الفرق بين الغاوسية من الصور الضبابية الغاوسية المجاورة لكل أوكتاف. ${\displaystyle k_{i}\sigma }$${\displaystyle k_{j}\sigma }$${\displaystyle k_{i}\sigma }$${\displaystyle k_{j}\sigma }$${\displaystyle \sigma }$${\displaystyle k_{i}}$

بمجرد الحصول على صور DoG، يتم تحديد النقاط الرئيسية باعتبارها الحد الأدنى/الأقصى المحلي لصور DoG عبر المقاييس. يتم ذلك من خلال مقارنة كل بكسل في صور DoG بجيرانه الثمانية على نفس المقياس وتسعة بكسل مجاورة مقابلة في كل من المقاييس المجاورة. إذا كانت قيمة البكسل هي الحد الأقصى أو الأدنى بين جميع البكسلات المقارنة، يتم تحديدها كنقطة رئيسية مرشحة.

تعد خطوة اكتشاف النقطة الرئيسية هذه بمثابة تنويعة على إحدى طرق اكتشاف الكتل التي طورها ليندبرج من خلال اكتشاف أقصى درجات مساحة المقياس للابلاسيان الموحد بالمقياس؛ ^{[10] [11]} أي اكتشاف النقاط التي تعد أقصى درجات محلية فيما يتعلق بكل من المساحة والمقياس، في الحالة المنفصلة من خلال المقارنات مع أقرب 26 جارًا في حجم مساحة المقياس المنفصل. يمكن اعتبار الفرق بين مشغلي Gaussians بمثابة تقريب للابلاسيان، مع التطبيع الضمني في الهرم الذي يشكل أيضًا تقريبًا منفصلًا للابلاسيان الموحد بالمقياس. ^[12] قدم ليندبرج وبريتزنر تنفيذًا آخر في الوقت الفعلي لأقصى درجات مساحة المقياس للعامل اللابلاسي بناءً على تمثيل هرمي هجين، ^[16] والذي تم استخدامه للتفاعل بين الإنسان والحاسوب من خلال التعرف على الإيماءات في الوقت الفعلي في بريتزنر وآخرون (2002). ^[17]

ينتج عن اكتشاف القيم المتطرفة في مساحة المقياس عددًا كبيرًا جدًا من النقاط الرئيسية المرشحة، بعضها غير مستقر. والخطوة التالية في الخوارزمية هي إجراء ملاءمة تفصيلية للبيانات القريبة من أجل تحديد الموقع الدقيق والمقياس ونسبة الانحناءات الرئيسية . تسمح هذه المعلومات برفض النقاط ذات التباين المنخفض (وبالتالي فهي حساسة للضوضاء) أو التي تقع بشكل سيئ على طول الحافة.

أولاً، بالنسبة لكل نقطة رئيسية مرشحة، يتم استخدام استيفاء البيانات القريبة لتحديد موقعها بدقة. كان النهج الأولي هو تحديد موقع كل نقطة رئيسية فقط في موقع ومقياس النقطة الرئيسية المرشحة. ^[1] يحسب النهج الجديد الموقع المضاف للطرف الأقصى، مما يحسن بشكل كبير من المطابقة والاستقرار. ^[2] يتم الاستيفاء باستخدام توسع تايلور التربيعي لدالة مساحة المقياس الفرقية الغاوسية، مع النقطة الرئيسية المرشحة كأصل. يتم إعطاء توسع تايلور هذا بواسطة: ${\displaystyle D\left(x,y,\sigma \right)}$

${\displaystyle D({\textbf {x}})=D+{\frac {\partial D}{\partial {\textbf {x}}}}^{T}{\textbf {x}}+{\frac {1}{2}}{\textbf {x}}^{T}{\frac {\partial ^{2}D}{\partial {\textbf {x}}^{2}}}{\textbf {x}}}$

حيث يتم تقييم D ومشتقاتها عند النقطة الرئيسية المرشحة و هي الإزاحة من هذه النقطة. يتم تحديد موقع الحد الأقصى، ، من خلال أخذ المشتق لهذه الدالة بالنسبة إلى وتعيينه على الصفر. إذا كان الإزاحة أكبر من أي بُعد، فهذا مؤشر على أن الحد الأقصى يقع أقرب إلى نقطة رئيسية مرشحة أخرى. في هذه الحالة، يتم تغيير النقطة الرئيسية المرشحة ويتم إجراء الاستيفاء بدلاً من ذلك حول تلك النقطة. بخلاف ذلك، تتم إضافة الإزاحة إلى النقطة الرئيسية المرشحة للحصول على التقدير المستكمل لموقع الحد الأقصى. يتم إجراء تحديد مماثل للبكسل الفرعي لمواقع الحدود القصوى لمساحة المقياس في التنفيذ في الوقت الفعلي استنادًا إلى الأهرامات الهجينة التي طورها ليندبرج وزملاؤه. ^[16]${\displaystyle {\textbf {x}}=\left(x,y,\sigma \right)^{T}}$${\displaystyle {\hat {\textbf {x}}}}$${\displaystyle {\textbf {x}}}$${\displaystyle {\hat {\textbf {x}}}}$${\displaystyle 0.5}$

للتخلص من النقاط الرئيسية ذات التباين المنخفض، يتم حساب قيمة توسع تايلور من الدرجة الثانية عند الإزاحة . إذا كانت هذه القيمة أقل من ، يتم التخلص من النقطة الرئيسية المرشحة. وإلا يتم الاحتفاظ بها، مع موقع مساحة المقياس النهائي ، حيث هو الموقع الأصلي للنقطة الرئيسية. ${\displaystyle D({\textbf {x}})}$${\displaystyle {\hat {\textbf {x}}}}$${\displaystyle 0.03}$${\displaystyle {\textbf {y}}+{\hat {\textbf {x}}}}$${\displaystyle {\textbf {y}}}$

ستتمتع دالة DoG باستجابات قوية على طول الحواف، حتى إذا لم تكن النقطة الرئيسية المرشحة قوية في مواجهة كميات صغيرة من الضوضاء. لذلك، من أجل زيادة الاستقرار، نحتاج إلى التخلص من النقاط الرئيسية التي لها مواقع محددة بشكل سيئ ولكنها تتمتع باستجابات عالية للحواف.

بالنسبة للقمم غير المحددة جيدًا في دالة DoG، فإن الانحناء الأساسي عبر الحافة سيكون أكبر بكثير من الانحناء الأساسي على طولها. إن إيجاد هذه الانحناءات الأساسية يعادل حل القيم الذاتية لمصفوفة هيسيان من الدرجة الثانية ، H :

${\displaystyle {\textbf {H}}={\begin{bmatrix}D_{xx}&D_{xy}\\D_{xy}&D_{yy}\end{bmatrix}}}$

القيم الذاتية لـ H تتناسب مع الانحناءات الرئيسية لـ D. اتضح أن نسبة القيم الذاتية، لنقل هي الأكبر والأصغر، بنسبة ، كافية لأغراض SIFT. يعطينا أثر H ، أي، مجموع القيم الذاتية، بينما يعطي محدده، أي، حاصل الضرب. يمكن إظهار أن النسبة تساوي ، والتي تعتمد فقط على نسبة القيم الذاتية وليس قيمها الفردية. يكون R في أدنى حد عندما تكون القيم الذاتية متساوية مع بعضها البعض. لذلك، كلما زاد الفرق المطلق بين القيم الذاتية، وهو ما يعادل فرقًا مطلقًا أعلى بين المنحنيين الرئيسيين لـ D، زادت قيمة R. ويترتب على ذلك أنه بالنسبة لبعض نسبة القيم الذاتية العتبية ، إذا كانت R لنقطة رئيسية مرشحة أكبر من ، فإن هذه النقطة الرئيسية موضعية بشكل سيئ وبالتالي مرفوضة. يستخدم النهج الجديد . ^[2]${\displaystyle \alpha }$${\displaystyle \beta }$${\displaystyle r=\alpha /\beta }$${\displaystyle D_{xx}+D_{yy}}$${\displaystyle D_{xx}D_{yy}-D_{xy}^{2}}$${\displaystyle {\text{R}}=\operatorname {Tr} ({\textbf {H}})^{2}/\operatorname {Det} ({\textbf {H}})}$${\displaystyle (r+1)^{2}/r}$${\displaystyle r_{\text{th}}}$${\displaystyle (r_{\text{th}}+1)^{2}/r_{\text{th}}}$${\displaystyle r_{\text{th}}=10}$

إن خطوة المعالجة هذه لقمع الاستجابات عند الحواف هي نقل لنهج مماثل في مشغل هاريس لاكتشاف الزوايا. والفرق هو أن مقياس تحديد العتبة يتم حسابه من مصفوفة هيسيان بدلاً من مصفوفة اللحظة الثانية .

في هذه الخطوة، يتم تعيين اتجاه واحد أو أكثر لكل نقطة رئيسية بناءً على اتجاهات تدرج الصورة المحلية. هذه هي الخطوة الأساسية لتحقيق الثبات في الدوران حيث يمكن تمثيل موصوف النقطة الرئيسية بالنسبة لهذا الاتجاه وبالتالي تحقيق الثبات في دوران الصورة.

أولاً، يتم التقاط الصورة الملساء وفقًا لطريقة Gaussian على مقياس النقطة الرئيسية بحيث يتم إجراء جميع العمليات الحسابية بطريقة لا تتغير وفقًا للمقياس. بالنسبة لعينة الصورة على مقياس ، يتم حساب مقدار التدرج، ، والاتجاه، مسبقًا باستخدام فروق البكسل: ${\displaystyle L\left(x,y,\sigma \right)}$${\displaystyle \sigma }$${\displaystyle L\left(x,y\right)}$${\displaystyle \sigma }$${\displaystyle m\left(x,y\right)}$${\displaystyle \theta \left(x,y\right)}$

${\displaystyle m\left(x,y\right)={\sqrt {\left(L\left(x+1,y\right)-L\left(x-1,y\right)\right)^{2}+\left(L\left(x,y+1\right)-L\left(x,y-1\right)\right)^{2}}}}$

${\displaystyle \theta \left(x,y\right)=\mathrm {atan2} \left(L\left(x,y+1\right)-L\left(x,y-1\right),L\left(x+1,y\right)-L\left(x-1,y\right)\right)}$

يتم إجراء حسابات المقدار والاتجاه للتدرج لكل بكسل في منطقة مجاورة حول النقطة الرئيسية في الصورة الضبابية Gaussian-blur L. يتم تشكيل رسم بياني توجيهي به 36 صندوقًا، حيث يغطي كل صندوق 10 درجات. يتم ترجيح كل عينة في النافذة المجاورة المضافة إلى صندوق الرسم البياني حسب مقدار تدرجها ومن خلال نافذة دائرية مرجحة Gaussian مع a أكبر بمقدار 1.5 مرة من مقياس النقطة الرئيسية. تتوافق القمم في هذا الرسم البياني مع الاتجاهات السائدة. بمجرد ملء الرسم البياني، يتم تعيين الاتجاهات المقابلة لأعلى قمة والقمم المحلية التي تقع ضمن 80% من أعلى القمم إلى النقطة الرئيسية. في حالة تعيين اتجاهات متعددة، يتم إنشاء نقطة رئيسية إضافية لها نفس الموقع والمقياس مثل النقطة الرئيسية الأصلية لكل اتجاه إضافي. ${\displaystyle \sigma }$

كانت الخطوات السابقة تهدف إلى العثور على مواقع النقاط الرئيسية بمقاييس معينة وتعيين اتجاهات لها. وقد ضمن هذا الثبات لموقع الصورة ومقياسها ودورانها. والآن نريد حساب متجه وصفي لكل نقطة رئيسية بحيث يكون الوصف مميزًا للغاية ومتغيرًا جزئيًا مع الاختلافات المتبقية مثل الإضاءة ونقطة الرؤية ثلاثية الأبعاد وما إلى ذلك. ويتم تنفيذ هذه الخطوة على الصورة الأقرب في المقياس إلى مقياس النقطة الرئيسية.

أولاً، يتم إنشاء مجموعة من الهستوجرامات الاتجاهية على أحياء 4×4 بكسل مع 8 صناديق لكل منها. يتم حساب هذه الهستوجرامات من قيم المقدار والاتجاه للعينات في منطقة 16×16 حول النقطة الرئيسية بحيث يحتوي كل هيستوجرام على عينات من منطقة فرعية 4×4 من منطقة الحي الأصلية. يتم أخذ عينات من أحجام واتجاهات تدرج الصورة حول موقع النقطة الرئيسية، باستخدام مقياس النقطة الرئيسية لتحديد مستوى التمويه الغاوسي للصورة. لتحقيق ثبات الاتجاه، يتم تدوير إحداثيات الوصف واتجاهات التدرج بالنسبة لاتجاه النقطة الرئيسية. يتم ترجيح الأحجام بشكل أكبر بواسطة دالة غاوسية تساوي نصف عرض نافذة الوصف. يصبح الوصف بعد ذلك متجهًا لجميع قيم هذه الهستوجرامات. نظرًا لوجود 4 × 4 = 16 هيستوجرامًا كل منها يحتوي على 8 صناديق، فإن المتجه يحتوي على 128 عنصرًا. يتم بعد ذلك تطبيع هذا المتجه إلى طول الوحدة من أجل تعزيز الثبات للتغيرات التوافقية في الإضاءة. لتقليل تأثيرات الإضاءة غير الخطية، يتم تطبيق عتبة 0.2 ويتم تطبيع المتجه مرة أخرى. يمكن لعملية تحديد العتبة، والتي يشار إليها أيضًا باسم المشبك، تحسين نتائج المطابقة حتى عندما لا تكون تأثيرات الإضاءة غير الخطية موجودة. ^[18] تم اختيار عتبة 0.2 تجريبيًا، ومن خلال استبدال العتبة الثابتة بواحدة محسوبة بشكل منهجي، يمكن تحسين نتائج المطابقة. ^[18]${\displaystyle \sigma }$

على الرغم من أن أبعاد الوصف، أي 128، تبدو عالية، فإن الوصفات ذات الأبعاد الأقل من هذا لا تعمل بشكل جيد عبر نطاق مهام المطابقة ^[2] وتظل التكلفة الحسابية منخفضة بسبب طريقة BBF التقريبية (انظر أدناه) المستخدمة للعثور على أقرب جار. تستمر الوصفات الأطول في الأداء بشكل أفضل ولكن ليس كثيرًا وهناك خطر إضافي يتمثل في زيادة الحساسية للتشويه والانسداد. كما يظهر أن دقة مطابقة الميزات أعلى من 50٪ لتغييرات وجهة النظر حتى 50 درجة. لذلك، فإن أوصاف SIFT ثابتة للتغييرات التآلفية الطفيفة. لاختبار تميز أوصاف SIFT، يتم أيضًا قياس دقة المطابقة مقابل عدد متفاوت من النقاط الرئيسية في قاعدة بيانات الاختبار، وقد ثبت أن دقة المطابقة تقل قليلاً جدًا لأحجام قواعد البيانات الكبيرة جدًا، مما يشير إلى أن ميزات SIFT مميزة للغاية.

تم إجراء دراسة موسعة حول تقييم أداء الواصفات المحلية المختلفة، بما في ذلك SIFT، باستخدام مجموعة من أجهزة الكشف. ^[19] تم تلخيص النتائج الرئيسية أدناه:

• تظهر ميزات SIFT و GLOH المشابهة لـ SIFT أعلى دقة مطابقة ( معدلات استرجاع ) للتحويل الأفيني بزاوية 50 درجة. بعد حد التحويل هذا، تبدأ النتائج في أن تصبح غير موثوقة.
• يتم قياس تميز الواصفات من خلال جمع القيم الذاتية للواصفات، والتي تم الحصول عليها من خلال تحليل المكونات الرئيسية للواصفات المعيارية من خلال تباينها. يتوافق هذا مع مقدار التباين الذي تم التقاطه بواسطة الواصفات المختلفة، وبالتالي، تميزها. تعطي ميزات PCA-SIFT (تحليل المكونات الرئيسية المطبق على أوصاف SIFT) وGLOH وSIFT أعلى القيم.
• تتفوق الوصافات المستندة إلى SIFT على الوصافات المحلية المعاصرة الأخرى في كل من المشاهد المنسقة والمنظمة، مع وجود فرق أكبر في الأداء في المشهد المنسق.
• بالنسبة لتغييرات المقياس في النطاق 2–2.5 ودوران الصورة في النطاق 30 إلى 45 درجة، يتفوق SIFT والواصفات المستندة إلى SIFT مرة أخرى على الواصفات المحلية المعاصرة الأخرى مع محتوى المشهد المحكم والمنظم.
• يؤثر إدخال التمويه على جميع الوصافات المحلية، وخاصة تلك المستندة إلى الحواف، مثل سياق الشكل ، لأن الحواف تختفي في حالة التمويه القوي. لكن أداء GLOH وPCA-SIFT وSIFT كان أفضل من غيرهما. وينطبق هذا أيضًا على التقييم في حالة تغيرات الإضاءة.

تشير التقييمات التي أجريت بقوة إلى أن الواصفات المستندة إلى SIFT، والتي تعتمد على المنطقة، هي الأكثر قوة وتميزًا، وبالتالي فهي الأنسب لمطابقة الميزات. ومع ذلك، لم يتم تقييم أحدث الواصفات مثل SURF في هذه الدراسة.

وقد تبين لاحقًا أن أداء SURF مماثل لأداء SIFT، وفي نفس الوقت أسرع بكثير. ^[20] وخلصت دراسات أخرى إلى أنه عندما لا تكون السرعة حرجة، فإن SIFT يتفوق على SURF. ^{[21] [22]} على وجه التحديد، وبغض النظر عن تأثيرات التقطيع، فإن موصوف الصورة النقي في SIFT أفضل بكثير من موصوف الصورة النقي في SURF، في حين أن أقصى درجات مساحة المقياس لمحدد Hessian الذي يكمن وراء كاشف نقطة الاهتمام النقي في SURF تشكل نقاط اهتمام أفضل بكثير مقارنة بأقصى درجات مساحة المقياس في Laplacian الذي يشكل كاشف نقطة الاهتمام في SIFT تقريبًا رقميًا له. ^[21]

يمكن تحسين أداء مطابقة الصور بواسطة موصوفات SIFT بمعنى تحقيق درجات كفاءة أعلى ودرجات دقة أقل من 1 عن طريق استبدال أقصى درجات مساحة المقياس لمشغل الفرق بين الغاوسيين في SIFT الأصلي بأقصى درجات مساحة المقياس لمحدد هيسيان، أو بشكل عام النظر في عائلة أكثر عمومية من نقاط الاهتمام بمساحة المقياس المعممة. ^[21]

في الآونة الأخيرة، تم اقتراح اختلاف طفيف في الوصف باستخدام شبكة هيستوجرام غير منتظمة تعمل على تحسين أدائها بشكل كبير. ^[23] بدلاً من استخدام شبكة 4×4 من صناديق الهيستوجرام، تمتد جميع الصناديق إلى مركز الميزة. وهذا يحسن من قوة الوصف في مواجهة تغييرات الحجم.

لقد ثبت أن واصف SIFT-Rank ^[24] يعمل على تحسين أداء واصف SIFT القياسي لمطابقة الميزات التآلفية. يتم إنشاء واصف SIFT-Rank من واصف SIFT القياسي، عن طريق ضبط كل سلة من الهيستوجرام إلى رتبتها في مجموعة مرتبة من السلال. المسافة الإقليدية بين واصفات SIFT-Rank ثابتة للتغيرات الرتيبة التعسفية في قيم سلة الهيستوجرام، وترتبط بمعامل ارتباط الرتبة لسبيرمان .

نظرًا لقدرة SIFT على العثور على نقاط رئيسية مميزة لا تتغير باختلاف الموقع والمقياس والدوران، وقادرة على مقاومة التحولات التآلفية (التغيرات في المقياس والدوران والقص والموضع) والتغيرات في الإضاءة، فهي قابلة للاستخدام في التعرف على الكائنات. الخطوات موضحة أدناه .

• أولاً، يتم الحصول على ميزات SIFT من صورة الإدخال باستخدام الخوارزمية الموضحة أعلاه.
• تتم مطابقة هذه الميزات مع قاعدة بيانات ميزات SIFT التي تم الحصول عليها من صور التدريب. تتم مطابقة الميزات هذه من خلال نهج أقرب جار يعتمد على المسافة الإقليدية. لزيادة المتانة، يتم رفض المطابقات لتلك النقاط الرئيسية التي تكون فيها نسبة مسافة أقرب جار إلى مسافة ثاني أقرب جار أكبر من 0.8. يؤدي هذا إلى تجاهل العديد من المطابقات الخاطئة الناشئة عن فوضى الخلفية. أخيرًا، لتجنب البحث المكلف المطلوب للعثور على أقرب جار يعتمد على المسافة الإقليدية، يتم استخدام خوارزمية تقريبية تسمى خوارزمية أفضل سلة أولاً. ^[14] هذه طريقة سريعة لإرجاع أقرب جار باحتمالية عالية، ويمكن أن تعطي تسريعًا بعامل 1000 أثناء العثور على أقرب جار (مما يثير الاهتمام) بنسبة 95٪ من الوقت.
• على الرغم من أن اختبار نسبة المسافة الموصوف أعلاه يتجاهل العديد من المطابقات الخاطئة الناشئة عن فوضى الخلفية، إلا أنه لا يزال لدينا مطابقات تنتمي إلى كائنات مختلفة. لذلك، لزيادة قوة تحديد الكائن، نريد تجميع تلك الميزات التي تنتمي إلى نفس الكائن ورفض المطابقات التي تم استبعادها في عملية التجميع. يتم ذلك باستخدام تحويل هوف . سيحدد هذا مجموعات الميزات التي تصوت لنفس وضع الكائن. عندما يتم العثور على مجموعات من الميزات تصوت لنفس وضع الكائن، فإن احتمالية صحة التفسير أعلى بكثير من أي ميزة واحدة. تصوت كل نقطة رئيسية لمجموعة أوضاع الكائن المتسقة مع موقع النقطة الرئيسية ومقياسها واتجاهها. يتم تحديد الصناديق التي تتراكم فيها 3 أصوات على الأقل كمطابقات مرشحة للكائن/الوضع.
• بالنسبة لكل مجموعة مرشحة، يتم الحصول على حل أقل مربعات لأفضل معلمات الإسقاط الأفيني المقدرة التي تربط صورة التدريب بصورة الإدخال. إذا كان إسقاط نقطة رئيسية من خلال هذه المعلمات يقع ضمن نصف نطاق الخطأ الذي تم استخدامه للمعلمات في صناديق تحويل هوف، يتم الاحتفاظ بمطابقة النقطة الرئيسية. إذا بقي أقل من 3 نقاط بعد تجاهل القيم المتطرفة لصندوق، فسيتم رفض مطابقة الكائن. يتم تكرار التجهيز بأقل مربعات حتى لا يحدث المزيد من الرفض. يعمل هذا بشكل أفضل للتعرف على الأسطح المستوية من التعرف على الكائنات ثلاثية الأبعاد لأن النموذج الأفيني لم يعد دقيقًا للكائنات ثلاثية الأبعاد.
• في هذه المجلة، اقترح ^[25] مؤلفًا نهجًا جديدًا لاستخدام أوصاف SIFT لأغراض الكشف عن الأجسام المتعددة. تم اختبار نهج الكشف عن الأجسام المتعددة المقترح على الصور الجوية والأقمار الصناعية.

يمكن تطبيق ميزات SIFT بشكل أساسي على أي مهمة تتطلب تحديد مواقع المطابقة بين الصور. تم إنجاز العمل على تطبيقات مثل التعرف على فئات معينة من الكائنات في الصور ثنائية الأبعاد، وإعادة البناء ثلاثية الأبعاد، وتتبع الحركة وتقسيمها، وتحديد موقع الروبوت، وخياطة بانوراما الصور، ومعايرة epipolar . تتم مناقشة بعض هذه التطبيقات بمزيد من التفصيل أدناه.

في هذا التطبيق، ^[26] يتم استخدام نظام ستيريو ثلاثي العينيات لتحديد تقديرات ثلاثية الأبعاد لمواقع النقاط الرئيسية. تُستخدم النقاط الرئيسية فقط عندما تظهر في جميع الصور الثلاث مع وجود تباينات متسقة، مما يؤدي إلى عدد قليل جدًا من القيم المتطرفة. أثناء تحرك الروبوت، فإنه يحدد موقعه باستخدام تطابقات الميزات مع الخريطة ثلاثية الأبعاد الموجودة، ثم يضيف ميزات تدريجيًا إلى الخريطة أثناء تحديث مواضعها ثلاثية الأبعاد باستخدام مرشح كالمان . يوفر هذا حلاً قويًا ودقيقًا لمشكلة تحديد موقع الروبوت في البيئات غير المعروفة. تستفيد حلول ثلاثية الأبعاد الحديثة من استخدام اتجاهات النقاط الرئيسية لحل الهندسة ثلاثية العينيات من ثلاث نقاط رئيسية ^[27] والوضع المطلق من نقطتين رئيسيتين فقط، ^[28] وهو قياس غالبًا ما يتم تجاهله ولكنه مفيد ومتاح في SIFT. تقلل قياسات التوجيه هذه من عدد المراسلات المطلوبة، مما يزيد من المتانة بشكل كبير.

يمكن استخدام مطابقة ميزات SIFT في تجميع الصور لإعادة بناء البانوراما الآلية بالكامل من الصور غير البانورامية. تتم مطابقة ميزات SIFT المستخرجة من الصور المدخلة مع بعضها البعض للعثور على k أقرب جيران لكل ميزة. ثم تُستخدم هذه المراسلات للعثور على m صورة مطابقة مرشحة لكل صورة. ثم يتم حساب التجانس بين أزواج الصور باستخدام RANSAC ويتم استخدام نموذج احتمالي للتحقق. نظرًا لعدم وجود قيود على الصور المدخلة، يتم تطبيق البحث البياني للعثور على المكونات المتصلة لمطابقات الصور بحيث يتوافق كل مكون متصل مع بانوراما. أخيرًا، يتم إجراء تعديل الحزمة لكل مكون متصل لحل معلمات الكاميرا المشتركة، ويتم عرض البانوراما باستخدام المزج متعدد النطاقات. نظرًا لنهج التعرف على الكائنات المستوحى من SIFT لتجميع البانوراما، فإن النظام الناتج غير حساس لترتيب الصور واتجاهها ومقياسها وإضاءتها. يمكن أن تحتوي صور الإدخال على صور بانورامية متعددة وصور ضوضاء (قد لا يكون بعضها جزءًا من الصورة المركبة)، ويتم التعرف على تسلسلات الصور البانورامية وتقديمها كمخرجات. ^[29]

يستخدم هذا التطبيق ميزات SIFT للتعرف على الكائنات ثلاثية الأبعاد والنمذجة ثلاثية الأبعاد في سياق الواقع المعزز ، حيث يتم فرض كائنات اصطناعية ذات وضعية دقيقة على صور حقيقية. يتم إجراء مطابقة SIFT لعدد من الصور ثنائية الأبعاد لمشهد أو كائن مأخوذ من زوايا مختلفة. يتم استخدام هذا مع ضبط الحزمة المبدئي من مصفوفة أساسية أو موتر ثلاثي البؤر لبناء نموذج ثلاثي الأبعاد متفرق للمشهد المعروض واستعادة أوضاع الكاميرا ومعلمات المعايرة في نفس الوقت . ثم يتم تحديد موضع واتجاه وحجم الكائن الافتراضي بالنسبة لإطار إحداثيات النموذج المسترد. لتحريك المطابقة عبر الإنترنت ، يتم استخراج ميزات SIFT مرة أخرى من إطار الفيديو الحالي ومطابقتها مع الميزات المحسوبة بالفعل لنموذج العالم، مما يؤدي إلى مجموعة من المراسلات ثنائية الأبعاد إلى ثلاثية الأبعاد. تُستخدم هذه المراسلات بعد ذلك لحساب وضع الكاميرا الحالي للإسقاط الافتراضي والرسم النهائي. تُستخدم تقنية التنظيم لتقليل الاهتزاز في الإسقاط الافتراضي. ^[30] تم استخدام اتجاهات SIFT أيضًا لزيادة قوة هذه العملية. ^{[27] [28]} تم أيضًا تقييم الامتدادات ثلاثية الأبعاد لـ SIFT للتعرف على الكائنات ثلاثية الأبعاد واسترجاعها بشكل حقيقي . ^{[31] [32]}

تمت دراسة امتدادات واصف SIFT إلى بيانات مكانية زمنية ثنائية الأبعاد + 1 في سياق التعرف على الفعل البشري في تسلسلات الفيديو. ^{[31] [33] [34] [35]} يتم تمديد حساب الهستوجرامات المعتمدة على الموضع المحلي في خوارزمية SIFT ثنائية الأبعاد من بعدين إلى ثلاثة أبعاد لوصف ميزات SIFT في مجال مكاني زمني. لتطبيقها على التعرف على الفعل البشري في تسلسل فيديو، يتم أخذ عينات من مقاطع الفيديو التدريبية إما في نقاط اهتمام مكانية زمنية أو في مواقع وأوقات ومقاييس محددة عشوائيًا. ثم يتم وصف المناطق المكانية الزمنية حول نقاط الاهتمام هذه باستخدام واصف SIFT ثلاثي الأبعاد. ثم يتم تجميع هذه الواصفات لتشكيل نموذج حقيبة الكلمات المكانية الزمنية . ثم تتم مطابقة أوصاف SIFT ثلاثية الأبعاد المستخرجة من مقاطع الفيديو التجريبية مع هذه الكلمات لتصنيف الفعل البشري.

أفاد المؤلفون بنتائج أفضل بكثير باستخدام نهجهم الخاص بوصف SIFT ثلاثي الأبعاد مقارنة بالطرق الأخرى مثل وصف SIFT ثنائي الأبعاد البسيط وحجم التدرج. ^[36]

تستخدم تقنية قياس الشكل القائم على السمات (FBM) ^[37] نقاطًا متطرفة في اختلاف في مساحة المقياس الغاوسي لتحليل وتصنيف صور الرنين المغناطيسي ثلاثية الأبعاد للدماغ البشري. تقوم تقنية قياس الشكل القائم على السمات بنمذجة الصورة احتماليًا كمجموعة من السمات المستقلة، بشرط هندسة الصورة وعلامات المجموعة، على سبيل المثال، الأشخاص الأصحاء والأشخاص المصابين بمرض الزهايمر (AD). يتم استخراج السمات أولاً في صور فردية من اختلاف في مساحة المقياس الغاوسي رباعي الأبعاد، ثم يتم نمذجتها من حيث مظهرها وهندستها وإحصائيات التواجد الجماعي عبر مجموعة من الصور. تم التحقق من صحة تقنية قياس الشكل القائم على السمات في تحليل مرض الزهايمر باستخدام مجموعة من حوالي 200 صورة بالرنين المغناطيسي للدماغ البشري، مما أدى إلى تحديد المؤشرات الثابتة لمرض الزهايمر في الدماغ وتصنيف مرض الزهايمر الخفيف في صور جديدة بمعدل 80٪. ^[37]

تتضمن الطرق البديلة للتعرف على الكائنات الثابتة الحجم في ظل الفوضى/الانسداد الجزئي ما يلي.

RIFT ^[38] هو تعميم ثابت للدوران لـ SIFT. يتم إنشاء موصوف RIFT باستخدام بقع دائرية موحدة مقسمة إلى حلقات متحدة المركز بعرض متساوٍ ويتم حساب رسم بياني لاتجاه التدرج داخل كل حلقة. للحفاظ على ثبات الدوران، يتم قياس الاتجاه عند كل نقطة بالنسبة للاتجاه الذي يشير إلى الخارج من المركز.

RootSIFT ^[39] هو أحد أشكال SIFT الذي يعدل تطبيع الوصف. ولأن أوصاف SIFT عبارة عن رسوم بيانية (وكذلك توزيعات الاحتمالات )، فإن المسافة الإقليدية ليست طريقة دقيقة لقياس تشابهها. وتبين أن مقاييس التشابه الأفضل هي تلك المصممة خصيصًا لتوزيعات الاحتمالات، مثل معامل Bhattacharyya (يُسمى أيضًا نواة Hellinger). ولهذا الغرض، يتم تطبيع الوصف الموحد الأصلي أولاً ويتم حساب الجذر التربيعي لكل عنصر، متبوعًا بإعادة التطبيع. وبعد هذه التلاعبات الجبرية، يمكن مقارنة أوصاف RootSIFT بشكل طبيعي باستخدام المسافة الإقليدية ، وهو ما يعادل استخدام نواة Hellinger على أوصاف SIFT الأصلية. وقد تم تقديم مخطط التطبيع هذا المسمى "L1-sqrt" سابقًا لتطبيع الكتل لميزات HOG التي يكون متغير وصف ترتيب الكتل المستطيلة (R-HOG) الخاص بها مشابهًا مفهوميًا لوصف SIFT. ${\displaystyle \ell ^{2}}$${\displaystyle \ell ^{1}}$${\displaystyle \ell ^{2}}$

G-RIF: ^[40] ميزة الثبات القوي المعممة هي واصف سياق عام يشفر معلومات اتجاه الحافة وكثافة الحافة واللون في شكل موحد يجمع بين المعلومات الإدراكية والتشفير المكاني. يستخدم مخطط التعرف على الكائنات التصويت القائم على السياق المجاور لتقدير نماذج الكائنات.

" SURF : ^[41] Speeded Up Robust Features" هو كاشف/واصف لنقاط الاهتمام عالي الأداء ومتغير الحجم والدوران يزعم أنه يقترب أو حتى يتفوق على المخططات المقترحة سابقًا فيما يتعلق بالقدرة على التكرار والتميز والمتانة. يعتمد SURF على الصور المتكاملة للتفافات الصور لتقليل وقت الحساب، ويبني على نقاط القوة في الكواشف والواصفات الموجودة الرائدة (باستخدام مقياس سريع قائم على مصفوفة هيسيان للكاشف والواصف القائم على التوزيع). يصف توزيع استجابات موجات هار داخل جوار نقطة الاهتمام. تُستخدم الصور المتكاملة للسرعة ويتم استخدام 64 بُعدًا فقط لتقليل وقت حساب الميزة والمطابقة. تعتمد خطوة الفهرسة على علامة لابلاس ، مما يزيد من سرعة المطابقة ومتانة الوصف.

PCA-SIFT ^[42] و GLOH ^[19] هما متغيران من SIFT. موصوف PCA-SIFT هو متجه لتدرجات الصورة في اتجاهي x وy محسوب داخل منطقة الدعم. يتم أخذ عينات من منطقة التدرج في 39 × 39 موقعًا، وبالتالي فإن المتجه له بعد 3042. يتم تقليل البعد إلى 36 باستخدام PCA . يعتبر الهستوجرام البياني لموقع واتجاه التدرج ( GLOH ) امتدادًا لواصف SIFT المصمم لزيادة متانته وتميزه. يتم حساب موصوف SIFT لشبكة موقع قطبية لوغاريتمية بثلاثة صناديق في الاتجاه الشعاعي (نصف القطر مضبوط على 6 و11 و15) و8 في الاتجاه الزاوي، مما ينتج عنه 17 صندوق موقع. الصندوق المركزي غير مقسم في اتجاهات زاوية. يتم تحديد اتجاهات التدرج في 16 صندوقًا مما ينتج عنه هيستوجرام بياني مكون من 272 صندوقًا. يتم تقليل حجم هذا الوصف باستخدام تحليل المكونات الرئيسية . يتم تقدير مصفوفة التباين لتحليل المكونات الرئيسية على بقع الصور التي تم جمعها من صور مختلفة. يتم استخدام أكبر 128 متجه ذاتي للوصف.

Gauss-SIFT ^[21] هو واصف صورة نقي يتم تعريفه من خلال إجراء جميع قياسات الصورة الأساسية لواصف الصورة النقي في SIFT من خلال استجابات المشتقات الغوسية على عكس التقريبات المشتقة في هرم الصورة كما هو الحال في SIFT العادي. وبهذه الطريقة، يمكن تقليل تأثيرات التقطيع على المساحة والمقياس إلى الحد الأدنى مما يسمح بواصفات صور أكثر دقة. في Lindeberg (2015) ^[21] تم دمج أوصاف صور Gauss-SIFT النقية هذه مع مجموعة من نقاط الاهتمام بمقياس المساحة المعممة التي تضم Laplacian of the Gaussian ، ومحدد Hessian ، وأربعة مقاييس جديدة لقوة الميزة Hessian غير الموقعة أو الموقعة بالإضافة إلى نقاط اهتمام Harris-Laplace و Shi-and-Tomasi . في تقييم تجريبي موسع لمجموعة بيانات ملصقات تضم وجهات نظر متعددة لـ 12 ملصقًا حول تحويلات التدرج حتى عامل 6 وعرض اختلافات الاتجاه حتى زاوية ميل 45 درجة، تبين أنه يمكن الحصول على زيادة كبيرة في أداء مطابقة الصور (درجات كفاءة أعلى ودرجات دقة أقل 1- ) عن طريق استبدال نقاط الاهتمام اللابلاسية أو الغوسية بمحدد نقاط الاهتمام الهسية. نظرًا لأن نقاط الاهتمام ذات الفرق بين الغوسيات تشكل تقريبًا رقميًا لنقاط الاهتمام اللابلاسية أو الغوسية، فإن هذا يوضح أنه من الممكن تحقيق زيادة كبيرة في أداء المطابقة عن طريق استبدال نقاط الاهتمام ذات الفرق بين الغوسيات في SIFT بمحدد نقاط الاهتمام الهسية. يمكن أيضًا الحصول على زيادة إضافية في الأداء من خلال النظر في مقياس قوة الميزة الهسية غير الموقعة . أظهرت المقارنة الكمية بين موصوف Gauss-SIFT وموصوف Gauss-SURF المقابل أيضًا أن Gauss-SIFT يؤدي بشكل عام أداءً أفضل بكثير من Gauss-SURF لعدد كبير من كاشفات نقاط الاهتمام المختلفة في مساحة المقياس. لذلك تُظهر هذه الدراسة أنه بغض النظر عن تأثيرات التقسيم، فإن موصوف الصورة النقية في SIFT أفضل بكثير من موصوف الصورة النقية في SURF، في حين أن كاشف نقطة الاهتمام الأساسي في SURF، والذي يمكن اعتباره تقريب رقمي لقيم مساحة المقياس القصوى لمحدد Hessian، أفضل بكثير من كاشف نقطة الاهتمام الأساسي في SIFT. ${\displaystyle D_{1}L=\operatorname {det} HL-k\,\operatorname {trace} ^{2}HL\,{\mbox{if}}\operatorname {det} HL-k\,\operatorname {trace} ^{2}HL>0\,{\mbox{or 0 otherwise}}}$

طور فاغنر وآخرون خوارزميتين للتعرف على الأشياء صُممتا خصيصًا مع وضع قيود الهواتف المحمولة الحالية في الاعتبار. ^[43] وعلى النقيض من نهج SIFT الكلاسيكي، يستخدم فاغنر وآخرون كاشف الزاوية FAST لاكتشاف الميزات. تميز الخوارزمية أيضًا بين مرحلة التحضير غير المتصلة بالإنترنت حيث يتم إنشاء الميزات على مستويات مقياس مختلفة ومرحلة الاتصال بالإنترنت حيث يتم إنشاء الميزات فقط على مستوى المقياس الثابت الحالي لصورة كاميرا الهاتف. بالإضافة إلى ذلك، يتم إنشاء الميزات من حجم رقعة ثابت يبلغ 15 × 15 بكسل وتشكل واصف SIFT بـ 36 بُعدًا فقط. تم توسيع النهج بشكل أكبر من خلال دمج شجرة المفردات القابلة للتطوير في خط أنابيب التعرف. ^[44] يسمح هذا بالتعرف الفعال على عدد أكبر من الكائنات على الهواتف المحمولة. النهج مقيد بشكل أساسي بكمية ذاكرة الوصول العشوائي المتاحة .

KAZE وA-KAZE (ميزات KAZE وميزات KAZE المتسارعة) هي طريقة جديدة للكشف عن الميزات ثنائية الأبعاد ووصفها والتي تعمل بشكل أفضل مقارنة بـ SIFT وSURF. تكتسب شعبية كبيرة بسبب الكود مفتوح المصدر. تم إنشاء KAZE في الأصل بواسطة Pablo F. Alcantarilla وAdrien Bartoli وAndrew J. Davison. ^[45]

• الشبكة العصبية التلافيفية
• خياطة الصورة
• مساحة المقياس
• تنفيذ مساحة المقياس
• تحديد المواقع ورسم الخرائط في وقت واحد
• البنية من الحركة

This section's use of external links may not follow Wikipedia's policies or guidelines. Please improve this article by removing excessive or inappropriate external links, and converting useful links where appropriate into footnote references. (September 2020) (Learn how and when to remove this message)

دراسات ذات صلة:

• وانج، يوان بين؛ بين، تشانج؛ جي، يو (2008). "العلاقات الثابتة بين إسقاطات ثلاثية الأبعاد وإسقاطات ثنائية الأبعاد لمجموعات النقاط". مجلة أبحاث التعرف على الأنماط . 3 (1): 14-23. doi :10.13176/11.26.
• لو، ديفيد جي. (نوفمبر 2004). "سمات الصورة المميزة من النقاط الرئيسية الثابتة للمقياس". المجلة الدولية لرؤية الكمبيوتر . 60 (2): 91-110. doi :10.1023/B:VISI.0000029664.99615.94.
• Mikolajczyk, K.; Schmid, C. (أكتوبر 2005). "تقييم أداء الواصفات المحلية". معاملات معهد مهندسي الكهرباء والإلكترونيات في تحليل الأنماط والذكاء الاصطناعي . 27 (10): 1615–1630. doi :10.1109/TPAMI.2005.188. PMID  16237996.
• أندريا مارسيلا بلازا كورديرو، خورخي لويس زامبرانو مارتينيز، "دراسة واختيار تقنيات SIFT وSURF وASIFT للتعرف على الصور لتصميم نموذج أولي لأجهزة الهاتف المحمول"، 15 درجة من مسابقة طلاب العمل، EST 2012
• "PCA-SIFT: تمثيل أكثر تميزًا لواصفات الصور المحلية". مؤرشف من الأصل في 26 يناير 2020.
• Lazebnik, S. , Schmid, C. , and Ponce, J., Semi-Local Affine Parts for Object Recognition, BMVC, 2004. تم أرشفته في 11 أكتوبر 2017 على موقع Wayback Machine

دروس تعليمية:

• تحويل الميزة الثابتة للمقياس (SIFT) في Scholarpedia
• دليل خطوة بخطوة بسيط لـ SIFT
• "SIFT للكشف عن العديد من الكائنات". مؤرشف من الأصل في 3 أبريل 2015.
• "تشريح طريقة SIFT" في معالجة الصور عبر الإنترنت، دراسة تفصيلية لكل خطوة من خطوات الخوارزمية مع تنفيذ مفتوح المصدر وعرض توضيحي على الويب لتجربة معلمات مختلفة

التنفيذات:

• تم الوصول إلى تطبيق روب هيس لـ SIFT في 21 نوفمبر 2012
• ASIFT (Affine SIFT): مطابقة وجهة نظر كبيرة مع SIFT، مع كود المصدر والعرض التوضيحي عبر الإنترنت
• VLFeat، مكتبة رؤية حاسوبية مفتوحة المصدر بلغة C (مع واجهة MEX إلى MATLAB)، بما في ذلك تنفيذ SIFT
• تم أرشفة LIP-VIREO في 2017-05-11 على موقع Wayback Machine ، مجموعة أدوات لاستخراج ميزة النقطة الرئيسية (الثنائيات لنظامي التشغيل Windows وLinux وSunOS)، بما في ذلك تنفيذ SIFT
• (الموازي) SIFT في C#، خوارزمية SIFT في C# باستخدام Emgu CV وأيضًا نسخة موازية معدلة من الخوارزمية.
• DoH & LoG + أفيني، كاشف Blob مأخوذ من مجموعة أدوات SIFT
• ezSIFT: تطبيق SIFT مستقل وسهل الاستخدام بلغة C/C++. تطبيق SIFT مفتوح المصدر ومستقل ولا يتطلب مكتبات أخرى.
• تنفيذ 3D SIFT: الكشف والمطابقة في الصور الحجمية.