التنعيم

مثال بسيط على التنعيم الأسي. البيانات الأولية: متوسط ​​درجات الحرارة اليومية في محطة باريس-مونتسوري للأرصاد الجوية (فرنسا) من 1 يناير 1960 إلى 29 فبراير 1960. البيانات المُنعّمة بمعامل ألفا = 0.1.

في الإحصاء ومعالجة الصور ، يُقصد بتنعيم مجموعة البيانات إنشاء دالة تقريبية تحاول استخلاص الأنماط المهمة في البيانات، مع استبعاد التشويش أو البنى الدقيقة الأخرى أو الظواهر السريعة. في عملية التنعيم، تُعدَّل نقاط بيانات الإشارة بحيث تُخفَّض قيمة النقاط الأعلى من النقاط المجاورة لها (بسبب التشويش على الأرجح)، وتُزاد قيمة النقاط الأقل منها، مما يؤدي إلى إشارة أكثر سلاسة.

قد يساعد تقليل التشويش عن طريق التنعيم في تحليل البيانات بطريقتين بارزتين:

  1. يساعد في الكشف عن معلومات أكثر أهمية من البيانات الأساسية، مثل الاتجاهات. [ 1 ]
  2. تقديم تحليلات تتسم بالمرونة والقوة. [ 2 ]

تُستخدم العديد من الخوارزميات المختلفة في عملية التنعيم، وأكثرها شيوعًا التجميع ، والنوى ، والانحدار الموزون المحلي . [ 1 ]

بالمقارنة مع تركيب المنحنى

يمكن تمييز عملية التنعيم عن مفهوم ملاءمة المنحنى ذي الصلة والمتداخل جزئيًا بالطرق التالية:

  • غالباً ما تتضمن عملية ملاءمة المنحنى استخدام شكل دالة صريح للنتيجة، في حين أن النتائج المباشرة من التنعيم هي القيم "المنعمة" دون استخدام لاحق لشكل وظيفي إن وجد؛
  • الهدف من التنعيم هو إعطاء فكرة عامة عن التغيرات البطيئة نسبياً في القيمة مع إيلاء القليل من الاهتمام للمطابقة الدقيقة لقيم البيانات، بينما يركز تركيب المنحنى على تحقيق أقرب مطابقة ممكنة.
  • تتضمن أساليب التنعيم عادةً مُعامل ضبط يُستخدم للتحكم في مدى التنعيم. وتقوم عملية مطابقة المنحنيات بتعديل أي عدد من مُعاملات الدالة للحصول على أفضل مُطابقة.

المُنعِّمات الخطية

في حالة إمكانية كتابة القيم المُنعّمة كتحويل خطي للقيم المرصودة، تُعرف عملية التنعيم باسم المُنعّم الخطي ؛ وتُعرف المصفوفة التي تمثل التحويل باسم مصفوفة التنعيم أو مصفوفة القبعة .

تُسمى عملية تطبيق تحويل المصفوفة هذا بالالتفاف . ولذلك تُسمى المصفوفة أيضًا بمصفوفة الالتفاف أو نواة الالتفاف . في حالة سلسلة بسيطة من نقاط البيانات (بدلاً من صورة متعددة الأبعاد)، تكون نواة الالتفاف متجهًا أحادي البعد .

الخوارزميات

تُعدّ خوارزمية " المتوسط ​​المتحرك " من أكثر الخوارزميات شيوعًا ، وتُستخدم غالبًا لمحاولة رصد الاتجاهات المهمة في الدراسات الإحصائية المتكررة . في معالجة الصور ورؤية الحاسوب ، تُستخدم مفاهيم التنعيم في تمثيلات فضاء المقياس . أبسط خوارزمية تنعيم هي "التنعيم المستطيل" أو "التنعيم بالمتوسط ​​المنزلق غير الموزون". تستبدل هذه الطريقة كل نقطة في الإشارة بمتوسط ​​"م" من النقاط المجاورة، حيث "م" عدد صحيح موجب يُسمى "عرض التنعيم". عادةً ما يكون "م" عددًا فرديًا. يُشبه التنعيم المثلثي التنعيم المستطيل، إلا أنه يُطبّق دالة تنعيم موزونة. [ 3 ]

بعض أنواع التنعيم والتصفية المحددة، مع استخداماتها ومزاياها وعيوبها، هي:

الخوارزميةنظرة عامة واستخداماتالإيجابياتالسلبيات
التنعيم الإضافيتُستخدم لتنعيم البيانات الفئوية .
فلتر باترورثمعدل انخفاض التردد أبطأ من مرشح تشيبيشيف من النوع الأول/النوع الثاني أو المرشح الإهليلجي
  • استجابة طورية أكثر خطية في نطاق التمرير مما يمكن أن تحققه مرشحات تشيبيشيف من النوع الأول/النوع الثاني والمرشحات الإهليلجية.
  • صُممت بحيث يكون استجابة التردد مسطحة قدر الإمكان في نطاق التمرير.
مرشح تشيبيشيفيتميز بانخفاض حاد وتموج أكبر في نطاق التمرير (النوع الأول) أو تموج أكبر في نطاق الإيقاف (النوع الثاني) مقارنة بمرشحات Butterworth .
  • يقلل من الخطأ بين خصائص المرشح المثالية والفعلية على مدى نطاق المرشح
مرشح رقميتُستخدم على إشارة زمنية منفصلة مُعينة لتقليل أو تعزيز جوانب معينة من تلك الإشارة
مرشح إهليلجي
التنعيم الأسي
  • يستخدم لتقليل المخالفات (التقلبات العشوائية) في بيانات السلاسل الزمنية، مما يوفر رؤية أوضح للسلوك الأساسي الحقيقي للسلسلة.
  • كما أنها توفر وسيلة فعالة للتنبؤ بالقيم المستقبلية للسلسلة الزمنية (التنبؤ). [ 4 ]
مرشح كالمانتميل تقديرات المتغيرات المجهولة التي ينتجها إلى أن تكون أكثر دقة من تلك التي تستند إلى قياس واحد فقط، عندما يتم استيفاء الافتراضات.

يفترض هذا الأمر، وبالتالي يتطلب معرفة كيفية تطور النظام الذي يولد نقاط البيانات بمرور الوقت وكيفية الحصول على القياسات.

مُنعّم النواة
  • تُستخدم لتقدير دالة ذات قيمة حقيقية كمتوسط ​​مرجح للبيانات المرصودة المجاورة.
  • الأنسب عندما يكون بُعد المتنبئ منخفضًا ( p < 3)، على سبيل المثال لتصور البيانات.
الدالة المقدرة سلسة، ويتم تحديد مستوى السلاسة بواسطة معلمة واحدة.
مرشح كولموغوروف-زوربينكو
  • قوي وشبه مثالي
  • يُظهر أداءً جيدًا في بيئة البيانات المفقودة، لا سيما في الزمان والمكان متعدد الأبعاد حيث يمكن أن تتسبب البيانات المفقودة في مشاكل ناتجة عن التباعد المكاني.
  • لكل من المعيارين تفسيرات واضحة بحيث يمكن اعتمادهما بسهولة من قبل المتخصصين في مختلف المجالات
  • تم تطوير تطبيقات برمجية لسلاسل زمنية وبيانات طولية ومكانية في حزمة الإحصاء R الشهيرة ، مما يسهل استخدام مرشح KZ وامتداداته في مجالات مختلفة.
التنعيم اللابلاسيخوارزمية لتنعيم شبكة مضلعة . [ 5 ] [ 6 ]
الانحدار المحلي المعروف أيضًا باسم "loess" أو "lowess"تعميم للمتوسط ​​المتحرك والانحدار متعدد الحدود .

يعمم مرشح التنعيم سافيتزكي-جولاي على حالات أخذ العينات غير المنتظمة.

  • تطبيق نماذج بسيطة على مجموعات فرعية محلية من البيانات لبناء دالة تصف الجزء الحتمي من التباين في البيانات، نقطة بنقطة
  • إحدى أهم مزايا هذه الطريقة هي أن محلل البيانات ليس مطالباً بتحديد دالة عامة من أي نوع لتناسب نموذجاً مع البيانات، بل فقط لتناسب أجزاء من البيانات.
  • زيادة في الحساب. نظرًا لأنها تتطلب حسابات مكثفة للغاية، كان من المستحيل عمليًا استخدام LOESS في العصر الذي كان يتم فيه تطوير الانحدار الخطي للمربعات الصغرى.
مرشح تمرير منخفض
المتوسط ​​المتحرك
  • عملية حسابية لتحليل نقاط البيانات عن طريق إنشاء سلسلة من المتوسطات لمجموعات فرعية مختلفة من مجموعة البيانات الكاملة.
  • تقنية تنعيم تُستخدم لجعل الاتجاهات طويلة المدى للسلسلة الزمنية أكثر وضوحًا. [ 4 ]
  • يتم الحصول على العنصر الأول من المتوسط ​​المتحرك عن طريق حساب متوسط ​​المجموعة الفرعية الثابتة الأولية لسلسلة الأرقام
  • تُستخدم عادةً مع بيانات السلاسل الزمنية لتخفيف التقلبات قصيرة المدى وإبراز الاتجاهات أو الدورات طويلة المدى.
  • تم تعديلها للسماح بالمكونات الموسمية أو الدورية للسلسلة الزمنية
خوارزمية رامر-دوجلاس-بيوكريقسم منحنى مكونًا من قطع مستقيمة إلى منحنى مشابه بنقاط أقل.
مرشح تجانس Savitzky-Golay

يعتمد هذا الأسلوب على مطابقة كثيرات الحدود مع أجزاء من البيانات باستخدام طريقة المربعات الصغرى. وهو حالة خاصة من الانحدار المحلي ("loess" أو "lowess") عندما تكون عينات البيانات منتظمة.

تنعيم المنحنى
طريقة الشبكة الممتدة
  • تقنية عددية لإيجاد حلول تقريبية لمختلف المسائل الرياضية والهندسية التي يمكن ربطها بسلوك الشبكة المرنة
  • يستخدم خبراء الأرصاد الجوية طريقة الشبكة الممتدة للتنبؤ بالطقس
  • يستخدم المهندسون طريقة الشبكة الممتدة لتصميم الخيام وغيرها من الهياكل المشدودة .

انظر أيضاً

مراجع

  1. 1 2 إيريزاري، رافائيل أ. الفصل 28 التنعيم | مقدمة في علم البيانات .
  2. سيمونوف، جيفري س. (1998) أساليب التنعيم في الإحصاء ، الطبعة الثانية. سبرينغر، رقم ISBN 978-0387947167
  3. أوهافر، ت. (يناير 2012). "التنعيم" . terpconnect.umd.edu .
  4. 1 2 إيستون، في جيه؛ وماكول، جيه إتش (1997) "السلاسل الزمنية" ، معجم إحصاءات STEPS
  5. هيرمان، ليونارد ر. (1976)، "مخطط توليد الشبكة لابلاس-متساوي المعاملات" ، مجلة قسم الهندسة الميكانيكية ، 102 (5): 749-756 ، doi : 10.1061/JMCEA3.0002158.
  6. سوركين، أ.، كوهين-أور، د.، ليبمان، ي.، أليكسا، م. ، روسل، س.، سيدل، هـ.-ب. (2004). "تحرير سطح لابلاس" . وقائع ندوة يوروغرافيكس/إيه سي إم سيغراف لعام 2004 حول معالجة الهندسة . SGP '04. نيس، فرنسا: إيه سي إم. ص 175-184 . doi : 10.1145/1057432.1057456 . ISBN  3-905673-13-4. S2CID 1980978 . {{cite book}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )

للمزيد من القراءة

  • هاستي، تي جيه وتيبشيراني، آر جيه (1990)، النماذج الإضافية المعممة ، نيويورك: تشابمان وهول.