هندسة الميزات

الموسوعة الحرة

هندسة الميزات هي خطوة تمهيدية في التعلم الآلي الخاضع للإشراف والنمذجة الإحصائية [ 1 ] ، حيث تحوّل البيانات الأولية إلى مجموعة مدخلات أكثر فعالية. يتألف كل مدخل من عدة سمات تُعرف بالميزات . ومن خلال تزويد النماذج بالمعلومات ذات الصلة، تُحسّن هندسة الميزات بشكل كبير من دقة التنبؤ وقدرتها على اتخاذ القرارات. [ 2 ] [ 3 ] [ 4 ]

إلى جانب التعلم الآلي، تُطبَّق مبادئ هندسة الميزات في مجالات علمية متنوعة، بما في ذلك الفيزياء. فعلى سبيل المثال، يُنشئ الفيزيائيون أرقامًا لا بُعدية مثل رقم رينولدز في ديناميكا الموائع ، ورقم نوسلت في انتقال الحرارة ، ورقم أرخميدس في الترسيب . كما يُطوِّرون تقريبات أولية للحلول، مثل الحلول التحليلية لمقاومة المواد في الميكانيكا. [ 5 ]

التجميع

يُعدّ تجميع عناصر الميزات أو عناصر العينة في مجموعة البيانات أحد تطبيقات هندسة الميزات. وعلى وجه الخصوص، استُخدمت هندسة الميزات القائمة على تحليل المصفوفات على نطاق واسع لتجميع البيانات في ظل قيود عدم سلبية معاملات الميزات. وتشمل هذه الطرق تحليل المصفوفات غير السالبة (NMF) [ 6 ] ، وتحليل المصفوفات الثلاثية غير السالبة (NMTF) [ 7 ] ، وتحليل/تفكيك الموترات غير السالبة (NTF/NTD) [ 8 ]، وغيرها. تُنتج قيود عدم سلبية معاملات متجهات الميزات المستخرجة بواسطة الخوارزميات المذكورة أعلاه تمثيلًا قائمًا على الأجزاء، وتُظهر مصفوفات العوامل المختلفة خصائص تجميع طبيعية. وقد وردت في الأدبيات العلمية العديد من التوسعات لطرق هندسة الميزات المذكورة أعلاه، بما في ذلك تحليل العوامل المقيد بالتعامد للتجميع الصعب، وتعلم التنوع للتغلب على المشكلات المتأصلة في هذه الخوارزميات.

تشمل فئات أخرى من خوارزميات هندسة الميزات الاستفادة من بنية مخفية مشتركة عبر مجموعات بيانات متعددة مترابطة للحصول على مخطط تجميع توافقي (مشترك). ومن الأمثلة على ذلك تصنيف الرؤى المتعددة القائم على تحليل مصفوفة التوافق (MCMD) [ 2 ] ، والذي يستخرج مخطط تجميع مشتركًا عبر مجموعات بيانات متعددة. صُمم MCMD لإخراج نوعين من تصنيفات الفئات (تجميع متغير المقياس وتجميع ثابت المقياس)، و:

  • يتميز بمتانة حسابية عالية في مواجهة المعلومات المفقودة،
  • يمكن الحصول على القيم الشاذة بناءً على الشكل والحجم،
  • ويمكنه التعامل مع البيانات عالية الأبعاد بكفاءة.

تُعدّ عمليات تحليل المصفوفات والموترات المترابطة شائعة في هندسة الميزات متعددة الرؤى. [ 9 ]

النمذجة التنبؤية

تتضمن هندسة الميزات في التعلم الآلي والنمذجة الإحصائية اختيار ميزات البيانات وإنشائها وتحويلها واستخراجها. وتشمل المكونات الرئيسية إنشاء الميزات من البيانات الموجودة، وتحويل الميزات المفقودة أو غير الصالحة وإدخالها، وتقليل أبعاد البيانات من خلال أساليب مثل تحليل المكونات الرئيسية (PCA) وتحليل المكونات المستقلة (ICA) وتحليل التمييز الخطي (LDA)، واختيار الميزات الأكثر صلة لتدريب النموذج بناءً على درجات الأهمية ومصفوفات الارتباط . [ 10 ]

تختلف أهمية الخصائص. [ 11 ] حتى الخصائص غير المهمة نسبيًا قد تُسهم في النموذج. يمكن أن يقلل اختيار الخصائص من عددها لمنع النموذج من أن يصبح شديد التخصص بمجموعة بيانات التدريب (التدريب الزائد). [ 12 ]

يحدث تضخم الميزات عندما يكون عدد الميزات المحددة كبيرًا جدًا بحيث يتعذر تقدير النموذج أو تحسينه بفعالية. ومن الأسباب الشائعة ما يلي:

  • قوالب الميزات - تطبيق قوالب الميزات بدلاً من برمجة ميزات جديدة
  • مجموعات الميزات - مجموعات لا يمكن تمثيلها بنظام خطي

يمكن الحد من تضخم الميزات من خلال تقنيات مثل التنظيم ، وطرق النواة ، واختيار الميزات . [ 13 ]

الأتمتة

يُعدّ أتمتة هندسة الميزات موضوعًا بحثيًا يعود تاريخه إلى تسعينيات القرن الماضي. [ 14 ] وقد أصبح برنامج التعلّم الآلي الذي يتضمن هندسة الميزات المؤتمتة متاحًا تجاريًا منذ عام 2016. [ 15 ] ويمكن تقسيم الأدبيات الأكاديمية ذات الصلة تقريبًا إلى نوعين:

  • يستخدم التعلم متعدد العلاقات لشجرة القرار (MRDTL) خوارزمية خاضعة للإشراف تشبه شجرة القرار .
  • تستخدم تقنية توليف الميزات العميقة أساليب أبسط.

التعلم متعدد العلاقات باستخدام شجرة القرار (MRDTL)

يُوسّع تعلّم شجرة القرار متعددة العلاقات (MRDTL) أساليب شجرة القرار التقليدية لتشمل قواعد البيانات العلائقية ، ويتعامل مع علاقات البيانات المعقدة عبر الجداول. ويستخدم بشكل مبتكر رسوم بيانية للاختيار كعقد قرار ، يتم تحسينها بشكل منهجي حتى يتم الوصول إلى معيار إنهاء محدد. [ 14 ]

تعتمد معظم دراسات MRDTL على قواعد البيانات العلائقية، مما ينتج عنه العديد من العمليات المتكررة. ويمكن تقليل هذه العمليات المتكررة باستخدام تقنيات مثل نشر معرفات الصفوف. [ 16 ] [ 17 ]

تطبيقات مفتوحة المصدر

يوجد عدد من المكتبات والأدوات مفتوحة المصدر التي تعمل على أتمتة هندسة الميزات على البيانات العلائقية والسلاسل الزمنية:

  • featuretools هي مكتبة بايثون لتحويل بيانات السلاسل الزمنية والبيانات العلائقية إلى مصفوفات ميزات لأغراض التعلم الآلي. [ 18 ] [ 19 ] [ 20 ]
  • MCMD: خوارزمية هندسة ميزات مفتوحة المصدر للتجميع المشترك لمجموعات بيانات متعددة. [ 21 ] [ 2 ]
  • تجمع OneBM أو One-Button Machine بين تحويلات الميزات واختيار الميزات على البيانات العلائقية مع تقنيات اختيار الميزات. [ 22 ]

    تساعد منصة OneBM علماء البيانات على تقليل وقت استكشاف البيانات، مما يتيح لهم تجربة العديد من الأفكار وتصحيحها في وقت قصير. من ناحية أخرى، فهي تمكّن غير المتخصصين، الذين ليسوا على دراية بعلم البيانات، من استخلاص القيمة من بياناتهم بسرعة وبأقل جهد ووقت وتكلفة. [ 22 ]

  • تُعدّ getML community أداة مفتوحة المصدر لهندسة الميزات الآلية على بيانات السلاسل الزمنية والبيانات العلائقية. [ 23 ] [ 24 ] وهي مُبرمجة بلغة C / C++ مع واجهة برمجة تطبيقات Python. [ 24 ] وقد أثبتت أنها أسرع بما لا يقل عن 60 مرة من tsflex وtsfresh وtsfel وfeaturetools وkats. [ 24 ]
  • tsfresh هي مكتبة بايثون لاستخراج الميزات من بيانات السلاسل الزمنية. [ 25 ] وهي تقيّم جودة الميزات باستخدام اختبار الفرضيات. [ 26 ]
  • tsflex هي مكتبة بايثون مفتوحة المصدر لاستخراج الميزات من بيانات السلاسل الزمنية. [ 27 ] على الرغم من أنها مكتوبة بالكامل بلغة بايثون، فقد ثبت أنها أسرع وأكثر كفاءة في استخدام الذاكرة من tsfresh وseglearn وtsfel. [ 28 ]
  • seglearn هو امتداد لمكتبة scikit-learn في بايثون لمعالجة بيانات السلاسل الزمنية المتسلسلة متعددة المتغيرات. [ 29 ]
  • tsfel هي حزمة بايثون لاستخراج الميزات من بيانات السلاسل الزمنية. [ 30 ]
  • kats هي مجموعة أدوات بايثون لتحليل بيانات السلاسل الزمنية. [ 31 ]

توليف الميزات العميقة

تفوقت خوارزمية توليف الميزات العميقة (DFS) على 615 فريقًا من أصل 906 فريقًا بشريًا في مسابقة. [ 32 ] [ 33 ]

متاجر مميزة

مخزن الميزات هو المكان الذي تُخزَّن فيه الميزات وتُنظَّم لغرض استخدامها تحديدًا إما لتدريب النماذج (من قِبَل علماء البيانات) أو لإجراء التنبؤات (من قِبَل التطبيقات التي لديها نموذج مُدرَّب). وهو موقع مركزي يُمكنك من خلاله إنشاء أو تحديث مجموعات من الميزات المُستمدة من مصادر بيانات مُتعددة ومُختلفة، أو إنشاء وتحديث مجموعات بيانات جديدة من مجموعات الميزات هذه لتدريب النماذج أو لاستخدامها في التطبيقات التي لا ترغب في حساب الميزات، بل تسترجعها فقط عند الحاجة إليها لإجراء التنبؤات. [ 34 ]

يتضمن مخزن الميزات القدرة على تخزين التعليمات البرمجية المستخدمة لإنشاء الميزات، وتطبيق هذه التعليمات على البيانات الأولية، وتقديم هذه الميزات إلى النماذج عند الطلب. وتشمل الإمكانيات المفيدة التحكم في إصدارات الميزات والسياسات التي تحكم الظروف التي يمكن فيها استخدام الميزات. [ 35 ]

يمكن أن تكون متاجر الميزات أدوات برمجية مستقلة أو مدمجة في منصات التعلم الآلي.

البدائل

قد تكون هندسة الميزات عمليةً تستغرق وقتًا طويلاً وعرضةً للأخطاء، إذ تتطلب خبرةً في المجال، وغالبًا ما تنطوي على التجربة والخطأ. [ 36 ] [ 37 ] يمكن استخدام خوارزميات التعلم العميق لمعالجة مجموعة بيانات خام كبيرة دون الحاجة إلى اللجوء إلى هندسة الميزات. [ 38 ] ومع ذلك، لا تزال خوارزميات التعلم العميق تتطلب معالجةً مسبقةً دقيقةً وتنظيفًا للبيانات المدخلة. [ 39 ] إضافةً إلى ذلك، قد يكون اختيار البنية المناسبة، والمعلمات الفائقة، وخوارزمية التحسين لشبكة عصبية عميقة عمليةً صعبةً وتكرارية. [ 40 ]

انظر أيضاً

مراجع

  1. ↑ هاستي، تريفور؛ تيبشيراني، روبرت؛ فريدمان، جيروم هـ. (2009). عناصر التعلم الإحصائي: التنقيب في البيانات، والاستدلال، والتنبؤ . سبرينغر. ISBN 978-0-387-84884-6.
  2. 1 2 3 شارما، شوبهام؛ ناياك، ريتشي؛ بهاسكار، أشيش (2024-05-01). "هندسة الميزات متعددة الرؤى للتجميع المشترك اليومي لمجموعات بيانات المرور المتعددة" . أبحاث النقل، الجزء ج: التقنيات الناشئة . 162 104607. رمز Bibcode : 2024TRPC..16204607S . doi : 10.1016/j.trc.2024.104607 . ISSN 0968-090X . 
  3. ↑ شاليف-شوارتز، شاي؛ بن-ديفيد، شاي (2014). فهم التعلم الآلي: من النظرية إلى الخوارزميات . كامبريدج: مطبعة جامعة كامبريدج. ISBN 978-1-107-05713-5.
  4. ↑ مورفي، كيفن ب. (2022). التعلم الآلي الاحتمالي . كامبريدج، ماساتشوستس: مطبعة معهد ماساتشوستس للتكنولوجيا (حقوق النشر محفوظة لمعهد ماساتشوستس للتكنولوجيا 2022، ويخضع هذا العمل لترخيص المشاع الإبداعي CC-BY-NC-ND). ISBN 978-0-262-04682-4.
  5. ↑ ماكويرون سي (2021). خلط المواد الصلبة والسائلة في الخزانات المحركة: النمذجة، والتحقق، وتحسين التصميم، والتنبؤ بجودة المعلق (تقرير). doi : 10.13140/RG.2.2.11074.84164/1 .
  6. ↑ لي، دانيال د.؛ سيونغ، هـ. سيباستيان (1999). "تعلم أجزاء الأشياء من خلال تحليل المصفوفات غير السالبة" . مجلة نيتشر . 401 (6755): 788-791 . Bibcode : 1999Natur.401..788L . doi : 10.1038/44565 . ISSN 1476-4687 . PMID 10548103 .  
  7. ↑ وانغ، هوا؛ ني، فيبينغ؛ هوانغ، هينغ؛ دينغ، كريس (2011). "التجميع المشترك عالي الرتبة القائم على تحليل المصفوفات غير السالبة ثلاثي العوامل وتنفيذه السريع" . المؤتمر الدولي الحادي عشر لـ IEEE حول استخراج البيانات ، 2011. IEEE. الصفحات 774-783 . doi : 10.1109/icdm.2011.109 . ISBN  978-1-4577-2075-8.
  8. ↑ ليم، ليك-هينغ؛ كومون، بيير (2009-04-12). "تقريبات غير سالبة للموترات غير السالبة". arXiv : 0903.4530 [ cs.NA ].
  9. ↑ ناياك ، ريتشي؛ لونغ، خان (2023). "التعلم متعدد الجوانب". مكتبة مراجع الأنظمة الذكية . 242. doi : 10.1007/978-3-031-33560-0 . ISBN 978-3-031-33559-4ISSN 1868-4394​​ 
  10. ↑ "هندسة الميزات - عدسة التعلم الآلي" . docs.aws.amazon.com . تم الاطلاع عليه بتاريخ 1 مارس 2024 .
  11. ↑ "هندسة الميزات" (ملف PDF) . 22-04-2010 . تم الاطلاع عليه بتاريخ 12 نوفمبر 2015 .
  12. ↑ "هندسة الميزات واختيارها" (ملف PDF) . ألكسندر بوشار-كوتيه. 1 أكتوبر 2009. تم الاطلاع عليه بتاريخ 12 نوفمبر 2015 .
  13. ↑ "هندسة الميزات في التعلم الآلي" (ملف PDF) . زدينيك زابوكرتسكي. مؤرشف من الأصل (ملف PDF) بتاريخ 4 مارس 2016. تم الاطلاع عليه بتاريخ 12 نوفمبر 2015 .
  14. 1 2 نوب إيه جيه، سيبس إيه، فان دير والين دي (1999). "استقراء شجرة القرار متعددة العلاقات" (ملف PDF) . مبادئ استخراج البيانات واكتشاف المعرفة . سلسلة محاضرات في علوم الحاسوب. المجلد 1704. الصفحات 378-383 . doi : 10.1007/978-3-540-48247-5_46 . ISBN   978-3-540-66490-1.
  15. ↑ "الأمر كله يتعلق بالميزات" . مدونة Reality AI . سبتمبر 2017.
  16. ↑ ين إكس، هان جيه، يانغ جيه، يو بي إس (2004). "CrossMine: تصنيف فعال عبر علاقات قواعد بيانات متعددة". وقائع المؤتمر الدولي العشرين لهندسة البيانات . الصفحات 399-410 . doi : 10.1109/ICDE.2004.1320014 . ISBN  0-7695-2065-0. S2CID 1183403 . 
  17. ↑ فرانك ر، موزر ف، إستر م (2007). "طريقة للتصنيف متعدد العلاقات باستخدام دوال تجميع أحادية ومتعددة الميزات". اكتشاف المعرفة في قواعد البيانات: PKDD 2007. سلسلة محاضرات في علوم الحاسوب. المجلد 4702. الصفحات 430-437 . doi : 10.1007/978-3-540-74976-9_43 . ISBN   978-3-540-74975-2.
  18. ↑ "ما هي أدوات الميزات؟" . تم الاطلاع عليه في 7 سبتمبر 2022 .
  19. ↑ "Featuretools - إطار عمل بايثون مفتوح المصدر لهندسة الميزات الآلية" . مؤرشف من الأصل في 18 أغسطس 2019. تم الاطلاع عليه في 7 سبتمبر 2022 .
  20. ↑ "github: alteryx/featuretools" . GitHub . تم الاطلاع عليه في 7 سبتمبر 2022 .
  21. ↑ شارما، شوبهام، إم سي إم دي: إطار تصنيف متعدد الرؤى قائم على تحليل مصفوفة التوافق، تم تطويره بواسطة شوبهام شارما في جامعة كوينزلاند للتكنولوجيا ، تم الاطلاع عليه بتاريخ 14 أبريل 2024
  22. 1 2 ثانه لام، هوانغ؛ ثيبو، يوهان-مايكل؛ سين، ماثيو؛ تشين، بي؛ ماي، تيب؛ ألكان، أوزنور (2017-06-01). "آلة بزر واحد لأتمتة هندسة الميزات في قواعد البيانات العلائقية". arXiv : 1706.00327 [ cs.DB ].
  23. ↑ "وثائق getML" . تم الاطلاع عليها في 7 سبتمبر 2022 .
  24. 1 2 3 "github: getml/getml-community" . GitHub . تم الاسترجاع في 7 سبتمبر 2022 .
  25. ↑ "وثائق tsfresh" . تم الاطلاع عليها في 7 سبتمبر 2022 .
  26. ↑ "استخراج ميزات السلاسل الزمنية بناءً على اختبارات الفرضيات القابلة للتوسع (tsfresh - حزمة بايثون)" . تم الاطلاع عليه في 7 سبتمبر 2022 .
  27. ↑ "predict-idlab/tsflex" . GitHub . تم الاطلاع عليه في 7 سبتمبر 2022 .
  28. ^ فان دير دونكت، جوناس؛ فان دير دونكت، جيروين؛ ديبروست، إميل؛ فان هوك، صوفي (2022). "tsflex: معالجة السلاسل الزمنية المرنة واستخراج الميزات" . سوفت وير اكس . 17 100971. أرخايف : 2111.12429 . بيب كود : 2022SoftX..1700971V . دوى : 10.1016/j.softx.2021.100971 . S2CID 244527198 . تم الاسترجاع في 7 سبتمبر 2022 . 
  29. ↑ "دليل مستخدم seglearn" . تم الاطلاع عليه في 7 سبتمبر 2022 .
  30. ↑ "مرحباً بكم في وثائق TSFEL!" . تم الاطلاع عليه في 7 سبتمبر 2022 .
  31. ↑ "github: facebookresearch/Kats" . GitHub . تم الاطلاع عليه في 7 سبتمبر 2022 .
  32. ↑ "أتمتة تحليل البيانات الضخمة" . 16 أكتوبر 2015.
  33. ↑ كانتر، جيمس ماكس؛ فيراماتشانيني، كاليان (2015). "توليف الميزات العميقة: نحو أتمتة مساعي علم البيانات". المؤتمر الدولي لعلوم البيانات والتحليلات المتقدمة (DSAA) لعام 2015، IEEE . الصفحات 1-10 . doi : 10.1109/DSAA.2015.7344858 . ISBN  978-1-4673-8272-4. S2CID 206610380 . 
  34. ↑ "ما هو متجر الميزات؟" . تم الاسترجاع في 19 أبريل 2022 .
  35. ↑ "مقدمة عن المتاجر المميزة" . تم الاطلاع عليه بتاريخ 15-04-2021 .
  36. ↑ "هندسة الميزات في التعلم الآلي" . برنامج التعليم الهندسي (EngEd) | القسم . تم الاسترجاع في 21-03-2023 .
  37. ↑ explorium_admin (2021-10-25). "5 أسباب تجعل هندسة الميزات صعبة" . إكسبلوريوم . تم الاسترجاع في 2023-03-21 .
  38. ↑ شبيغلهالتر، دي جيه (2019). فن الإحصاء: التعلم من البيانات . [لندن] المملكة المتحدة. ISBN 978-0-241-39863-0. OCLC 1064776283 . {{cite book}}: CS1 maint: موقع الناشر مفقود ( رابط )
  39. ↑ ساركير ، آي إتش (نوفمبر 2021). "التعلم العميق: نظرة شاملة على التقنيات والتصنيف والتطبيقات واتجاهات البحث" . مجلة علوم الحاسوب . 2 (6) 420. doi : 10.1007/s42979-021-00815-1 . PMC 8372231. PMID 34426802 .  
  40. ↑ بينجيو، يوشوا (2012)، "توصيات عملية للتدريب القائم على التدرج للهياكل العميقة" ، الشبكات العصبية: حيل المهنة ، سلسلة محاضرات في علوم الحاسوب، المجلد 7700، برلين، هايدلبرغ: سبرينغر برلين هايدلبرغ، الصفحات 437-478 ، arXiv : 1206.5533 ، doi : 10.1007/978-3-642-35289-8_26 ، ISBN   978-3-642-35288-1، S2CID 10808461 ، تم الاسترجاع بتاريخ 21-03-2023 

للمزيد من القراءة

  • بوهمكي ب، غرينويل ب (2019). "هندسة الميزات والأهداف". التعلم الآلي العملي باستخدام لغة R. تشابمان وهول. ص 41-75 . ISBN  978-1-138-49568-5.
  • تشنغ أ، كاساري أ (2018). هندسة الميزات للتعلم الآلي: المبادئ والتقنيات لعلماء البيانات . أورايلي. ISBN 978-1-4919-5324-2.
  • زوميل ن، ماونت (2020). "هندسة البيانات وتشكيلها". علم البيانات العملي باستخدام لغة R (  الطبعة الثانية). مانينغ. الصفحات 113-160 . ISBN  978-1-61729-587-4.
  • أبووف، م.، سينغ، س.، ميزوني، ر.، أوتروك، هـ. (2024)، "هندسة الميزات والنهج القائم على التعلم العميق للكشف عن الأحداث في إنترنت الأشياء الطبية (MIoT)"، إنترنت الأشياء ، 26 101191، دار النشر Elsevier BV، doi : 10.1016/j.iot.2024.101191
  • شيكو د، أونيتو ​​ل، تافاتزي إي (ديسمبر 2022). "إحدى عشرة نصيحة سريعة لتنظيف البيانات وهندسة الميزات" . مجلة PLOS لعلم الأحياء الحاسوبي . 18 (12) e1010718. رمز Bibcode : 2022PLSCB..18E0718C . doi : 10.1371/ journal.pcbi.1010718 . PMC 9754225. PMID 36520712. S2CID 254733288 .