دالة التنبؤ الخطي

في الإحصاء والتعلم الآلي ، تُعرَّف دالة التنبؤ الخطي بأنها دالة خطية ( تركيبة خطية ) لمجموعة من المعاملات والمتغيرات التفسيرية ( المتغيرات المستقلة )، وتُستخدم قيمتها للتنبؤ بنتيجة المتغير التابع . ^{[ 1 ]} عادةً ما يُستخدم هذا النوع من الدوال في الانحدار الخطي ، حيث تُسمى المعاملات بمعاملات الانحدار . ومع ذلك، فهي تظهر أيضًا في أنواع مختلفة من المصنفات الخطية (مثل الانحدار اللوجستي ، ^{[ 2 ]} والبيرسيبترونات ، ^{[ 3 ]} وآلات المتجهات الداعمة ، ^{[ 4 ]} وتحليل التمييز الخطي ^{[ 5 ]} )، بالإضافة إلى نماذج أخرى متنوعة، مثل تحليل المكونات الرئيسية ^{[ 6 ]} وتحليل العوامل . في العديد من هذه النماذج، يُشار إلى المعاملات باسم "الأوزان".

الشكل الأساسي لدالة التنبؤ الخطي${\displaystyle f(i)}$بالنسبة لنقطة البيانات i (التي تتكون من p متغير تفسيري )، حيث i = 1، ...، n ، هي

${\displaystyle f(i)=\beta _{0}+\beta _{1}x_{i1}+\cdots +\beta _{p}x_{ip},}$

أين${\displaystyle x_{ik}}$، بالنسبة لـ k = 1، ...، p ، هي قيمة المتغير التفسيري رقم k لنقطة البيانات i ، و${\displaystyle \beta _{0},\ldots ,\beta _{p}}$هي المعاملات (معاملات الانحدار، والأوزان، وما إلى ذلك) التي تشير إلى التأثير النسبي لمتغير تفسيري معين على النتيجة .

من الأمثلة على استخدام دالة التنبؤ الخطي الانحدار الخطي ، حيث ترتبط كل نقطة بيانات بنتيجة مستمرة yᵢ ، _وتُكتب العلاقة على النحو التالي:

${\displaystyle y_{i}=f(i)+\varepsilon _{i}={\boldsymbol {\beta }}^{\mathrm {T} }\mathbf {x} _{i}\ +\varepsilon _{i},}$

أين${\displaystyle \varepsilon _{i}}$هو مصطلح اضطراب أو متغير خطأ - متغير عشوائي غير ملحوظ يضيف ضوضاء إلى العلاقة الخطية بين المتغير التابع ودالة التنبؤ.

في بعض النماذج (الانحدار الخطي القياسي، على وجه الخصوص)، يتم تجميع معادلات كل نقطة من نقاط البيانات i = 1، ...، n معًا وكتابتها في شكل متجه كما يلي:

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

أين

$\begin{pmatrix} y = y₁ y₂ ... yₙ \end{pmatrix}, \quad \mathbf{X} = x₁ ' 1 x₂ ' 2 ... xₙ \end{pmatrix} = x₁₁ ... x₁p x₂₁ ... x₂p ... xₙ₁ ... xₙp \end{pmatrix}, \quad \boldsymbol \beta }}={\begin{pmatrix}\beta _{1}\\\vdots \\\beta _{p}\end{pmatrix}},\quad {\boldsymbol {\varepsilon }}={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}.}$

تُعرف المصفوفة X باسم مصفوفة التصميم ، وهي تُشفّر جميع المعلومات المعروفة حول المتغيرات المستقلة .${\displaystyle \varepsilon _{i}}$هي متغيرات عشوائية ، والتي في الانحدار الخطي القياسي يتم توزيعها وفقًا للتوزيع الطبيعي القياسي ؛ وهي تعبر عن تأثير أي عوامل غير معروفة على النتيجة.

يُتيح ذلك إيجاد المعاملات المثلى باستخدام طريقة المربعات الصغرى من خلال عمليات المصفوفات البسيطة. وعلى وجه الخصوص، المعاملات المثلى${\displaystyle {\boldsymbol {\hat {\beta }}}}$يمكن كتابة التقديرات باستخدام طريقة المربعات الصغرى على النحو التالي:

${\displaystyle {\boldsymbol {\hat {\beta }}}=(X^{\mathrm {T} }X)^{-1}X^{\mathrm {T} }\mathbf {y} .}$

المصفوفة${\displaystyle (X^{\mathrm {T} }X)^{-1}X^{\mathrm {T} }}$يُعرف هذا باسم معكوس مور-بنروز الزائف للمصفوفة X. يتطلب استخدام معكوس المصفوفة في هذه الصيغة أن تكون X ذات رتبة كاملة ، أي لا يوجد ارتباط خطي متعدد تام بين المتغيرات التفسيرية المختلفة (أي لا يمكن التنبؤ بأي متغير تفسيري بدقة تامة من المتغيرات الأخرى). في مثل هذه الحالات، يمكن استخدام تحليل القيم المفردة لحساب المعكوس الزائف.

عند استخدام مجموعة ثابتة من الدوال غير الخطية لتحويل قيمة (قيم) نقطة بيانات، تُعرف هذه الدوال بدوال الأساس . ومن الأمثلة على ذلك الانحدار متعدد الحدود ، الذي يستخدم دالة تنبؤ خطية لنمذجة علاقة متعددة الحدود من أي درجة (حتى رتبة معينة) بين مجموعتين من نقاط البيانات (أي متغير تفسيري واحد ذو قيمة حقيقية ومتغير تابع ذي قيمة حقيقية مرتبط به)، وذلك بإضافة متغيرات تفسيرية متعددة تتوافق مع قوى مختلفة للمتغير التفسيري الموجود. رياضياً، يكون الشكل كالتالي:

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{p}x_{i}^{p}.}$

في هذه الحالة، لكل نقطة بيانات i ، يتم إنشاء مجموعة من المتغيرات التفسيرية على النحو التالي:

${\displaystyle (x_{i1}=x_{i},\quad x_{i2}=x_{i}^{2},\quad \ldots ,\quad x_{ip}=x_{i}^{p})}$

ثم يتم إجراء الانحدار الخطي القياسي . ستكون الدوال الأساسية في هذا المثال هي

${\displaystyle {\boldsymbol {\phi }}(x)=(\phi _{1}(x),\phi _{2}(x),\ldots ,\phi _{p}(x))=(x,x^{2},\ldots ,x^{p}).}$

يُظهر هذا المثال أن دالة التنبؤ الخطية قد تكون في الواقع أكثر فعالية مما تبدو عليه للوهلة الأولى: فهي لا تحتاج إلا أن تكون خطية في المعاملات . ويمكن للنموذج أن يُلائم جميع أنواع الدوال غير الخطية للمتغيرات التفسيرية.

ليس من الضروري أن تكون مدخلات دوال الأساس أحادية المتغير أو أحادية البعد (أو مخرجاتها، مع العلم أنه في هذه الحالة، يُرجح أن تُعامل قيمة المخرجات ذات البعد K كدوال أساس منفصلة ذات مخرجات قياسية ) . ومن الأمثلة على ذلك دوال الأساس الشعاعية (RBF)، التي تحسب نسخة مُحوَّلة من المسافة إلى نقطة ثابتة.

${\displaystyle \phi (\mathbf {x}$ ;\mathbf {c} )=\phi (||\mathbf {x} -\mathbf {c} ||)=\phi ({\sqrt {(x_{1}-c_{1})^{2}+\ldots +(x_{K}-c_{K})^{2}}})}

ومن الأمثلة على ذلك دالة RBF الغاوسية ، والتي لها نفس الشكل الوظيفي للتوزيع الطبيعي :

${\displaystyle \phi (\mathbf {x}$ ;\mathbf {c} )=e^{-b||\mathbf {x} -\mathbf {c} ||^{2}}}

والذي يتناقص بسرعة مع ازدياد المسافة من النقطة ج .

من الاستخدامات الممكنة لدوال الأساس الشعاعي (RBF) إنشاء دالة لكل نقطة بيانات مُلاحظة. هذا يعني أن نتيجة تطبيق دالة الأساس الشعاعي على نقطة بيانات جديدة ستكون قريبة من الصفر ما لم تكن النقطة الجديدة قريبة من النقطة التي طُبقت عليها الدالة. أي أن تطبيق دوال الأساس الشعاعي سيختار أقرب نقطة، وسيكون معامل الانحدار الخاص بها هو السائد. ستكون النتيجة شكلاً من أشكال استيفاء أقرب جار ، حيث تُجرى التنبؤات ببساطة باستخدام تنبؤ أقرب نقطة بيانات مُلاحظة، مع إمكانية الاستيفاء بين نقاط بيانات متعددة متقاربة عندما تكون جميعها على مسافات متقاربة. غالبًا ما يُعتبر هذا النوع من طريقة أقرب جار للتنبؤ مُعاكسًا تمامًا لنوع التنبؤ المُستخدم في الانحدار الخطي القياسي: ولكن في الواقع، فإن التحويلات التي يُمكن تطبيقها على المتغيرات التفسيرية في دالة التنبؤ الخطي قوية جدًا لدرجة أنه يُمكن حتى تطبيق طريقة أقرب جار كنوع من الانحدار الخطي.

بل من الممكن حتى ملاءمة بعض الدوال التي تبدو غير خطية في معاملاتها عن طريق تحويل هذه المعاملات إلى معاملات جديدة تبدو خطية. على سبيل المثال، دالة من الشكل التالي:${\displaystyle a+b^{2}x_{i1}+{\sqrt {c}}x_{i2}}$بالنسبة للمعاملات${\displaystyle a,b,c}$يمكن تحويلها إلى الدالة الخطية المناسبة عن طريق تطبيق التعويضات${\displaystyle b'=b^{2},c'={\sqrt {c}},}$مما يؤدي إلى${\displaystyle a+b'x_{i1}+c'x_{i2},}$وهو خطي. يمكن تطبيق الانحدار الخطي والتقنيات المماثلة، وغالبًا ما ستجد المعاملات المثلى، لكن تقديرات الخطأ وما شابهها ستكون خاطئة.

قد تكون المتغيرات التفسيرية من أي نوع : حقيقية ، ثنائية ، فئوية ، إلخ. ويكمن التمييز الرئيسي بين المتغيرات المستمرة (مثل الدخل، العمر، ضغط الدم ، إلخ) والمتغيرات المنفصلة (مثل الجنس، العرق، الانتماء الحزبي، إلخ). عادةً ما تُرمّز المتغيرات المنفصلة التي تشير إلى أكثر من خيارين محتملين باستخدام متغيرات وهمية (أو متغيرات مؤشرة )، أي يتم إنشاء متغيرات تفسيرية منفصلة تأخذ القيمة 0 أو 1 لكل قيمة محتملة للمتغير المنفصل، حيث تعني القيمة 1 أن "المتغير له القيمة المعطاة" وتعني القيمة 0 أن "المتغير ليس له القيمة المعطاة". على سبيل المثال، سيتم تحويل متغير منفصل رباعي الاتجاهات لفصيلة الدم بقيم محتملة "A، B، AB، O" إلى متغيرات وهمية ثنائية الاتجاه منفصلة، ​​"is-A، is-B، is-AB، is-O"، حيث يكون لأحدها فقط القيمة 1 والباقي جميعها لها القيمة 0. وهذا يسمح بمطابقة معاملات انحدار منفصلة لكل قيمة محتملة للمتغير المنفصل.

لاحظ أنه بالنسبة لـ K فئة، لا تكون جميع المتغيرات الصورية K مستقلة عن بعضها البعض. على سبيل المثال، في مثال فصيلة الدم المذكور أعلاه، ثلاثة فقط من المتغيرات الصورية الأربعة مستقلة، بمعنى أنه بمجرد معرفة قيم ثلاثة من المتغيرات، يتم تحديد قيمة الرابع تلقائيًا. وبالتالي، يكفي ترميز ثلاثة من الاحتمالات الأربعة كمتغيرات صورية، وفي الواقع، إذا تم ترميز جميع الاحتمالات الأربعة، يصبح النموذج الكلي غير قابل للتحديد . يُسبب هذا مشاكل لعدد من الطرق، مثل الحل البسيط ذي الصيغة المغلقة المستخدم في الانحدار الخطي. يتمثل الحل إما في تجنب مثل هذه الحالات عن طريق حذف أحد المتغيرات الصورية، و/أو إدخال قيد تنظيم (مما يستلزم طريقة أكثر قوة، وعادةً ما تكون تكرارية، لإيجاد المعاملات المثلى). ^{[ 7 ]}

• النموذج الخطي
• الانحدار الخطي