انحدار المكونات الرئيسية

تتضمن عملية التوفيق للحصول على مقدر PCR إجراء انحدار لمتجه الاستجابة على مصفوفة البيانات المشتقة${\displaystyle W_{k}}$والتي تحتوي على أعمدة متعامدة لأي${\displaystyle k\in \{1,\ldots ,p\}}$بما أن المكونات الرئيسية متعامدة فيما بينها، فإنه في خطوة الانحدار، يتم إجراء انحدار خطي متعدد بشكل مشترك على${\displaystyle k}$إن اختيار المكونات الرئيسية كمتغيرات مشتركة يعادل إجراء...${\displaystyle k}$الانحدارات الخطية البسيطة المستقلة (أو الانحدارات أحادية المتغير) بشكل منفصل على كل من${\displaystyle k}$المكونات الرئيسية المختارة كمتغير مشترك.

عند اختيار جميع المكونات الرئيسية للانحدار بحيث${\displaystyle k=p}$إذاً، فإن مُقدِّر PCR يُعادل مُقدِّر المربعات الصغرى العادية . وبالتالي،${\displaystyle {\widehat {\boldsymbol {\beta}}} _ {p} = {\widehat {\boldsymbol {\beta }}} _ {\mathrm {ols} }}$ويتضح ذلك بسهولة من حقيقة أن${\displaystyle W_{p}=\mathbf {X} V_{p}=\mathbf {X} V}$ولاحظت أيضاً أن${\displaystyle V}$هي مصفوفة متعامدة .

لأي${\displaystyle k\in \{1,\ldots ,p\}}$، تباين${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$يُعطى بواسطة

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta}}}_{k})=\sigma ^{2}\;V_{k}(W_{k}^{T}W_{k})^{-1}V_{k}^{T}=\sigma ^{2}\;V_{k}\;\اسم المشغل {diag} \left(\lambda _{1}^{-1},\ldots ,\lambda _{k}^{-1}\right)V_{k}^{T}=\sigma ^{2}\sideset {}{}\sum _{j=1}^{k}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{ي}}}.}$

بخاصة:

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta}}}_{p})=\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })=\sigma ^{2}\sideset {}{}\sum _{j=1}^{p}{\frac {\mathbf {v} _ {j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.}$

لذا للجميع${\displaystyle k\in \{1,\ldots ,p-1\}}$لدينا:

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta}}} _ {\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\sigma ^{2}\sideset {}{}\sum _{j=k+1}^{p}{\frac {\mathbf {v} _{j}\mathbf {v} _{j}^{T}}{\lambda _{j}}}.}$

وهكذا، بالنسبة للجميع${\displaystyle k\in \{1,\ldots ,p\}}$لدينا:

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}} _ {\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}} _ {k})\succeq 0}$

أين${\displaystyle A\succeq 0}$يشير ذلك إلى أن المصفوفة المربعة المتناظرة${\displaystyle A}$هي غير سالبة محددة . وبالتالي، فإن أي شكل خطي معين لمقدر PCR له تباين أقل مقارنة بنفس الشكل الخطي لمقدر المربعات الصغرى العادية.

في حالة الارتباط الخطي المتعدد ، يكون اثنان أو أكثر من المتغيرات المساعدة مرتبطين ارتباطًا وثيقًا ، بحيث يمكن التنبؤ بأحدها خطيًا من المتغيرات الأخرى بدقة عالية. وبالتالي، فإن أعمدة مصفوفة البيانات${\displaystyle \mathbf {X} }$تميل المتغيرات التي تتوافق مع الملاحظات الخاصة بهذه المتغيرات المصاحبة إلى أن تصبح مرتبطة خطيًا ، وبالتالي،${\displaystyle \mathbf {X} }$يميل إلى أن يصبح ناقص الرتبة، فاقدًا بنية رتبة العمود الكاملة. وبشكل أكثر تحديدًا، فإن واحدًا أو أكثر من القيم الذاتية الأصغر لـ${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$تقترب (تقترب) جداً أو تصبح (تصبح) مساوية تماماً لـ${\displaystyle 0}$في ظل هذه الظروف، تشير تعابير التباين المذكورة أعلاه إلى أن هذه القيم الذاتية الصغيرة لها تأثير تضخمي أقصى على تباين مُقدِّر المربعات الصغرى، مما يؤدي إلى زعزعة استقرار المُقدِّر بشكل كبير عندما تكون قريبة من${\displaystyle 0}$يمكن معالجة هذه المشكلة بشكل فعال من خلال استخدام مقدر PCR الذي يتم الحصول عليه عن طريق استبعاد المكونات الرئيسية المقابلة لهذه القيم الذاتية الصغيرة.

يمكن أيضًا استخدام تفاعل البوليميراز المتسلسل (PCR) لتقليل الأبعاد . ولتوضيح ذلك، دعونا${\displaystyle L_{k}}$يشير إلى أي${\displaystyle p\times k}$مصفوفة ذات أعمدة متعامدة، لأي${\displaystyle k\in \{1,\ldots ,p\}.}$لنفترض الآن أننا نريد تقريب كل من مشاهدات المتغيرات المصاحبة${\displaystyle \mathbf {x} _{i}}$عبر الرتبة${\displaystyle k}$التحويل الخطي${\displaystyle L_{k}\mathbf {z} _{i}}$بالنسبة للبعض${\displaystyle \mathbf {z} _{i}\in \mathbb {R} ^{k}(1\leq i\leq n)}$.

بعد ذلك، يمكن إثبات أن

$\displaystyle \sum _{i=1}^{n}\left\|\mathbf {x} _{i}-L_{k}\mathbf {z} _{i}\right\|^{2}}$

يتم تقليله إلى الحد الأدنى عند${\displaystyle L_{k}=V_{k},}$المصفوفة التي تحتوي على الأول${\displaystyle k}$اتجاهات المكونات الرئيسية كأعمدة، و${\displaystyle \mathbf {z} _{i}=\mathbf {x} _{i}^{k}=V_{k}^{T}\mathbf {x} _{i},}$المقابل${\displaystyle k}$المتغيرات المصاحبة المشتقة من الأبعاد. وبالتالي فإن${\displaystyle k}$توفر المكونات الرئيسية ذات الأبعاد أفضل تقريب خطي للرتبة${\displaystyle k}$إلى مصفوفة البيانات المرصودة${\displaystyle \mathbf {X} }$.

يُعطى خطأ إعادة البناء المقابل بالصيغة التالية:

$\displaystyle \sum _{i=1}^{n}\left\|\mathbf {x} _{i}-V_{k}\mathbf {x} _{i}^{k}\right\|^{2}={\begin{cases}\sum _{j=k+1}^{n}\lambda _{j}&1\leqslant k<p\\0&k=p\end{cases}}}$

وبالتالي، يمكن تحقيق أي تقليل محتمل للأبعاد عن طريق الاختيار${\displaystyle k}$، عدد المكونات الرئيسية المراد استخدامها، من خلال تحديد عتبة مناسبة على المجموع التراكمي للقيم الذاتية لـ${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$بما أن القيم الذاتية الأصغر لا تُسهم بشكلٍ كبير في المجموع التراكمي، يمكن الاستمرار في حذف المكونات الرئيسية المقابلة لها طالما لم يتم تجاوز الحد الأدنى المطلوب. ويمكن استخدام المعايير نفسها لمعالجة مشكلة الارتباط الخطي المتعدد، حيث يمكن تجاهل المكونات الرئيسية المقابلة للقيم الذاتية الأصغر طالما تم الحفاظ على الحد الأدنى المطلوب.

بما أن مُقدِّر PCR يستخدم عادةً مجموعة فرعية فقط من جميع المكونات الرئيسية للانحدار، فيمكن اعتباره نوعًا من الإجراءات المُنتظمة . وبشكل أكثر تحديدًا، لأي${\displaystyle 1\leqslant k<p}$، مُقدِّر تفاعل البوليميراز المتسلسل${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$يشير إلى الحل المنتظم لمسألة التصغير المقيد التالية :

$\displaystyle \min _{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\left\|\mathbf {Y} -\mathbf {X} \boldsymbol {\beta }}_{*}\right\|^{2}\quad {\text{ مع مراعاة }}\quad \boldsymbol {\beta }}_{*}\perp \{\mathbf {v} _{k+1},\ldots ,\mathbf {v} _{p}\}.}$

يمكن كتابة القيد بشكل مكافئ على النحو التالي:

${\displaystyle V_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} ,}$

أين:

${\displaystyle V_{(p-k)}=\left[\mathbf {v} _{k+1},\ldots ,\mathbf {v} _{p}\right]_{p\times (p-k)}.}$

وبالتالي، عندما يتم اختيار مجموعة فرعية مناسبة فقط من جميع المكونات الرئيسية للانحدار، فإن مقدر PCR الذي تم الحصول عليه يعتمد على شكل صارم من التنظيم الذي يقيد الحل الناتج في فضاء الأعمدة لاتجاهات المكونات الرئيسية المختارة، وبالتالي يقيده ليكون متعامدًا مع الاتجاهات المستبعدة.

بالنظر إلى مسألة التصغير المقيد كما هو محدد أعلاه، ضع في اعتبارك النسخة المعممة التالية منها:

${\displaystyle \min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\|^{2}\quad {\text{ subject to }}\quad L_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} }$

أين،${\displaystyle L_{(p-k)}}$يشير إلى أي مصفوفة كاملة الرتبة العمودية من الرتبة${\displaystyle p\times (p-k)}$مع${\displaystyle 1\leqslant k<p}$.

يترك${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L}}$لنرمز إلى الحل المقابل.

${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L}=\arg \min _{{\boldsymbol {\beta }}_{*}\in \mathbb {R} ^{p}}\|\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}_{*}\|^{2}\quad {\text{ subject to }}\quad L_{(p-k)}^{T}{\boldsymbol {\beta }}_{*}=\mathbf {0} .}$

ثم يتم اختيار مصفوفة التقييد الأمثل${\displaystyle L_{(p-k)}}$والذي يكون له المقدر المقابل${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L}}$يتم تحقيق الحد الأدنى من خطأ التنبؤ بواسطة: ^{[ 4 ]}

${\displaystyle L_{(p-k)}^{*}=V_{(p-k)}\Lambda _{(p-k)}^{1/2},}$

أين

${\displaystyle \Lambda _{(p-k)}^{1/2}=\operatorname {diag} \left(\lambda _{k+1}^{1/2},\ldots ,\lambda _{p}^{1/2}\right).}$

بكل وضوح، المقدر الأمثل الناتج${\displaystyle {\widehat {\boldsymbol {\beta }}}_{L^{*}}}$ثم يتم تحديدها ببساطة بواسطة مقدر PCR${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$بناءً على الأول${\displaystyle k}$المكونات الرئيسية.

بما أن مقدر المربعات الصغرى العادية غير متحيز لـ${\displaystyle {\boldsymbol {\beta }}}$لدينا

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })=\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }),}$

حيث يرمز MSE إلى متوسط ​​مربع الخطأ . الآن، إذا كان لبعض${\displaystyle k\in \{1,\ldots ,p\}}$بالإضافة إلى ذلك، لدينا:${\displaystyle V_{(p-k)}^{T}{\boldsymbol {\beta }}=\mathbf {0} }$ثم المقابل${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$كما أنه غير متحيز لـ${\displaystyle {\boldsymbol {\beta }}}$وبالتالي

${\displaystyle \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})=\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k}).}$

لقد رأينا ذلك بالفعل

${\displaystyle \forall j\in \{1,\ldots ,p\}:\quad \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{j})\succeq 0,}$

وهذا يعني بالتالي:

${\displaystyle \operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0}$

لذلك على وجه التحديد${\displaystyle k}$وبالتالي في تلك الحالة، يكون المقابل${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$سيكون هذا مقدراً أكثر كفاءة لـ${\displaystyle {\boldsymbol {\beta }}}$مقارنة ب${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }}$، استنادًا إلى استخدام متوسط ​​مربع الخطأ كمعيار للأداء. بالإضافة إلى ذلك، أي شكل خطي معطى للمعادلة المقابلة${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$كما سيكون لها متوسط ​​خطأ تربيعي أقل مقارنةً بنفس الشكل الخطي لـ${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} }}$.

لنفترض الآن أنه بالنسبة لـ${\displaystyle k\in \{1,\ldots ,p\},V_{(p-k)}^{T}{\boldsymbol {\beta }}\neq \mathbf {0} }$ثم المقابل${\displaystyle {\widehat {\boldsymbol {\beta }}}_{k}}$متحيز لـ​${\displaystyle {\boldsymbol {\beta }}}$ومع ذلك، بما أن

${\displaystyle \forall k\in \{1,\ldots ,p\}:\quad \operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {Var} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0,}$

لا يزال من الممكن أن${\displaystyle \operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{\mathrm {ols} })-\operatorname {MSE} ({\widehat {\boldsymbol {\beta }}}_{k})\succeq 0}$وخاصة إذا${\displaystyle k}$بحيث تتوافق المكونات الرئيسية المستبعدة مع القيم الذاتية الأصغر، مما يؤدي إلى تحيز أقل .

لضمان كفاءة تقدير وتوقع أداء تفاعل البوليميراز المتسلسل (PCR) كمُقدِّر لـ${\displaystyle {\boldsymbol {\beta }}}$يقترح بارك (1981) ^{[ 4 ]} المبادئ التوجيهية التالية لاختيار المكونات الرئيسية المستخدمة في الانحدار: حذف${\displaystyle j^{th}}$المكون الرئيسي إذا وفقط إذا${\displaystyle \lambda _{j}<(p\sigma ^{2})/{\boldsymbol {\beta }}^{T}{\boldsymbol {\beta }}.}$يتطلب التطبيق العملي لهذا التوجيه بالطبع تقديرات لمعلمات النموذج المجهولة${\displaystyle \sigma ^{2}}$و${\displaystyle {\boldsymbol {\beta }}}$بشكل عام، يمكن تقديرها باستخدام تقديرات المربعات الصغرى غير المقيدة المستمدة من النموذج الكامل الأصلي. ومع ذلك، يقدم بارك (1981) مجموعة من التقديرات المعدلة قليلاً والتي قد تكون أكثر ملاءمة لهذا الغرض. ^{[ 4 ]}

بخلاف المعايير القائمة على المجموع التراكمي للقيم الذاتية لـ${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$ربما يكون هذا الأسلوب أكثر ملاءمةً لمعالجة مشكلة الارتباط الخطي المتعدد وتقليل الأبعاد، حيث تسعى المعايير المذكورة أعلاه إلى تحسين كفاءة التنبؤ والتقدير لمُقدِّر PCR من خلال إشراك كلٍّ من المتغير التابع والمتغيرات المستقلة في عملية اختيار المكونات الرئيسية المستخدمة في خطوة الانحدار. وتشمل الأساليب البديلة ذات الأهداف المماثلة اختيار المكونات الرئيسية بناءً على التحقق المتبادل أو معيار Mallow's C _p . وفي كثير من الأحيان، يتم اختيار المكونات الرئيسية أيضًا بناءً على درجة ارتباطها بالمتغير التابع.

بشكل عام، يعتبر PCR في الأساس مقدرًا للانكماش يحتفظ عادةً بالمكونات الرئيسية ذات التباين العالي (المقابلة للقيم الذاتية الأعلى لـ${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$) كمتغيرات مشتركة في النموذج، ويتجاهل المكونات المتبقية ذات التباين المنخفض (المقابلة للقيم الذاتية الأدنى لـ${\displaystyle \mathbf {X} ^{T}\mathbf {X} }$وبالتالي، يُحدث تأثير انكماش منفصل على مكونات التباين المنخفض، مما يُلغي مساهمتها تمامًا في النموذج الأصلي. في المقابل، يُحدث مُقدِّر انحدار الحافة تأثير انكماش سلس من خلال مُعامل التنظيم (أو مُعامل الضبط) المُتضمن في بنائه. ورغم أنه لا يتجاهل أيًا من المكونات تمامًا، إلا أنه يُحدث تأثير انكماش عليها جميعًا بطريقة مُستمرة، بحيث يكون مدى الانكماش أكبر بالنسبة لمكونات التباين المنخفض وأقل بالنسبة لمكونات التباين العالي. ويخلص فرانك وفريدمان (1993) ^{[ 5 ]} إلى أنه لأغراض التنبؤ نفسها، يُعد مُقدِّر الحافة، نظرًا لتأثير انكماشه السلس، خيارًا أفضل مُقارنةً بمُقدِّر انحدار الحافة ذي تأثير الانكماش المنفصل.

بالإضافة إلى ذلك، يتم الحصول على المكونات الرئيسية من تحليل القيم الذاتية لـ${\displaystyle \mathbf {X} }$يتضمن ذلك الملاحظات الخاصة بالمتغيرات التفسيرية فقط. لذا، فإن مُقدِّر PCR الناتج عن استخدام هذه المكونات الرئيسية كمتغيرات مساعدة ليس بالضرورة أن يتمتع بأداء تنبؤي مُرضٍ للنتيجة. يُعد مُقدِّر المربعات الصغرى الجزئية (PLS) مُقدِّرًا مشابهًا إلى حد ما، يحاول معالجة هذه المشكلة من خلال بنيته. على غرار PCR، يستخدم PLS أيضًا متغيرات مساعدة مُشتقة ذات أبعاد أقل. مع ذلك، وعلى عكس PCR، تُستخلص المتغيرات المساعدة المُشتقة في PLS بناءً على استخدام كلٍّ من النتيجة والمتغيرات المساعدة. بينما يبحث PCR عن اتجاهات التباين العالي في فضاء المتغيرات المساعدة، يبحث PLS عن الاتجاهات في فضاء المتغيرات المساعدة الأكثر فائدة للتنبؤ بالنتيجة.

في عام 2006، تم اقتراح نسخة معدلة من تحليل الانحدار الجزئي للمربعات الصغرى الكلاسيكي، تُعرف باسم تحليل الانحدار الجزئي للمربعات الصغرى الخاضع للإشراف . ^{[ 6 ]} وبنهج مشابه لنهج تحليل الانحدار الجزئي للمربعات الصغرى، يسعى هذا التحليل إلى الحصول على متغيرات مشتقة ذات أبعاد أقل بناءً على معيار يشمل كلاً من النتيجة والمتغيرات المشتقة. تبدأ هذه الطريقة بتنفيذ مجموعة من${\displaystyle p}$الانحدارات الخطية البسيطة (أو الانحدارات أحادية المتغير) حيث يتم انحدار متجه النتيجة بشكل منفصل على كل من المتغيرات الأخرى.${\displaystyle p}$يتم أخذ المتغيرات المصاحبة واحداً تلو الآخر. ثم، بالنسبة لبعض${\displaystyle m\in \{1,\ldots ,p\}}$، الأول${\displaystyle m}$يتم اختيار المتغيرات المصاحبة التي تبين أنها الأكثر ارتباطًا بالنتيجة (بناءً على درجة دلالة معاملات الانحدار المقدرة المقابلة) لاستخدامها لاحقًا. ثم يتم إجراء تفاعل البوليميراز المتسلسل التقليدي، كما هو موضح سابقًا، ولكنه يعتمد الآن فقط على${\displaystyle n\times m}$مصفوفة البيانات التي تمثل المشاهدات للمتغيرات المساعدة المختارة. عدد المتغيرات المساعدة المستخدمة:${\displaystyle m\in \{1,\ldots ,p\}}$وعدد المكونات الرئيسية المستخدمة لاحقاً:${\displaystyle k\in \{1,\ldots ,m\}}$يتم اختيارها عادةً عن طريق التحقق المتبادل .