مرشح كالمان الجماعي
مرشح كالمان الجماعي ( EnKF ) هو مرشح تكراري مناسب للمسائل ذات العدد الكبير من المتغيرات، مثل تجزئة المعادلات التفاضلية الجزئية في النماذج الجيوفيزيائية. نشأ مرشح كالمان الجماعي كنسخة من مرشح كالمان للمسائل الكبيرة (حيث يتم استبدال مصفوفة التغاير بتغاير العينة )، وهو الآن عنصر مهم في استيعاب البيانات في التنبؤ الجماعي . يرتبط مرشح كالمان الجماعي بمرشح الجسيمات (في هذا السياق، الجسيم هو نفسه عضو المجموعة)، لكن مرشح كالمان الجماعي يفترض أن جميع التوزيعات الاحتمالية المعنية هي توزيعات غاوسية ؛ وعند تطبيقه، يكون أكثر كفاءة من مرشح الجسيمات .
مقدمة
مرشح كالمان الجماعي (EnKF) هو تطبيق مونت كارلو لمسألة التحديث البايزي : عند إعطاء دالة كثافة احتمالية (PDF) لحالة النظام المُمَثَّل (التوزيع الاحتمالي المسبق ، والذي يُسمى غالبًا بالتنبؤ في علوم الأرض) واحتمالية البيانات، تُستخدم نظرية بايز للحصول على دالة كثافة الاحتمالية بعد أخذ احتمالية البيانات في الاعتبار (التوزيع الاحتمالي اللاحق ، والذي يُسمى غالبًا بالتحليل). يُسمى هذا بالتحديث البايزي. يُدمج التحديث البايزي مع تطوير النموذج بمرور الوقت، مع دمج بيانات جديدة من حين لآخر. يفترض مرشح كالمان الأصلي ، الذي طُرح عام 1960، [ 1 ] أن جميع دوال كثافة الاحتمالية غاوسية (فرضية غاوس)، ويُقدم صيغًا جبرية لتغيير المتوسط ومصفوفة التباين بواسطة التحديث البايزي، بالإضافة إلى صيغة لتطوير المتوسط والتباين بمرور الوقت بشرط أن يكون النظام خطيًا. مع ذلك، فإن الحفاظ على مصفوفة التباين غير ممكن حسابيًا للأنظمة عالية الأبعاد. لهذا السبب، طُوِّرت مرشحات كالمان الموسعة (EnKFs). [ 2 ] [ 3 ] تمثل مرشحات كالمان الموسعة توزيع حالة النظام باستخدام مجموعة من متجهات الحالة، تُسمى المجموعة ، وتستبدل مصفوفة التغاير بتغاير العينة المحسوب من المجموعة. تُعامل المجموعة كما لو كانت عينة عشوائية ، لكن عناصر المجموعة ليست مستقلة فعليًا ، لأنها جميعًا تشترك في مرشح كالمان الموسع. إحدى مزايا مرشحات كالمان الموسعة هي أنه يمكن تحقيق تقدم دالة كثافة الاحتمال (PDF) بمرور الوقت ببساطة عن طريق تحريك كل عنصر من عناصر المجموعة. [ 4 ]
الاشتقاق
مرشح كالمان
يتركيشير إلىلنفترض أن متجه الحالة ذو الأبعاد n لنموذج ما له توزيع احتمالي غاوسي بمتوسطوالتباين المشتركأي أن ملف PDF الخاص به هو
هنا وفي الأسفل،يعني ذلك التناسب؛ يتم دائمًا تغيير مقياس دالة كثافة الاحتمال بحيث يكون تكاملها على كامل المساحة واحدًا.تم تطوير التوزيع الاحتمالي الأولي ، الذي يُسمى التوزيع الاحتمالي المسبق ، بمرور الوقت من خلال تشغيل النموذج، ويجب الآن تحديثه لمراعاة البيانات الجديدة. من الطبيعي افتراض أن توزيع الخطأ في البيانات معروف؛ إذ يجب أن تأتي البيانات مصحوبة بتقدير للخطأ، وإلا فإنها تصبح بلا معنى. هنا، البياناتيُفترض أن يكون لها دالة كثافة احتمالية غاوسية ذات تباينويعني، أينهي ما يسمى بمصفوفة الملاحظة . مصفوفة التغايريصف تقدير خطأ البيانات؛ إذا كانت الأخطاء العشوائية في مدخلات متجه البياناتمستقلون،المصفوفة قطرية، وعناصرها القطرية هي مربعات الانحراف المعياري ("حجم الخطأ") لخطأ العناصر المقابلة في متجه البيانات.القيمةما هي قيمة البيانات بالنسبة للولاية؟في حالة عدم وجود أخطاء في البيانات. عندئذٍ تكون كثافة الاحتمالمن البياناتمشروط بحالة النظام، والتي تسمى احتمالية البيانات ، هي
يتم دمج دالة كثافة الاحتمال للحالة واحتمالية البيانات لإعطاء دالة كثافة الاحتمال الجديدة لحالة النظامبشرط قيمة البيانات(الاحتمال اللاحق ) وفقًا لنظرية بايز ،
البياناتيتم تحديدها بمجرد استلامها، لذا نرمز إلى الحالة اللاحقة بـبدلاً منودالة كثافة الاحتمال الخلفية بواسطةيمكن إثبات ذلك من خلال عمليات جبرية [ 5 ] أن دالة كثافة الاحتمال الخلفية هي أيضًا دالة غاوسية.
مع المتوسط الخلفيوالتباين المشتركيتم الحصول عليها بواسطة صيغ تحديث كالمان
أين
وهي ما يسمى بمصفوفة كسب كالمان .
مرشح كالمان الجماعي
يُعد EnKF تقريبًا لمرشح كالمان باستخدام طريقة مونت كارلو، مما يتجنب تطوير مصفوفة التغاير لدالة كثافة الاحتمال لمتجه الحالة.بدلاً من ذلك، يتم تمثيل دالة كثافة الاحتمال بواسطة مجموعة.
هومصفوفة أعمدتها أعضاء المجموعة، وتُسمى المجموعة الأولية . من الناحية المثالية، تُشكّل أعضاء المجموعة عينة من التوزيع الأولي. مع ذلك، لا تكون أعضاء المجموعة مستقلة بشكل عام إلا في المجموعة الأولية، لأن كل خطوة من خطوات مرشح كالمان الموسع (EnKF) تربطها معًا. تُعتبر هذه الأعضاء مستقلة تقريبًا، وتُجرى جميع الحسابات كما لو كانت مستقلة بالفعل.
قم بتكرار البياناتإلىمصفوفة
بحيث يكون كل عموديتكون من متجه البياناتبالإضافة إلى متجه عشوائي منالتوزيع الطبيعي ذو الأبعادوإذا كانت أعمدةإذا كانت عينة من التوزيع الاحتمالي المسبق ، فإن أعمدة
تكوين عينة من توزيع الاحتمال اللاحق . لرؤية ذلك في الحالة العددية مع: يترك، و ثم
- .
المجموع الأول هو المتوسط اللاحق، أما المجموع الثاني، نظرًا للاستقلال، فله تباين
- ،
وهو التباين اللاحق.
يتم الآن الحصول على EnKF ببساطة عن طريق استبدال تباين الحالةفي مصفوفة كسب كالمانبواسطة التغاير العينيمحسوبة من أعضاء المجموعة (تسمى تباين المجموعة )، [ 6 ] أي:
تطبيق
التركيبة الأساسية
نتابع هنا. [ 7 ] [ 8 ] لنفترض مصفوفة المجموعةومصفوفة البياناتكما سبق. متوسط المجموعة والتباين هما
أين
ويشير إلى مصفوفة جميع العناصر التي تحتوي على واحدات بالحجم المحدد.
المجموعة الخلفيةثم يتم تحديده بواسطة
حيث مصفوفة البيانات المضطربةكما هو مذكور أعلاه.
لاحظ ذلك منذبما أن مصفوفة التغاير هي مصفوفة شبه موجبة دائمًا، وموجبة تمامًا في الغالب ، فإن معكوسها موجود، ويمكن تطبيق الصيغة باستخدام تحليل تشوليسكي . [ 9 ] انظر أيضًا [ 7 ] [ 8 ]يتم استبدالها بتغاير العينةأينويتم استبدال المعكوس بمعكوس زائف ، يتم حسابه باستخدام تحليل القيم المفردة (SVD).
بما أن هذه الصيغ عبارة عن عمليات مصفوفية ذات عمليات مهيمنة من المستوى الثالث ، [ 10 ] فهي مناسبة للتنفيذ الفعال باستخدام حزم برمجية مثل LAPACK (على الحواسيب ذات الذاكرة التسلسلية والمشتركة ) و ScaLAPACK (على الحواسيب ذات الذاكرة الموزعة ). [ 9 ] بدلاً من حساب معكوس المصفوفة والضرب به، من الأفضل بكثير (أرخص عدة مرات وأكثر دقة) حساب تحليل تشوليسكي للمصفوفة ومعالجة الضرب بالمعكوس كحل لنظام خطي ذي أطراف يمنى متزامنة متعددة. [ 10 ]
تنفيذ بدون مصفوفة الملاحظة
بما أننا استبدلنا مصفوفة التغاير بمصفوفة التغاير للمجموعة، فإن هذا يؤدي إلى صيغة أبسط حيث تُستخدم مشاهدات المجموعة مباشرةً دون تحديد المصفوفة بشكل صريح.وبشكل أكثر تحديدًا، قم بتعريف دالةمن الشكل
الوظيفةتُسمى هذه الدالة دالة الملاحظة ، أو في سياق المسائل العكسية ، المؤثر الأمامي . قيمةما هي قيمة البيانات بالنسبة للولاية؟بافتراض أن القياس دقيق، يمكن إعادة كتابة مجموعة التوزيع الاحتمالي اللاحق على النحو التالي:
أين
و
مع
وبالتالي، يمكن حساب تحديث المجموعة من خلال تقييم دالة الملاحظة.على كل عضو من أعضاء المجموعة مرة واحدة والمصفوفةلا يلزم معرفتها صراحةً. تنطبق هذه الصيغة أيضًا [ 9 ] على دالة الملاحظةبإزاحة ثابتةوالتي لا يلزم معرفتها صراحةً أيضًا. وقد شاع استخدام الصيغة المذكورة أعلاه لدالة الملاحظة غير الخطية.، مثل موقع دوامة الإعصار . [ 11 ] في هذه الحالة، يتم تقريب دالة الملاحظة بشكل أساسي بواسطة دالة خطية من قيمها عند أعضاء المجموعة.
تنفيذ لعدد كبير من نقاط البيانات
بالنسبة لعدد كبيرمن نقاط البيانات، الضرب فييصبح الأمر بمثابة عنق زجاجة. الصيغة البديلة التالية مفيدة عندما يكون عدد نقاط البياناتتكون كبيرة (كما هو الحال عند استيعاب البيانات الشبكية أو بيانات البكسل) ومصفوفة تباين خطأ البياناتتكون قطرية (وهو الحال عندما تكون أخطاء البيانات غير مترابطة)، أو سهلة التفكيك (مثل التوزيع النطاقي بسبب محدودية مسافة التغاير). باستخدام صيغة شيرمان-موريسون-وودبري [ 12 ]
مع
أعطِ
الأمر الذي يتطلب فقط حل الأنظمة ذات المصفوفة(بافتراض أنها رخيصة) ونظام بحجممعالجانب الأيمن. انظر [ 9 ] لمعرفة عدد العمليات.
توسعات إضافية
تتضمن نسخة EnKF الموصوفة هنا عملية عشوائية للبيانات. للاطلاع على المرشحات التي لا تتضمن عشوائية البيانات، انظر [ 13 ] [ 14 ] [ 15 ] .
نظرًا لأن مصفوفة التغاير للمجموعة تعاني من نقص في الرتبة (حيث يوجد عدد أكبر بكثير من متغيرات الحالة، يصل عادةً إلى الملايين، مقارنةً بأعضاء المجموعة، الذين يقل عددهم عادةً عن المئة)، فإنها تحتوي على حدود كبيرة لأزواج النقاط المتباعدة مكانيًا. ولأن قيم الحقول الفيزيائية في المواقع البعيدة ليست مترابطة بشكل كبير في الواقع ، يتم تقليل مصفوفة التغاير بشكل مصطنع بناءً على المسافة، مما يؤدي إلى ظهور خوارزميات EnKF الموضعية . [ 16 ] [ 17 ] تُعدّل هذه الطرق مصفوفة التغاير المستخدمة في الحسابات، وبالتالي، لم تعد المجموعة اللاحقة تتكون فقط من تركيبات خطية للمجموعة السابقة.
في المسائل غير الخطية، يمكن لخوارزمية EnKF إنشاء مجموعة احتمالات لاحقة مع حالات غير فيزيائية. ويمكن التخفيف من ذلك عن طريق التنظيم ، مثل معاقبة الحالات ذات التدرجات المكانية الكبيرة . [ 6 ]
في المسائل المتعلقة بالخصائص المتماسكة ، كالأعاصير والعواصف الرعدية وخطوط النار وخطوط العواصف الرعدية والجبهات المطرية ، ثمة حاجة لتعديل حالة النموذج العددي بتشويه الحالة في الفضاء (شبكتها) وتصحيح سعات الحالة بشكل تراكمي. في عام ٢٠٠٧، قدم رافيلا وآخرون نموذجًا مشتركًا لتعديل الموضع والسعة باستخدام مجموعات، واستنتجوا بشكل منهجي تقريبًا تسلسليًا يمكن تطبيقه على كل من مرشح كالمان الموسع (EnKF) وغيره من الصيغ. [ ١٨ ] لا تفترض طريقتهم أن أخطاء السعات والموضع مستقلة أو أنها تتبع التوزيع الغاوسي المشترك، كما تفعل الطرق الأخرى. يستخدم مرشح كالمان الموسع المتحول حالات وسيطة، يتم الحصول عليها بتقنيات مستعارة من تسجيل الصور وتشكيلها ، بدلًا من التراكيب الخطية للحالات. [ ١٩ ] [ ٢٠ ]
تعتمد مرشحات كالمان الموسعة (EnKFs) رسميًا على افتراض التوزيع الغاوسي. عمليًا، يمكن استخدامها أيضًا في المسائل غير الخطية، حيث قد لا يتحقق افتراض التوزيع الغاوسي. تشمل المرشحات ذات الصلة التي تحاول تخفيف افتراض التوزيع الغاوسي في مرشحات كالمان الموسعة مع الحفاظ على مزاياها ما يلي: مرشحات تُطابق دالة كثافة الاحتمال للحالة باستخدام نوى غاوسية متعددة، [ 21 ] ومرشحات تُقارب دالة كثافة الاحتمال للحالة باستخدام مخاليط غاوسية ، [ 22 ] ونوعًا مُعدَّلًا من مرشح الجسيمات مع حساب أوزان الجسيمات عن طريق تقدير الكثافة ، [ 20 ] ونوعًا مُعدَّلًا من مرشح الجسيمات مع دالة كثافة احتمال بيانات ذات ذيول سميكة للتخفيف من انحلال مرشح الجسيمات . [ 23 ]
انظر أيضاً
مراجع
- ↑ كالمان، ر. إي. (1960). "نهج جديد لمشاكل الترشيح والتنبؤ الخطي". مجلة الهندسة الأساسية . 82 (1): 35-45 . doi : 10.1115/1.3662552 . S2CID 1242324 .
- ↑ إيفنسن، ج. (1994). "استيعاب البيانات المتسلسل باستخدام نموذج شبه جيوفيزيائي غير خطي باستخدام طرق مونت كارلو للتنبؤ بإحصائيات الخطأ". مجلة البحوث الجيوفيزيائية . 99 (C5): 143-162 . Bibcode : 1994JGR....9910143E . doi : 10.1029/94JC00572 . hdl : 1956/3035 .
- ↑ هوتيكامر، ب.؛ ميتشل، هـ. ل. (1998). "استيعاب البيانات باستخدام تقنية مرشح كالمان الجماعي". مجلة الطقس الشهرية . 126 (3): 796-811 . Bibcode : 1998MWRv..126..796H . CiteSeerX 10.1.1.3.1706 . doi : 10.1175/1520-0493(1998)126 < 0796:DAUAEK > 2.0.CO ; 2 .
- ↑ للاطلاع على دراسة شاملة حول مرشح كالمان الجماعي (EnKF) وتقنيات استيعاب البيانات ذات الصلة، انظر: إيفنسن، ج. (2007). استيعاب البيانات : مرشح كالمان الجماعي . برلين: سبرينغر. ISBN 978-3-540-38300-0.
- ↑ أندرسون، بي دي أو؛ مور، جيه بي (1979). الترشيح الأمثل . إنجلوود كليفس، نيوجيرسي: برنتيس هول. ISBN 978-0-13-638122-8.
- 1 2 جونز، سي جيه؛ ماندل، جيه. (2008). "مرشح كالمان ثنائي المراحل لدمج البيانات بسلاسة". الإحصاءات البيئية والإيكولوجية . 15 (1): 101-110 . Bibcode : 2008EnvES..15..101J . CiteSeerX 10.1.1.67.4916 . doi : 10.1007/s10651-007-0033-0 . S2CID 14820232 .
- 1 2 برجر، جي؛ فان ليوين، بيجاي؛ إيفنسن، ج. (1998). “مخطط التحليل في مرشح فرقة كالمان”. مراجعة الطقس الشهرية . 126 (6): 1719– 1724. بيب كود : 1998MWRv..126.1719B . سيتيسيركس 10.1.1.41.5827 . دوى : 10.1175/1520-0493(1998)126 < 1719:ASITEK > 2.0.CO ; 2 .
- 1 2 إيفنسن، ج. (2003). "مرشح كالمان الجماعي: الصياغة النظرية والتطبيق العملي". ديناميات المحيطات . 53 (4): 343-367 . Bibcode : 2003OcDyn..53..343E . CiteSeerX 10.1.1.5.6990 . doi : 10.1007/s10236-003-0036-9 . S2CID 129233333 .
- 1 2 3 4 ماندل، ج. (يونيو 2006). "التنفيذ الفعال لمرشح كالمان الجماعي" (ملف PDF) . تقارير مركز الرياضيات الحاسوبية . 231. جامعة كولورادو في دنفر ومركز العلوم الصحية.
- 1 2 غولوب، جي إتش ؛ لون، سي إف في (1989). حسابات المصفوفات ( الطبعة الثانية). بالتيمور: مطبعة جامعة جونز هوبكنز. ISBN 978-0-8018-3772-2.
- ↑ تشين، واي؛ سنايدر، سي. (2007). "استيعاب موقع الدوامة باستخدام مرشح كالمان الجماعي" . مجلة الطقس الشهرية . 135 (5): 1828-1845 . رمز Bibcode : 2007MWRv..135.1828C . doi : 10.1175/MWR3351.1 .
- ↑ هاجر، دبليو دبليو (1989). "تحديث معكوس المصفوفة". مجلة SIAM Review . 31 (2): 221-239 . doi : 10.1137/1031049 .
- ↑ أندرسون، جيه إل (2001). "مرشح كالمان لتعديل المجموعة لاستيعاب البيانات". مجلة الطقس الشهرية . 129 (12): 2884-2903 . Bibcode : 2001MWRv..129.2884A . CiteSeerX 10.1.1.5.9952 . doi : 10.1175/1520-0493(2001)129 < 2884:AEAKFF > 2.0.CO ; 2 .
- ↑ إيفنسن، ج. (2004). "استراتيجيات أخذ العينات ومخططات تحليل الجذر التربيعي لمرشح كالمان الموسع". ديناميات المحيطات . 54 (6): 539-560 . Bibcode : 2004OcDyn..54..539E . CiteSeerX 10.1.1.3.6213 . doi : 10.1007/s10236-004-0099-2 . S2CID 120171951 .
- ↑ تيبت، إم كيه؛ أندرسون، جيه إل؛ بيشوب، سي إتش؛ هاميل، تي إم؛ ويتاكر، جيه إس (2003). "مرشحات الجذر التربيعي للمجموعات". مجلة الطقس الشهرية . 131 (7): 1485-1490 . رمز Bibcode : 2003MWRv..131.1485T . CiteSeerX 10.1.1.332.775 . doi : 10.1175/1520-0493(2003)131 < 1485:ESRF > 2.0.CO ; 2 .
- ↑ أندرسون، جيه إل (2003). "إطار عمل المربعات الصغرى المحلية لترشيح المجموعات". مجلة الطقس الشهرية . 131 (4): 634-642 . Bibcode : 2003MWRv..131..634A . CiteSeerX 10.1.1.10.6543 . doi : 10.1175/1520-0493(2003)131 < 0634:ALLSFF > 2.0.CO ; 2 .
- ^ أوت، إي . هانت، ر. سزونيوغ، أنا. زيمين، إيه في؛ كوستيليتش، إي جيه؛ كورازا، م.؛ كالناي، إي . باتيل، د.؛ يورك، جا (2004). “مرشح كالمان للمجموعة المحلية لاستيعاب بيانات الغلاف الجوي”. تيلوس أ . 56 (5): 415– 428. أرخايف : فيزياء/0203058 . بيب كود : 2004TellA..56..415O . دوى : 10.3402/tellusa.v56i5.14462 . S2CID 218577557 .
- ↑ رافيلا، س.؛ إيمانويل، ك .؛ ماكلولين، د. (2007). "استيعاب البيانات عن طريق محاذاة المجال". فيزيكا . د: الظواهر غير الخطية. 230 ( 1-2 ): 127-145 . Bibcode : 2007PhyD..230..127R . doi : 10.1016/j.physd.2006.09.035 .
- ↑ بيزلي، جيه دي؛ ماندل، جيه . (2008). "مرشحات كالمان التجميعية المتحولة". Tellus A. 60 ( 1): 131–140 . arXiv : 0705.3693 . Bibcode : 2008TellA..60..131B . doi : 10.1111/j.1600-0870.2007.00275.x . S2CID 1009227 .
- 1 2 ماندل، ج.؛ بيزلي، ج.د. (نوفمبر 2006). مرشحات التنبؤ والتصحيح ومرشحات التجميع المتحولة لاستيعاب البيانات المتفرقة في أنظمة غير خطية عالية الأبعاد (ملف PDF) . الندوة الحادية عشرة حول أنظمة الرصد والاستيعاب المتكاملة للغلاف الجوي والمحيطات وسطح الأرض (IOAS-AOLS)، قرص مضغوط، ورقة بحثية رقم 4.12، الاجتماع السنوي السابع والثمانون للجمعية الأمريكية للأرصاد الجوية، سان أنطونيو، تكساس، يناير 2007. تقرير مركز إدارة المناخ رقم 239. جامعة كولورادو في دنفر ومركز العلوم الصحية.
- ↑ أندرسون، جيه إل؛ أندرسون، إس إل (1999). "تطبيق مونت كارلو لمسألة الترشيح غير الخطي لإنتاج عمليات استيعاب وتنبؤات جماعية". مجلة الطقس الشهرية . 127 (12): 2741-2758 . رمز Bibcode : 1999MWRv..127.2741A . doi : 10.1175/1520-0493(1999)127 < 2741:AMCIOT > 2.0.CO ; 2 .
- ↑ بنغتسون، ت.؛ سنايدر، س.؛ نيتشكا، د. (2003). "نحو مرشح تجميعي غير خطي للأنظمة عالية الأبعاد" . مجلة البحوث الجيوفيزيائية: الغلاف الجوي . 108 (D24): STS 2–1–10. Bibcode : 2003JGRD..108.8775B . doi : 10.1029/2002JD002900 .
- ↑ فان ليوين، ب. (2003). "مرشح لتقليل التباين للتطبيقات واسعة النطاق". مجلة الطقس الشهرية . 131 (9): 2071-2084 . Bibcode : 2003MWRv..131.2071V . CiteSeerX 10.1.1.7.3719 . doi : 10.1175/1520-0493(2003)131 < 2071:AVFFLA > 2.0.CO ; 2 .
روابط خارجية
- صفحة ويب EnKF
- توباز، التنبؤ في الوقت الفعلي بالمحيط الأطلسي الشمالي والجليد البحري القطبي باستخدام EnKF
- EnKF-C، إطار عمل مضغوط لدمج البيانات في نماذج جيوفيزيائية طبقية واسعة النطاق باستخدام EnKF
- إطار عمل استيعاب البيانات المتوازي (PDAF) - برنامج مفتوح المصدر لاستيعاب البيانات يوفر متغيرات مختلفة من مرشح كالمان الموسع (EnKF).
- مرشح خطي
- المرشحات غير الخطية
- الإحصاءات البايزية
- تقدير الإشارة
- أساليب مونت كارلو
