نموذج البرمجة المتوازية

تُعدّ الذاكرة المشتركة وسيلة فعّالة لتمرير البيانات بين العمليات. في نموذج الذاكرة المشتركة، تتشارك العمليات المتوازية مساحة عناوين عامة تقرأ وتكتب إليها بشكل غير متزامن. قد يؤدي الوصول المتزامن غير المتزامن إلى حالات تنافس ، ويمكن استخدام آليات مثل الأقفال والإشارات والمراقبات لتجنبها. تدعم المعالجات متعددة النوى التقليدية الذاكرة المشتركة بشكل مباشر، وقد صُممت العديد من لغات البرمجة المتوازية ومكتباتها، مثل Cilk و OpenMP و Threading Building Blocks ، للاستفادة منها .

في نموذج تمرير الرسائل، تتبادل العمليات المتوازية البيانات عبر تمرير الرسائل فيما بينها. يمكن أن تكون هذه الاتصالات غير متزامنة، حيث يمكن إرسال الرسالة قبل أن يكون المُستقبِل جاهزًا، أو متزامنة، حيث يجب أن يكون المُستقبِل جاهزًا. يستخدم نموذج العمليات المتسلسلة المتصلة (CSP) لتمرير الرسائل قنوات اتصال متزامنة لربط العمليات، وقد أدى إلى ظهور لغات برمجة مهمة مثل أوكام ، وليمبو ، وجو . في المقابل، يستخدم نموذج الممثل تمرير الرسائل غير المتزامن، وقد استُخدم في تصميم لغات برمجة مثل دي ، وسكالا ، وسالسا.

توفر نماذج مساحة العناوين العالمية المقسمة (PGAS) حلاً وسطاً بين الذاكرة المشتركة وتمرير الرسائل. توفر PGAS تجريداً لمساحة عناوين الذاكرة العالمية مقسمة منطقياً، حيث يكون جزء منها محلياً لكل عملية. تتواصل العمليات المتوازية من خلال تنفيذ عمليات (مثل القراءة والكتابة) بشكل غير متزامن على مساحة العناوين العالمية، بطريقة تُشبه نماذج الذاكرة المشتركة. مع ذلك، من خلال التقسيم الدلالي لمساحة العناوين العالمية إلى أجزاء ذات صلة بعمليات محددة، فإنها تُمكّن المبرمجين من استغلال خاصية المرجعية المحلية ، وتُتيح تنفيذاً فعالاً على الحواسيب المتوازية ذات الذاكرة الموزعة . تُقدم PGAS من قِبل العديد من لغات البرمجة المتوازية ومكتباتها، مثل Fortran 2008 و Chapel و UPC++ و SHMEM .

في النموذج الضمني، لا يكون تفاعل العمليات مرئيًا للمبرمج، بل يتولى المترجم و/أو بيئة التشغيل مسؤولية تنفيذه. ومن الأمثلة على التوازي الضمني لغات البرمجة المتخصصة في مجال معين، حيث يُحدد التزامن ضمن العمليات عالية المستوى مسبقًا، ولغات البرمجة الوظيفية، إذ يسمح غياب الآثار الجانبية بتنفيذ الدوال غير المترابطة بالتوازي. ^{[ 6 ]} مع ذلك، يصعب إدارة هذا النوع من التوازي ^{[ 7 ]} ، ولذا توفر لغات البرمجة الوظيفية، مثل Concurrent Haskell و Concurrent ML، ميزات لإدارة التوازي بشكل صريح وصحيح.

يركز نموذج التوازي في المهام على العمليات، أو مسارات التنفيذ. غالبًا ما تكون هذه العمليات متميزة سلوكيًا، مما يؤكد على ضرورة التواصل. يُعدّ التوازي في المهام طريقة طبيعية للتعبير عن التواصل القائم على تبادل الرسائل. في تصنيف فلين ، يُصنّف التوازي في المهام عادةً إلى MIMD / MPMD أو MISD .

يركز نموذج المعالجة المتوازية للبيانات على إجراء عمليات على مجموعة بيانات، عادةً ما تكون مصفوفة منتظمة البنية. ستعمل مجموعة من المهام على هذه البيانات، ولكن بشكل مستقل على أقسام منفصلة. في تصنيف فلين ، تُصنف المعالجة المتوازية للبيانات عادةً إلى MIMD / SPMD أو SIMD .

يركز التوازي المتدفق، المعروف أيضًا بالتوازي المتسلسل، على تقسيم العملية الحسابية إلى سلسلة من المراحل، حيث تعالج كل مرحلة جزءًا من بيانات الإدخال. تعمل كل مرحلة بشكل مستقل ومتزامن، وتُستخدم مخرجات كل مرحلة كمدخلات للمرحلة التالية. يُعد التوازي المتدفق مناسبًا بشكل خاص للتطبيقات التي تتعامل مع تدفقات بيانات مستمرة أو عمليات حسابية متسلسلة.

كما هو الحال مع التفاعل الضمني بين العمليات، فإن نموذج التوازي الضمني لا يكشف شيئًا للمبرمج، إذ أن المُصرّف أو بيئة التشغيل أو المكونات المادية هي المسؤولة. على سبيل المثال، في المُصرّفات، يُعد التوازي التلقائي عملية تحويل التعليمات البرمجية المتسلسلة إلى تعليمات برمجية متوازية، وفي بنية الحاسوب، يُعد التنفيذ فائق التوازي آليةً يتم من خلالها استغلال التوازي على مستوى التعليمات البرمجية لتنفيذ العمليات بالتوازي.