معالجة الدفعات

المعالجة الدفعية المحوسبة هي طريقة لتشغيل برامج برمجية تسمى الوظائف في دفعات تلقائيًا. وبينما يُطلب من المستخدمين إرسال الوظائف، لا يلزم أي تفاعل آخر من جانب المستخدم لمعالجة الدفعة. يمكن تشغيل الدفعات تلقائيًا في أوقات مجدولة بالإضافة إلى تشغيلها وفقًا لتوافر موارد الكمبيوتر.

نشأ مصطلح "المعالجة على دفعات" في التصنيف التقليدي لطرق الإنتاج كإنتاج الوظيفة (إنتاج لمرة واحدة)، والإنتاج على دفعات (إنتاج "دفعة" من عناصر متعددة في وقت واحد، مرحلة واحدة في كل مرة)، والإنتاج التدفقي (الإنتاج الضخم، جميع المراحل في العملية في وقت واحد).

كانت أجهزة الكمبيوتر المبكرة قادرة على تشغيل برنامج واحد فقط في كل مرة. وكان كل مستخدم يتمتع بالتحكم الكامل في الجهاز لفترة زمنية محددة. وكانوا يصلون إلى الكمبيوتر ومعهم البرنامج والبيانات، غالبًا على بطاقات ورقية مثقبة وشريط مغناطيسي أو ورقي، وكانوا يقومون بتحميل البرنامج وتشغيله وتصحيح أخطائه، ثم يقومون بإخراج النتائج عند الانتهاء.

مع تزايد سرعة أجهزة الكمبيوتر، أصبح وقت الإعداد والتفكيك يمثل نسبة أكبر من وقت الكمبيوتر المتاح. تم تطوير برامج تسمى الشاشات ، وهي أسلاف أنظمة التشغيل ، والتي يمكنها معالجة سلسلة أو "دفعة" من البرامج، غالبًا من شريط مغناطيسي تم إعداده دون اتصال بالإنترنت. يتم تحميل الشاشة في الكمبيوتر وتشغيل أول مهمة من الدفعة. في نهاية المهمة، تستعيد السيطرة وتحمل وتشغل المهمة التالية حتى تكتمل الدفعة. غالبًا ما يتم كتابة ناتج الدفعة على شريط مغناطيسي وطباعته أو ثقبه دون اتصال بالإنترنت. كانت أمثلة الشاشات هي نظام مراقبة فورتران من IBM ، ونظام التشغيل التشاركي SOS، وأخيرًا IBSYS لأنظمة IBM 709x في عام 1960. ^{[1] [2]}

بدأت أجهزة الكمبيوتر من الجيل الثالث ^{[ بحاجة لتوضيح ] [3]} القادرة على البرمجة المتعددة في الظهور في ستينيات القرن العشرين. فبدلاً من تشغيل مهمة دفعة واحدة في كل مرة، يمكن لهذه الأنظمة تشغيل برامج دفعات متعددة في نفس الوقت من أجل إبقاء النظام مشغولاً قدر الإمكان. قد يكون هناك برنامج واحد أو أكثر ينتظر الإدخال، وبرنامج يعمل بنشاط على وحدة المعالجة المركزية، وبرنامج آخر يولد الإخراج. وبدلاً من الإدخال والإخراج دون اتصال بالإنترنت، تقوم البرامج التي تسمى برامج التجميع بقراءة المهام من البطاقات أو القرص أو المحطات الطرفية البعيدة ووضعها في قائمة انتظار المهام لتشغيلها. ولمنع الجمود ، يحتاج مجدول المهام إلى معرفة متطلبات موارد كل مهمة - الذاكرة والأشرطة المغناطيسية والأقراص القابلة للتركيب ، وما إلى ذلك، لذلك تم تطوير لغات برمجة نصية مختلفة لتزويد هذه المعلومات بطريقة منظمة. ربما الأكثر شهرة هي لغة التحكم في الوظائف (JCL) من IBM. يقوم مجدولو الوظائف باختيار الوظائف التي سيتم تشغيلها وفقًا لمجموعة متنوعة من المعايير، بما في ذلك الأولوية وحجم الذاكرة وما إلى ذلك. الدفعة البعيدة هي إجراء لإرسال وظائف الدفعة من محطات بعيدة، غالبًا ما تكون مجهزة بقارئ بطاقات مثقبة وطابعة خطية . ^[4] في بعض الأحيان، يتم استخدام المعالجة المتعددة غير المتماثلة لتدوير إدخال وإخراج الدفعة لجهاز كمبيوتر واحد أو أكثر كبير الحجم باستخدام نظام أصغر وأقل تكلفة متصل، كما هو الحال في معالج الدعم المرفق IBM System/360. ^[أ]

كان أول نظام تقاسم الوقت للأغراض العامة، وهو نظام تقاسم الوقت المتوافق (CTSS)، متوافقًا مع المعالجة الدفعية. وقد سهّل هذا الانتقال من المعالجة الدفعية إلى الحوسبة التفاعلية . ^[5]

منذ أواخر ستينيات القرن العشرين فصاعدًا، أصبحت الحوسبة التفاعلية مثل عبر واجهات المحطات الطرفية للحاسوب القائمة على النصوص (كما في غلافات يونكس أو حلقات القراءة والتقييم والطباعة )، وواجهات المستخدم الرسومية لاحقًا شائعة. أصبح الحوسبة غير التفاعلية، سواء الوظائف لمرة واحدة مثل التجميع، ومعالجة عناصر متعددة في دفعات، يشار إليها بأثر رجعي باسم المعالجة الدفعية ، وأصبح مصطلح وظيفة الدفعة (غالبًا ما يكون في الاستخدام المبكر "دفعة من الوظائف") شائعًا. تم العثور على الاستخدام المبكر بشكل خاص في جامعة ميشيغان ، حول نظام محطة ميشيغان (MTS). ^[6]

على الرغم من وجود نظام تقاسم الوقت، إلا أن استخدامه لم يكن قوياً بما يكفي لمعالجة البيانات في الشركات؛ ولم يكن أي من هذا مرتبطاً بمعدات تسجيل الوحدة السابقة ، والتي كان يتم تشغيلها بواسطة الإنسان.

لا تزال الحوسبة غير التفاعلية منتشرة في الحوسبة، سواء لمعالجة البيانات العامة أو لمهام "التدبير المنزلي" للنظام (باستخدام برامج النظام ). غالبًا ما يُطلق على البرنامج عالي المستوى (الذي ينفذ برامج متعددة، مع بعض منطق "الغراء" الإضافي) اليوم اسم البرنامج النصي ، ويُكتب بلغات البرمجة النصية ، وخاصة نصوص shell لمهام النظام؛ في IBM PC DOS و MS-DOS يُعرف هذا بدلاً من ذلك باسم ملف الدفعات . يتضمن ذلك أجهزة الكمبيوتر المستندة إلى UNIX و Microsoft Windows و macOS (الذي يعتمد على نواة BSD Unix) وحتى الهواتف الذكية . غالبًا ما يُعرف البرنامج النصي قيد التشغيل، وخاصةً الذي يتم تنفيذه من جلسة تسجيل دخول تفاعلية ، باسم الوظيفة ، ولكن هذا المصطلح يستخدم بشكل غامض للغاية.

"لا يوجد نظير مباشر لمعالجة الدفعات في نظام z/OS في أنظمة الكمبيوتر الشخصي أو UNIX. يتم تنفيذ المهام الدفعية عادةً في وقت مجدول أو حسب الحاجة. ربما تكون المقارنة الأقرب هي العمليات التي يتم تشغيلها بواسطة أمر at أو cron في UNIX، على الرغم من أن الاختلافات كبيرة." ^[7]

لا تزال تطبيقات الدفعات تشكل أهمية بالغة في أغلب المؤسسات، ويرجع ذلك إلى حد كبير إلى أن العديد من العمليات التجارية الشائعة قابلة للمعالجة بالدفعات. وفي حين يمكن للأنظمة عبر الإنترنت أن تعمل أيضًا عندما لا يكون التدخل اليدوي مرغوبًا، إلا أنها لا تكون مُحسَّنة عادةً لأداء مهام متكررة عالية الحجم. لذلك، تحتوي حتى الأنظمة الجديدة عادةً على تطبيق دفعات واحد أو أكثر لتحديث المعلومات في نهاية اليوم، وإنشاء التقارير، وطباعة المستندات، وغير ذلك من المهام غير التفاعلية التي يجب إكمالها بشكل موثوق به في غضون مواعيد نهائية معينة للأعمال.

بعض التطبيقات قابلة للمعالجة التدفقية، وهي تلك التي تحتاج فقط إلى بيانات من إدخال واحد في المرة الواحدة (وليس الإجماليات، على سبيل المثال): ابدأ الخطوة التالية لكل إدخال عند إكماله للخطوة السابقة. في هذه الحالة، تعمل المعالجة التدفقية على تقليل زمن الوصول للمدخلات الفردية، مما يسمح بإكمالها دون انتظار انتهاء الدفعة بالكامل. ومع ذلك، تتطلب العديد من التطبيقات بيانات من جميع السجلات، ولا سيما الحسابات مثل الإجماليات. في هذه الحالة، يجب إكمال الدفعة بالكامل قبل الحصول على نتيجة قابلة للاستخدام: النتائج الجزئية غير قابلة للاستخدام.

تستفيد تطبيقات الدفعات الحديثة من أطر الدفعات الحديثة مثل Jem The Bee و Spring Batch ^[8] أو تنفيذات JSR 352 ^[9] المكتوبة لـ Java وأطر أخرى للغات برمجة أخرى، لتوفير التسامح مع الأخطاء وقابلية التوسع المطلوبة للمعالجة عالية الحجم. من أجل ضمان المعالجة عالية السرعة، غالبًا ما يتم دمج تطبيقات الدفعات مع حلول الحوسبة الشبكية لتقسيم مهمة الدفعة على عدد كبير من المعالجات، على الرغم من وجود تحديات برمجة كبيرة في القيام بذلك. تفرض معالجة الدفعات عالية الحجم متطلبات ثقيلة بشكل خاص على هياكل النظام والتطبيق أيضًا. تميل الهياكل التي تتميز بأداء قوي للإدخال / الإخراج وقابلية التوسع الرأسي ، بما في ذلك أجهزة الكمبيوتر المركزية الحديثة ، إلى توفير أداء دفعات أفضل من البدائل.

أصبحت لغات البرمجة النصية شائعة مع تطورها جنبًا إلى جنب مع المعالجة الدفعية. ^[10]

نافذة الدفعة هي "فترة نشاط أقل كثافة عبر الإنترنت"، ^[11] عندما يكون نظام الكمبيوتر قادرًا على تشغيل وظائف الدفعة دون تدخل من، أو مع، الأنظمة التفاعلية عبر الإنترنت.

تتطلب وظائف نهاية اليوم في البنك مفهوم التحويل ، حيث يتم قطع المعاملات والبيانات لنشاط الدفعة في يوم معين ("سيتم معالجة الودائع بعد الساعة 3 مساءً في اليوم التالي").

مع توسع متطلبات تشغيل الأنظمة عبر الإنترنت لدعم العولمة والإنترنت واحتياجات الأعمال الأخرى، تقلصت نافذة الدفعة ^{[12] [13] وتم التركيز} بشكل متزايد على التقنيات التي تتطلب توفر البيانات عبر الإنترنت لأقصى قدر من الوقت.

يشير حجم الدفعة إلى عدد وحدات العمل التي سيتم معالجتها ضمن عملية دفعة واحدة. ومن الأمثلة على ذلك:

• عدد الأسطر من الملف الذي يجب تحميله إلى قاعدة البيانات قبل تنفيذ المعاملة.
• عدد الرسائل التي سيتم إزالتها من قائمة الانتظار.
• عدد الطلبات المراد إرسالها ضمن حمولة واحدة.

• تحديثات قاعدة بيانات فعّالة بالجملة ومعالجة المعاملات الآلية ، على النقيض من تطبيقات معالجة المعاملات التفاعلية عبر الإنترنت (OLTP). إن خطوة الاستخراج والتحويل والتحميل (ETL) في ملء مستودعات البيانات هي عملية دفعية في معظم التطبيقات.
• إجراء عمليات مجمعة على الصور الرقمية مثل تغيير الحجم أو التحويل أو إضافة العلامات المائية أو تحرير مجموعة من ملفات الصور بطريقة أخرى.
• تحويل ملفات الكمبيوتر من تنسيق إلى آخر. على سبيل المثال، قد تقوم وظيفة الدفعة بتحويل الملفات الملكية والقديمة إلى تنسيقات قياسية شائعة لاستعلامات المستخدم النهائي والعرض.
• تدريب نماذج التعلم الآلي . على سبيل المثال، قد يرغب موقع التجارة الإلكترونية في معالجة معاملات العملاء في دفعة كل ساعة لتحديث النموذج الذي ينتج توصيات المنتج ذات الصلة ، من أجل توفير الموارد الحسابية . ^[14]

ربما يكون نظام التشغيل أو منصة IBM mainframe z/OS هو الأكثر تطورًا وتطورًا في مجموعة مرافق المعالجة الدفعية نظرًا لأصوله وتاريخه الطويل وتطوره المستمر. تدعم هذه الأنظمة اليوم بشكل شائع مئات أو حتى آلاف المهام المتزامنة عبر الإنترنت والدفعية داخل صورة نظام تشغيل واحد . تشمل التقنيات التي تساعد في المعالجة الدفعية والدفعية المتزامنة عبر الإنترنت لغة التحكم في الوظائف (JCL) ولغات البرمجة النصية مثل REXX ونظام إدخال الوظائف ( JES2 و JES3 ) ومدير عبء العمل (WLM) ومدير إعادة التشغيل التلقائي (ARM) وخدمات استرداد الموارد (RRS) ومشاركة بيانات IBM Db2 و Parallel Sysplex وتحسينات الأداء الفريدة مثل HiperDispatch وهندسة قناة الإدخال/الإخراج والعديد من التقنيات الأخرى.

تسمح برامج يونكس cronو atو batch(واليوم batchهي نسخة من at) بجدولة معقدة للمهام. يحتوي نظام التشغيل ويندوز على مجدول مهام . تستخدم معظم مجموعات الحوسبة عالية الأداء المعالجة الدفعية لتعظيم استخدام المجموعة. ^[15]

• عملية الخلفية
• ملف الدفعة
• إعادة التسمية دفعة واحدة - لإعادة تسمية الكثير من الملفات تلقائيًا دون تدخل بشري، وذلك لتوفير الوقت والجهد
• BatchPipes - لفائدة تزيد من أداء الدفعة
• أوضاع المعالجة
• دعم الإنتاج - لدعم الدفعات/الجداول/التدفقات
• الحوسبة عالية الإنتاجية