المعالجة التحليلية عبر الإنترنت
في مجال الحوسبة ، تُعدّ المعالجة التحليلية الفورية (OLAP) ( تُلفظ / ˈoʊlæp / ) منهجًا للإجابة السريعة على استعلامات التحليل متعددة الأبعاد (MDA). [ 1 ] وقد صِيغ مصطلح OLAP كتعديل طفيف لمصطلح معالجة المعاملات الفورية (OLTP) التقليدي في قواعد البيانات. [ 2 ] وتُصنّف OLAP ضمن فئة أوسع هي ذكاء الأعمال ، والتي تشمل أيضًا قواعد البيانات العلائقية ، وكتابة التقارير، واستخراج البيانات . [ 3 ] وتشمل التطبيقات النموذجية لـ OLAP إعداد تقارير الأعمال للمبيعات والتسويق ، وتقارير الإدارة، وإدارة عمليات الأعمال (BPM)، [ 4 ] والميزانية والتنبؤ ، والتقارير المالية ، ومجالات مماثلة، مع ظهور تطبيقات جديدة، مثل الزراعة . [ 5 ]
تُمكّن أدوات OLAP المستخدمين من تحليل البيانات متعددة الأبعاد بشكل تفاعلي من زوايا نظر متعددة. تتكون OLAP من ثلاث عمليات تحليلية أساسية: التجميع (التلخيص)، والتحليل التفصيلي، والتقسيم والتجزئة. [ 6 ] : 402-403. يتضمن التجميع تجميع البيانات التي يمكن تجميعها وحسابها في بُعد واحد أو أكثر. على سبيل المثال، يتم تجميع جميع مكاتب المبيعات في قسم المبيعات أو شعبة المبيعات لتوقع اتجاهات المبيعات. في المقابل، يُعد التحليل التفصيلي أسلوبًا يسمح للمستخدمين بالتنقل بين التفاصيل. على سبيل المثال، يمكن للمستخدمين عرض المبيعات حسب المنتجات الفردية التي تُشكّل مبيعات منطقة ما. أما التقسيم والتجزئة، فهو ميزة تُمكّن المستخدمين من استخراج (تقسيم) مجموعة بيانات محددة من مكعب OLAP وعرض (تجزئة) الشرائح من وجهات نظر مختلفة. تُسمى وجهات النظر هذه أحيانًا بالأبعاد (مثل النظر إلى نفس المبيعات حسب مندوب المبيعات، أو حسب التاريخ، أو حسب العميل، أو حسب المنتج، أو حسب المنطقة، إلخ).
تستخدم قواعد البيانات المُهيأة لمعالجة البيانات التحليلية الفورية (OLAP) نموذج بيانات متعدد الأبعاد، مما يسمح بإجراء استعلامات تحليلية معقدة واستعلامات مخصصة بسرعة تنفيذ عالية. [ 7 ] وهي تستعير جوانب من قواعد البيانات الملاحية ، وقواعد البيانات الهرمية ، وقواعد البيانات العلائقية.
يُقارن نظام معالجة البيانات التحليلية الفورية (OLAP) عادةً بنظام معالجة المعاملات الفورية ( OLTP )، الذي يتميز عمومًا باستعلامات أقل تعقيدًا بكثير، وبحجم أكبر، لمعالجة المعاملات بدلاً من أغراض ذكاء الأعمال أو إعداد التقارير. في حين أن أنظمة OLAP مُحسَّنة في الغالب للقراءة، يتعين على أنظمة OLTP معالجة جميع أنواع الاستعلامات (القراءة، والإدراج، والتحديث، والحذف).
نظرة عامة على أنظمة OLAP
يُعدّ مكعب OLAP (أو المكعب متعدد الأبعاد أو المكعب الفائق ) جوهر أي نظام OLAP . ويتكون من حقائق رقمية تُسمى مقاييس ، تُصنّف حسب الأبعاد . تُوضع هذه المقاييس عند تقاطعات المكعب الفائق، الذي تُشكّل الأبعاد فضاءً متجهيًا . الواجهة المعتادة للتعامل مع مكعب OLAP هي واجهة مصفوفة، مثل جداول Pivot في برامج الجداول الإلكترونية، والتي تُجري عمليات إسقاط على طول الأبعاد، مثل التجميع أو حساب المتوسط.
تُنشأ بيانات تعريف المكعب عادةً من مخطط نجمي أو مخطط ندفة ثلجية أو مجموعة جداول حقائق في قاعدة بيانات علائقية . تُستمد المقاييس من السجلات الموجودة في جدول الحقائق ، بينما تُستمد الأبعاد من جداول الأبعاد .
يمكن اعتبار كل مقياس بمثابة مجموعة من التصنيفات أو البيانات الوصفية المرتبطة به. البُعد هو ما يصف هذه التصنيفات ؛ فهو يوفر معلومات حول المقياس .
مثال بسيط على ذلك هو مكعب يحتوي على مبيعات المتجر كمقياس ، والتاريخ/الوقت كبُعد . كل عملية بيع لها تسمية تاريخ/وقت تصف المزيد من التفاصيل حول تلك العملية.
على سبيل المثال:
جدول حقائق المبيعات +-------------+----------+ | مبلغ_البيع | معرف_الوقت | +-------------+----------+ بُعد الزمن | 930.10| 1234 |----+ +---------+-------------------+ +-------------+----------+ | | time_id | timestamp | | +---------+-------------------+ +---->| 1234 | 20080902 12:35:43 | +---------+-------------------+
قواعد البيانات متعددة الأبعاد
يُعرَّف الهيكل متعدد الأبعاد بأنه "نوع من أنواع النماذج العلائقية التي تستخدم هياكل متعددة الأبعاد لتنظيم البيانات والتعبير عن العلاقات بينها". [ 6 ] : 177 يُقسَّم هذا الهيكل إلى مكعبات، ويستطيع كل مكعب تخزين البيانات والوصول إليها ضمن حدوده. "تحتوي كل خلية في الهيكل متعدد الأبعاد على بيانات مُجمَّعة مرتبطة بالعناصر على طول كل بُعد من أبعاده". [ 6 ] : 178 وحتى عند معالجة البيانات، يظل الوصول إليها سهلاً، وتستمر في تشكيل تنسيق قاعدة بيانات مُدمج. تبقى البيانات مترابطة. يحظى الهيكل متعدد الأبعاد بشعبية كبيرة في قواعد البيانات التحليلية التي تستخدم تطبيقات المعالجة التحليلية الفورية (OLAP). [ 6 ] تستخدم قواعد البيانات التحليلية هذه القواعد لقدرتها على تقديم إجابات سريعة لاستفسارات الأعمال المعقدة. يمكن عرض البيانات من زوايا مختلفة، مما يُعطي منظورًا أوسع للمشكلة، على عكس النماذج الأخرى. [ 8 ]
التجميعات
يُزعم أن مكعبات OLAP قادرة على إنتاج إجابة للاستعلامات المعقدة في حوالي 0.1% من الوقت اللازم لنفس الاستعلام على بيانات OLTP العلائقية. [ 9 ] [ 10 ] وتُعدّ آلية التجميع أهم آلية في OLAP تُمكّنها من تحقيق هذا الأداء . تُبنى عمليات التجميع من جدول الحقائق عن طريق تغيير مستوى التفصيل في أبعاد محددة، ثم تجميع البيانات وفقًا لهذه الأبعاد باستخدام دالة تجميع . ويُحدد عدد عمليات التجميع الممكنة من خلال كل توليفة ممكنة من مستويات تفصيل الأبعاد .
يحتوي الجمع بين جميع التجميعات الممكنة والبيانات الأساسية على إجابات لكل استعلام يمكن الإجابة عليه من البيانات. [ 11 ]
نظرًا لوجود العديد من التجميعات التي يمكن حسابها عادةً، غالبًا ما يتم حساب عدد محدد مسبقًا منها بالكامل، بينما يتم حل الباقي عند الطلب. تُعرف مشكلة تحديد التجميعات (العروض) المراد حسابها بمشكلة اختيار العرض. يمكن تقييد اختيار العرض بحجم المجموعة المختارة من التجميعات، أو الوقت اللازم لتحديثها بناءً على التغييرات في البيانات الأساسية، أو كليهما. يهدف اختيار العرض عادةً إلى تقليل متوسط وقت الاستجابة لاستعلامات OLAP، على الرغم من أن بعض الدراسات تهدف أيضًا إلى تقليل وقت التحديث. تُصنف مشكلة اختيار العرض ضمن فئة NP-complete . وقد تم استكشاف العديد من المناهج لحل هذه المشكلة، بما في ذلك الخوارزميات الجشعة ، والبحث العشوائي، والخوارزميات الجينية ، وخوارزمية البحث A* .
يمكن حساب بعض دوال التجميع لمكعب OLAP بأكمله عن طريق حساب قيم كل خلية مسبقًا ، ثم حساب التجميع لمجموعة من الخلايا بتجميع هذه المجاميع، وتطبيق خوارزمية فرق تسد على المشكلة متعددة الأبعاد لحسابها بكفاءة. [ 12 ] على سبيل المثال، المجموع الكلي لمجموعة الخلايا هو ببساطة مجموع المجاميع الفرعية في كل خلية. تُسمى الدوال التي يمكن تحليلها بهذه الطريقة دوال التجميع القابلة للتحليل ، وتشمل دوال COUNTالتجميع و MAXو MINو و SUM، والتي يمكن حسابها لكل خلية ثم تجميعها مباشرةً؛ وتُعرف هذه بدوال التجميع ذاتية التحليل. [ 13 ]
في حالات أخرى، يمكن حساب دالة التجميع عن طريق حساب أرقام مساعدة للخلايا، ثم تجميع هذه الأرقام المساعدة، وأخيرًا حساب العدد الإجمالي في النهاية؛ ومن الأمثلة على ذلك AVERAGE(تتبع المجموع والعدد، ثم القسمة في النهاية) و RANGE(تتبع الحد الأقصى والحد الأدنى، ثم الطرح في النهاية). في حالات أخرى، لا يمكن حساب دالة التجميع دون تحليل المجموعة بأكملها دفعة واحدة، على الرغم من إمكانية حساب تقريبات في بعض الحالات؛ ومن الأمثلة على ذلك ، DISTINCT COUNTعلى سبيل المثال، الوسيط لمجموعة ما ليس هو وسيط وسائط المجموعات الفرعية. يصعب تنفيذ هذه الأخيرة بكفاءة في معالجة البيانات التحليلية الفورية (OLAP)، لأنها تتطلب حساب دالة التجميع على البيانات الأساسية، إما عن طريق حسابها مباشرةً (بطيء) أو حسابها مسبقًا لتطبيقات محتملة (مساحة تخزين كبيرة).MEDIANMODE
الأنواع
تم تصنيف أنظمة OLAP تقليديًا باستخدام التصنيف التالي. [ 14 ]
معالجة البيانات التحليلية متعددة الأبعاد (MOLAP)
يُعدّ MOLAP (المعالجة التحليلية متعددة الأبعاد عبر الإنترنت) الشكل الكلاسيكي لتقنية OLAP، ويُشار إليه أحيانًا باسم OLAP فقط. يخزن MOLAP هذه البيانات في مصفوفة تخزين متعددة الأبعاد مُحسّنة، بدلاً من قاعدة بيانات علائقية.
تتطلب بعض أدوات معالجة البيانات متعددة العمليات (MOLAP) المعالجة المسبقة وتخزين البيانات المشتقة، مثل عمليات الدمج - وهي العملية المعروفة بالمعالجة. تستخدم هذه الأدوات عادةً مجموعة بيانات مُعالجة مسبقًا تُسمى مكعب البيانات . يحتوي مكعب البيانات على جميع الإجابات الممكنة لمجموعة معينة من الأسئلة. ونتيجةً لذلك، تتميز هذه الأدوات بسرعة استجابة عالية للاستعلامات. من ناحية أخرى، قد يستغرق التحديث وقتًا طويلاً اعتمادًا على درجة المعالجة المسبقة. كما يمكن أن تؤدي المعالجة المسبقة إلى ما يُعرف بانفجار البيانات.
لا تقوم أدوات MOLAP الأخرى، وخاصة تلك التي تطبق نموذج قاعدة البيانات الوظيفية ، بحساب البيانات المشتقة مسبقًا ولكنها تقوم بجميع العمليات الحسابية عند الطلب بخلاف تلك التي تم طلبها مسبقًا وتخزينها في ذاكرة التخزين المؤقت.
مزايا برنامج MOLAP
- أداء استعلام سريع بفضل التخزين المُحسَّن والفهرسة متعددة الأبعاد والتخزين المؤقت.
- حجم البيانات على القرص أصغر مقارنة بالبيانات المخزنة في قواعد البيانات العلائقية بسبب تقنيات الضغط.
- الحساب الآلي للمجاميع ذات المستوى الأعلى للبيانات.
- إنه صغير الحجم للغاية بالنسبة لمجموعات البيانات ذات الأبعاد المنخفضة.
- توفر نماذج المصفوفات فهرسة طبيعية.
- يتم تحقيق استخلاص البيانات الفعال من خلال الهيكلة المسبقة للبيانات المجمعة.
عيوب برنامج MOLAP
- في بعض أنظمة معالجة البيانات متعددة الوسائط (MOLAP)، قد تستغرق خطوة المعالجة (تحميل البيانات) وقتًا طويلاً، خاصةً مع أحجام البيانات الكبيرة. ويتم عادةً معالجة هذه المشكلة عن طريق إجراء معالجة تدريجية فقط، أي معالجة البيانات التي تغيرت فقط (عادةً البيانات الجديدة) بدلاً من إعادة معالجة مجموعة البيانات بأكملها.
- تُدخل بعض منهجيات MOLAP تكرارًا في البيانات.
منتجات
ومن الأمثلة على المنتجات التجارية التي تستخدم MOLAP: Cognos Powerplay و Oracle Database OLAP Option و MicroStrategy و Microsoft Analysis Services و Essbase و TM1 و Jedox و icCube.
معالجة البيانات العلائقية عبر الإنترنت (ROLAP)
يعمل ROLAP مباشرةً مع قواعد البيانات العلائقية ولا يتطلب معالجة مسبقة. تُخزَّن البيانات الأساسية وجداول الأبعاد كجداول علائقية، وتُنشأ جداول جديدة لتخزين المعلومات المُجمَّعة. يعتمد هذا الأسلوب على تصميم مخطط بيانات مُخصَّص. تعتمد هذه المنهجية على معالجة البيانات المُخزَّنة في قاعدة البيانات العلائقية لإضفاء مظهر وظائف التقطيع والتحليل التقليدية في OLAP. في جوهرها، تُعادل كل عملية تقطيع وتحليل إضافة شرط "WHERE" في عبارة SQL. لا تستخدم أدوات ROLAP مكعبات بيانات مُعالَجة مسبقًا، بل تُوجِّه الاستعلام إلى قاعدة البيانات العلائقية القياسية وجداولها لاسترجاع البيانات المطلوبة للإجابة على السؤال. تتميز أدوات ROLAP بقدرتها على طرح أي سؤال لأن المنهجية لا تقتصر على محتويات المكعب. كما يتميز ROLAP بقدرته على الوصول إلى أدق مستوى من التفاصيل في قاعدة البيانات.
على الرغم من أن ROLAP يستخدم قاعدة بيانات علائقية، إلا أنه يجب تصميم قاعدة البيانات بعناية فائقة لاستخدامها مع ROLAP. فقاعدة البيانات المصممة لمعالجة المعاملات الفورية (OLTP) لن تعمل بكفاءة كقاعدة بيانات ROLAP. لذلك، يتطلب ROLAP إنشاء نسخة إضافية من البيانات. ومع ذلك، وبما أنها قاعدة بيانات، يمكن استخدام تقنيات متنوعة لتعبئة قاعدة البيانات.
مزايا برنامج ROLAP
- يعتبر ROLAP أكثر قابلية للتوسع في التعامل مع أحجام البيانات الكبيرة، وخاصة النماذج ذات الأبعاد ذات العدد الكبير جدًا (أي ملايين الأعضاء).
- مع توفر مجموعة متنوعة من أدوات تحميل البيانات، والقدرة على ضبط كود الاستخراج والتحويل والتحميل (ETL) وفقًا لنموذج البيانات المحدد، فإن أوقات التحميل تكون أقصر بكثير بشكل عام من عمليات التحميل الآلية MOLAP .
- يتم تخزين البيانات في قاعدة بيانات علائقية قياسية ويمكن الوصول إليها بواسطة أي أداة إعداد تقارير SQL (لا يشترط أن تكون الأداة أداة OLAP).
- تتفوق أدوات ROLAP في التعامل مع البيانات غير القابلة للتجميع (مثل الأوصاف النصية). أما أدوات MOLAP فتعاني عادةً من بطء الأداء عند الاستعلام عن هذه العناصر.
- من خلال فصل تخزين البيانات عن النموذج متعدد الأبعاد، يصبح من الممكن نمذجة البيانات بنجاح والتي لا تتناسب مع نموذج الأبعاد الصارم.
- يمكن لنهج ROLAP الاستفادة من عناصر التحكم في ترخيص قاعدة البيانات مثل أمان مستوى الصف ، حيث يتم تصفية نتائج الاستعلام بناءً على معايير محددة مسبقًا يتم تطبيقها، على سبيل المثال، على مستخدم معين أو مجموعة من المستخدمين ( عبارة SQL WHERE).
عيوب نظام ROLAP
- هناك إجماع في هذا المجال على أن أدوات ROLAP أبطأ أداءً من أدوات MOLAP. مع ذلك، انظر المناقشة أدناه حول أداء ROLAP.
- يجب إدارة تحميل الجداول المجمعة بواسطة كود ETL مخصص . لا تُساعد أدوات ROLAP في هذه المهمة، مما يعني وقتًا إضافيًا للتطوير ومزيدًا من التعليمات البرمجية للدعم.
- عند تخطي خطوة إنشاء الجداول التجميعية، يتأثر أداء الاستعلام سلبًا نظرًا لضرورة الاستعلام عن الجداول التفصيلية الأكبر حجمًا. يمكن معالجة هذا جزئيًا بإضافة جداول تجميعية إضافية، إلا أنه لا يزال من غير العملي إنشاء جداول تجميعية لجميع تركيبات الأبعاد/السمات.
- يعتمد ROLAP على قاعدة بيانات عامة الأغراض للاستعلام والتخزين المؤقت، ولذلك فإن العديد من التقنيات الخاصة التي تستخدمها أدوات MOLAP غير متاحة (مثل الفهرسة الهرمية الخاصة). مع ذلك، تستفيد أدوات ROLAP الحديثة من أحدث التحسينات في لغة SQL ، مثل عوامل التشغيل CUBE وROLLUP، وDB2 Cube Views، بالإضافة إلى امتدادات SQL OLAP الأخرى. قد تُقلل هذه التحسينات في SQL من مزايا أدوات MOLAP .
- بما أن أدوات ROLAP تعتمد على لغة SQL في جميع العمليات الحسابية، فهي غير مناسبة عندما يكون النموذج مليئًا بالحسابات التي لا يمكن ترجمتها بشكل جيد إلى لغة SQL . ومن أمثلة هذه النماذج: الميزانية، والتخصيصات، والتقارير المالية، وغيرها.
أداء ROLAP
في مجال معالجة البيانات التحليلية الفورية (OLAP)، يُنظر عادةً إلى ROLAP على أنه قادر على التعامل مع أحجام بيانات ضخمة، ولكنه يعاني من بطء في أداء الاستعلامات مقارنةً بـ MOLAP . وقد أظهر استطلاع OLAP ، وهو أكبر استطلاع مستقل شمل جميع منتجات OLAP الرئيسية، والذي أُجري على مدى ست سنوات (من 2001 إلى 2006)، باستمرار أن الشركات التي تستخدم ROLAP تُبلغ عن أداء أبطأ من تلك التي تستخدم MOLAP، حتى عند أخذ أحجام البيانات في الاعتبار.
ومع ذلك، وكما هو الحال مع أي استطلاع، هناك عدد من القضايا الدقيقة التي يجب أخذها في الاعتبار عند تفسير النتائج.
- تُظهر الدراسة أن عدد مستخدمي أدوات ROLAP في كل شركة يزيد بسبعة أضعاف عن عدد مستخدمي أدوات MOLAP . ومن المرجح أن تعاني الأنظمة ذات عدد المستخدمين الأكبر من مشاكل في الأداء خلال أوقات ذروة الاستخدام.
- يثار أيضاً تساؤل حول مدى تعقيد النموذج، سواء من حيث عدد الأبعاد أو ثراء العمليات الحسابية. ولا يوفر المسح طريقة فعّالة للتحكم في هذه الاختلافات في البيانات قيد التحليل.
الجانب السلبي للمرونة
تختار بعض الشركات تقنية ROLAP لأنها تنوي إعادة استخدام جداول قواعد البيانات العلائقية الموجودة، والتي غالبًا ما لا تكون مصممة بالشكل الأمثل لاستخدامها في OLAP. تسمح المرونة الفائقة لأدوات ROLAP لهذا التصميم غير الأمثل بالعمل، ولكن على حساب الأداء. في المقابل، تُجبر أدوات MOLAP البيانات على إعادة تحميلها في تصميم OLAP أمثل.
المعالجة التحليلية الهجينة عبر الإنترنت (HOLAP)
لقد ضمنت المقايضة غير المرغوب فيها بين تكلفة ETL الإضافية وأداء الاستعلام البطيء أن معظم أدوات OLAP التجارية تستخدم الآن نهج "Hybrid OLAP" (HOLAP)، والذي يسمح لمصمم النموذج بتحديد أي جزء من البيانات سيتم تخزينه في MOLAP وأي جزء في ROLAP.
لا يوجد اتفاق واضح في هذا المجال حول تعريف "معالجة البيانات التحليلية الهجينة" (HOLAP)، باستثناء أن قاعدة البيانات تقسم البيانات بين التخزين العلائقي والتخزين المتخصص. [ 15 ] على سبيل المثال، تستخدم بعض الشركات المصنعة لقواعد بيانات HOLAP جداول علائقية لتخزين كميات كبيرة من البيانات التفصيلية، بينما تستخدم التخزين المتخصص لبعض جوانب البيانات الأقل تفصيلاً أو الأكثر تجميعًا. تعالج HOLAP أوجه القصور في MOLAP و ROLAP من خلال الجمع بين إمكانيات كلا النهجين. يمكن لأدوات HOLAP استخدام كل من المكعبات المحسوبة مسبقًا ومصادر البيانات العلائقية.
التقسيم الرأسي
في هذا الوضع، يقوم HOLAP بتخزين التجميعات في MOLAP لتحقيق أداء استعلام سريع، والبيانات التفصيلية في ROLAP لتحسين وقت معالجة المكعب .
التقسيم الأفقي
في هذا الوضع، يخزن HOLAP جزءًا من البيانات، عادةً الأحدث (أي المُقسّم حسب البُعد الزمني)، في MOLAP لتحسين سرعة الاستعلام، والبيانات الأقدم في ROLAP . علاوة على ذلك، يُمكننا تخزين بعض المكعبات في MOLAP والبعض الآخر في ROLAP ، مستفيدين من حقيقة وجود مناطق فرعية كثيفة وأخرى متفرقة في متوازي المستطيلات الكبير. [ 16 ]
منتجات
كان Holos أول منتج يوفر تخزين HOLAP ، ولكن أصبحت هذه التقنية متاحة أيضًا في منتجات تجارية أخرى مثل Microsoft Analysis Services و Oracle Database OLAP Option و MicroStrategy و SAP AG BI Accelerator. يجمع نهج OLAP الهجين بين تقنيتي ROLAP وMOLAP، مستفيدًا من قابلية التوسع الأكبر لـ ROLAP وسرعة معالجة MOLAP. على سبيل المثال، قد يخزن خادم HOLAP كميات كبيرة من البيانات التفصيلية في قاعدة بيانات علائقية، بينما تُحفظ عمليات التجميع في مخزن MOLAP منفصل. تدعم خدمات Microsoft SQL Server 7.0 OLAP خادم OLAP هجين.
مقارنة
لكل نوع مزايا معينة، على الرغم من وجود اختلاف في الآراء حول تفاصيل هذه المزايا بين مقدمي الخدمات.
- بعض تطبيقات MOLAP معرضة لانفجار قاعدة البيانات، وهي ظاهرة تتسبب في استخدام كميات هائلة من مساحة التخزين بواسطة قواعد بيانات MOLAP عند استيفاء شروط شائعة معينة: عدد كبير من الأبعاد، ونتائج محسوبة مسبقًا، وبيانات متعددة الأبعاد متفرقة.
- يُقدّم نظام MOLAP أداءً أفضل عمومًا بفضل تحسينات الفهرسة والتخزين المتخصصة. كما يحتاج MOLAP إلى مساحة تخزين أقل مقارنةً بنظام ROLAP لأن التخزين المتخصص يتضمن عادةً تقنيات ضغط . [ 15 ]
- تتميز ROLAP عمومًا بقابلية توسع أكبر. [ 15 ] ومع ذلك، يصعب تنفيذ المعالجة المسبقة للبيانات ذات الأحجام الكبيرة بكفاءة، لذا غالبًا ما يتم تجاوزها. وبالتالي، قد يتأثر أداء استعلامات ROLAP بشكل كبير.
- بما أن ROLAP يعتمد بشكل أكبر على قاعدة البيانات لإجراء العمليات الحسابية، فإنه يعاني من قيود أكثر في الوظائف المتخصصة التي يمكنه استخدامها.
- يحاول برنامج HOLAP الجمع بين أفضل ما في برنامجي ROLAP وMOLAP. فهو يتميز عمومًا بالمعالجة المسبقة السريعة، وقابلية التوسع الجيدة، ودعم الوظائف الجيد.
أنواع أخرى
تُستخدم الاختصارات التالية أحيانًا أيضًا، على الرغم من أنها ليست منتشرة على نطاق واسع مثل الاختصارات المذكورة أعلاه:
- WOLAP – معالجة البيانات عبر الإنترنت
- دولاب – معالجة البيانات عبر الإنترنت على سطح المكتب
- RTOLAP – معالجة البيانات التحليلية الفورية
- جولاب – الرسم البياني OLAP [ 17 ] [ 18 ]
- CaseOLAP – نظام معالجة البيانات التحليلية الدلالية الواعية بالسياق، [ 19 ] تم تطويره للتطبيقات الطبية الحيوية. [ 20 ] تتضمن منصة CaseOLAP معالجة البيانات المسبقة (مثل تنزيل واستخراج وتحليل المستندات النصية)، والفهرسة والبحث باستخدام Elasticsearch، وإنشاء بنية مستند وظيفية تسمى Text-Cube، [ 21 ] [ 22 ] [ 23 ] [ 24 ] [ 25 ] وتحديد علاقات العبارات بالفئات التي يحددها المستخدم باستخدام خوارزمية CaseOLAP الأساسية.
واجهات برمجة التطبيقات ولغات الاستعلام
على عكس قواعد البيانات العلائقية ، التي اعتمدت لغة SQL كلغة استعلام قياسية، وواجهات برمجة تطبيقات واسعة الانتشار مثل ODBC و JDBC و OLEDB ، لم يشهد عالم معالجة البيانات التحليلية الفورية (OLAP) توحيدًا مماثلًا لفترة طويلة. كانت أول واجهة برمجة تطبيقات قياسية حقيقية هي مواصفات OLE DB لـ OLAP من مايكروسوفت ، والتي ظهرت عام 1997 وقدمت لغة استعلام MDX . وقد اعتمدها العديد من موردي OLAP، سواءً للخوادم أو العملاء. في عام 2001، أعلنت مايكروسوفت وهايبريون عن مواصفات XML للتحليل ، والتي حظيت بموافقة معظم موردي OLAP. ولأن هذه المواصفات استخدمت أيضًا MDX كلغة استعلام، أصبحت MDX المعيار الفعلي. [ 26 ] منذ سبتمبر 2011، أصبح بالإمكان استخدام LINQ للاستعلام عن مكعبات SSAS OLAP من مايكروسوفت .NET. [ 27 ]
منتجات
تاريخ
كان برنامج Express أول منتج يُجري استعلامات OLAP ، وقد صدر عام 1970 (واستحوذت عليه شركة أوراكل عام 1995 من شركة Information Resources). [ 28 ] مع ذلك، لم يظهر المصطلح إلا عام 1993 عندما صاغه إدغار ف. كود ، الذي يُوصف بأنه "أبو قواعد البيانات العلائقية". وجاءت ورقة كود البحثية [ 1 ] نتيجةً لمهمة استشارية قصيرة قام بها لصالح شركة Arbor Software (التي أصبحت لاحقًا Hyperion Solutions ، واستحوذت عليها أوراكل عام 2007)، كنوع من النجاح التسويقي.
أصدرت الشركة منتجها الخاص بتقنية OLAP، وهو Essbase ، قبل عام. ونتيجةً لذلك، أشارت "قوانين كود الاثني عشر للمعالجة التحليلية عبر الإنترنت" صراحةً إلى Essbase. وقد أثار ذلك بعض الجدل، وعندما علمت مجلة Computerworld أن كود قد تقاضى أجرًا من شركة Arbor، سحبت المقال. شهد سوق OLAP نموًا قويًا في أواخر التسعينيات مع طرح عشرات المنتجات التجارية في السوق. وفي عام 1998، أصدرت مايكروسوفت أول خادم OLAP لها - خدمات تحليل مايكروسوفت (Microsoft Analysis Services )، مما ساهم في انتشار تقنية OLAP على نطاق واسع وجعلها جزءًا أساسيًا من الاستخدام العام.
مقارنة المنتجات
عملاء OLAP
تتضمن برامج عملاء OLAP العديد من برامج الجداول الإلكترونية مثل Excel، وتطبيقات الويب، وSQL، وأدوات لوحات المعلومات، وغيرها. يدعم العديد من هذه البرامج استكشاف البيانات التفاعلي، حيث يختار المستخدمون الأبعاد والمقاييس التي تهمهم. تُستخدم بعض الأبعاد كمرشحات (لتقسيم البيانات وتحليلها)، بينما تُستخدم أبعاد أخرى كمحاور لجدول محوري أو مخطط محوري. كما يمكن للمستخدمين تغيير مستوى التجميع (للتعمق في البيانات أو تلخيصها) في العرض. توفر هذه البرامج أيضًا مجموعة متنوعة من الأدوات الرسومية، مثل أشرطة التمرير والخرائط الجغرافية وخرائط الكثافة وغيرها، والتي يمكن تجميعها وتنسيقها في لوحات معلومات. تظهر قائمة شاملة بالبرامج في عمود العرض المرئي في جدول مقارنة خوادم OLAP .
هيكل السوق
فيما يلي قائمة بأفضل موردي حلول معالجة البيانات التحليلية الفورية (OLAP) في عام 2006، مع الأرقام بملايين الدولارات الأمريكية . [ 29 ]
| بائع | الإيرادات العالمية | شركة موحدة |
|---|---|---|
| شركة مايكروسوفت | 1806 | مايكروسوفت |
| شركة هايبريون سوليوشنز | 1077 | أوراكل |
| كوجنوس | 735 | شركة آي بي إم |
| كائنات الأعمال | 416 | ساب |
| مايكروستراتيجي | 416 | مايكروستراتيجي |
| شركة SAP AG | 330 | ساب |
| كارتيسيس ( SAP ) | 210 | ساب |
| الملحق | 205 | شركة آي بي إم |
| معلومات | 199 | معلومات |
| شركة أوراكل | 159 | أوراكل |
| آحرون | 152 | آحرون |
| المجموع | 5700 |
المصادر المفتوحة
- يُستخدم Apache Pinot في شركات رائدة مثل LinkedIn وCisco وUber وSlack وStripe وDoorDash وTarget وWalmart وAmazon وMicrosoft لتقديم تحليلات فورية قابلة للتوسع مع زمن استجابة منخفض. [ 30 ] يستطيع Pinot استيعاب البيانات من مصادر غير متصلة بالإنترنت (مثل Hadoop والملفات النصية) بالإضافة إلى مصادر متصلة بالإنترنت (مثل Kafka). وقد صُمم Pinot ليكون قابلاً للتوسع الأفقي.
- خادم Mondrian OLAP هو خادم OLAP مفتوح المصدر مكتوب بلغة Java . وهو يدعم لغة استعلام MDX ، و XML للتحليل ، ومواصفات واجهة olap4j .
- أباتشي دوريس هي قاعدة بيانات تحليلية مفتوحة المصدر تعمل في الوقت الفعلي وتعتمد على بنية المعالجة المتوازية الضخمة (MPP). وهي تدعم سيناريوهات الاستعلامات المتزامنة العالية والتحليلات المعقدة عالية الإنتاجية. [ 31 ]
- أباتشي درويد هو مخزن بيانات موزع مفتوح المصدر شائع الاستخدام لاستعلامات OLAP، ويستخدم على نطاق واسع في الإنتاج من قبل منظمات مختلفة.
- أباتشي كيلين هو مخزن بيانات موزع لاستعلامات OLAP تم تطويره في الأصل بواسطة eBay.
- Cubes (خادم OLAP) هو تطبيق آخر خفيف الوزن ومفتوح المصدر لوظائف OLAP في لغة برمجة Python مع ROLAP مدمج.
- ClickHouse هو نظام إدارة قواعد بيانات جديد نسبياً يعتمد على الأعمدة ويركز على سرعة المعالجة وأوقات الاستجابة.
- DuckDB [ 32 ] هو نظام إدارة قواعد بيانات SQL OLAP [ 33 ] يعمل داخل العملية .
- MonetDB هو نظام إدارة قواعد بيانات علائقية SQL مفتوح المصدر ومتطور وموجه نحو الأعمدة، مصمم لاستعلامات OLAP.
انظر أيضاً
مراجع
الاقتباسات
- 1 2 كود إي إف؛ كود إس بي وسالي سي تي (1993). "توفير معالجة تحليلية فورية (OLAP) للمستخدمين المحللين: تفويض من قسم تقنية المعلومات" (ملف PDF) . كود آند ديت، إنك . تم الاطلاع عليه في 5 مارس 2008 .
- ↑ "الورقة البيضاء لمجلس OLAP" (ملف PDF) . مجلس OLAP. 1997. تم الاطلاع عليها في 18 مارس 2008 .
- ↑ ديباك باريك (2007). ذكاء الأعمال في مجال الاتصالات . دار نشر سي آر سي. 294 صفحة. رقم ISBN 978-0-8493-8792-0تم الاطلاع عليه بتاريخ 18 مارس 2008 .
- ↑ أبوستولوس بينيسيس (2010). إدارة عمليات الأعمال: مكعب بيانات لتحليل بيانات محاكاة عمليات الأعمال لاتخاذ القرارات . دار نشر VDM Verlag Dr. Müller eK ، 204 صفحة. ISBN 978-3-639-22216-6.
- ↑ عبد الله، أحسن (نوفمبر 2009). "تحليل انتشار البق الدقيقي على محصول القطن باستخدام أداة ADSS-OLAP (المعالجة التحليلية عبر الإنترنت)". الحوسبة والإلكترونيات في الزراعة . 69 (1): 59-72 . Bibcode : 2009CEAgr..69...59A . doi : 10.1016/j.compag.2009.07.003 .
- 1 2 3 4 أوبراين، جيه إيه، وماراكاس، جي إم (2009). نظم المعلومات الإدارية (الطبعة التاسعة). بوسطن، ماساتشوستس: ماكجرو هيل / إيروين.
- ↑ هاري مايلفاجانام (2007). "مقدمة في معالجة البيانات التحليلية الفورية - التقطيع والتحليل والتعمق!" . مجلة مراجعة مستودعات البيانات. مؤرشف من الأصل في 22 مايو 2013. تم الاطلاع عليه في 18 مارس 2008 .
- ↑ ويليامز، سي.، غارزا، في آر، تاكر، إس، ماركوس، إيه إم (24 يناير 1994). النماذج متعددة الأبعاد تعزز خيارات المشاهدة. إنفوورلد، 16(4)
- ↑ شركة مايكروستراتيجي (1995). "حالة استخدام معالجة البيانات العلائقية عبر الإنترنت" (ملف PDF) . تم الاطلاع عليه بتاريخ 20 مارس 2008 .
- ^ سوراجيت تشودوري وأوميشوار ديال (1997). “نظرة عامة على تخزين البيانات وتقنية OLAP”. سيجمود التوصية . 26 (1): 65.سيتيسيركس 10.1.1.211.7178 . دوى : 10.1145/248603.248616 . S2CID 8125630 .
- ↑ غراي، جيم ؛ تشودري، سوراجيت؛ لايمان، أندرو؛ رايشارت، دون؛ فينكاتراو، مورالي؛ بيلو، فرانك؛ بيراهيش، حامد (1997). "مكعب البيانات: عامل تجميع علائقي يعمم التجميع حسب، والجدول المتقاطع، والمجاميع الفرعية" . مجلة استخراج البيانات واكتشاف المعرفة . 1 (1): 29-53 . arXiv : cs/0701155 . doi : 10.1023/A:1009726021843 . S2CID 12502175. تاريخ الاسترجاع: 20 مارس 2008 .
- ↑ Zhang 2017 ، ص. 1.
- ^ يسوع، باكيرو وألميدا 2011 ، 2.1 وظائف قابلة للتحلل، ص 3-4. خطأ sfn: لا يوجد هدف: CITEREFJesusBaqueroAlmeida2011 ( مساعدة )
- ↑ نايجل بندسي (27 يونيو 2006). "بنى معالجة البيانات التحليلية الفورية" . تقرير معالجة البيانات التحليلية الفورية. مؤرشف من الأصل في 24 يناير 2008. تم الاطلاع عليه في 17 مارس 2008 .
- 1 2 3 باخ بيدرسن، توربن؛ إس. جنسن، كريستيان (ديسمبر 2001). "تقنية قواعد البيانات متعددة الأبعاد". مجلة الكمبيوتر . 34 (12): 40-46 . رمز Bibcode : 2001Compr..34l..40P . doi : 10.1109/2.970558 . ISSN 0018-9162 .
- ↑ كاسر، أوين؛ ليمير، دانيال (2006). "إعادة ترتيب قيم السمات لتحسين كفاءة معالجة البيانات التحليلية الهجينة". علوم المعلومات . 176 (16): 2304-2336 . arXiv : cs/0702143 . doi : 10.1016/j.ins.2005.09.005 .
- ↑ "هذا الأسبوع في تحليلات الرسوم البيانية والكيانات" . داتانامي . 7 ديسمبر 2016. تم الاطلاع عليه في 8 مارس 2018 .
- ↑ «أعلنت شركة كامبريدج سيمانتكس عن دعم AnzoGraph لقواعد بيانات Amazon Neptune وقواعد بيانات الرسوم البيانية» . اتجاهات وتطبيقات قواعد البيانات . 15 فبراير 2018. تم الاطلاع عليه بتاريخ 8 مارس 2018 .
- ^ تاو ، فانجبو. تشوانغ، هونغلي؛ يو تشي وانغ. وانغ، تشي؛ كاسيدي، تايلور؛ كابلان، لانس؛ فوس، كلير؛ هان جياوي (2016). "تلخيص متعدد الأبعاد قائم على العبارات في مكعبات نصية" (PDF) .
- ↑ لييم، ديفيد أ.؛ مورالي، سانجانا؛ سيجديل، ديباكار؛ شي، يو؛ وانغ، شوان؛ شين، جيامينغ؛ تشوي، هوارد؛ كوفيلد، جون هـ.؛ وانغ، وي؛ بينغ، بيبي؛ هان، جياوي (1 أكتوبر 2018). "استخراج العبارات من البيانات النصية لتحليل أنماط بروتينات المصفوفة خارج الخلوية في أمراض القلب والأوعية الدموية" . المجلة الأمريكية لعلم وظائف الأعضاء. القلب والدورة الدموية . 315 (4): H910– H924 . doi : 10.1152/ajpheart.00175.2018 . ISSN 1522-1539 . PMC 6230912. PMID 29775406 .
- ↑ لي، س.؛ كيم، ن.؛ كيم، ج. (2014). "تحليل متعدد الأبعاد ومكعب بيانات للنصوص غير المهيكلة ووسائل التواصل الاجتماعي". المؤتمر الدولي الرابع لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) حول البيانات الضخمة والحوسبة السحابية، 2014. الصفحات 761-764 . doi : 10.1109/BDCloud.2014.117 . ISBN 978-1-4799-6719-3. S2CID 229585 .
- ↑ دينغ، ب.؛ لين، إكس سي؛ هان، ج.؛ تشاي، سي.؛ سريفاستافا، أ.؛ أوزا، إن سي (ديسمبر 2011). "بحث فعال قائم على الكلمات المفتاحية عن أفضل K خلية في مكعب نصي". معاملات IEEE في هندسة المعرفة والبيانات . 23 (12): 1795-1810 . Bibcode : 2011ITKDE..23.1795D . doi : 10.1109/TKDE.2011.34 . S2CID 13960227 .
- ↑ دينغ، ب.؛ تشاو، ب.؛ لين، س. إكس.؛ هان، ج.؛ تشاي، س. (2010). "TopCells: بحث قائم على الكلمات المفتاحية لأفضل k مستند مجمع في مكعب نصي". المؤتمر الدولي السادس والعشرون لهندسة البيانات (ICDE 2010) لعام 2010. الصفحات 381-384 . CiteSeerX 10.1.1.215.7504 . doi : 10.1109/ICDE.2010.5447838 . ISBN 978-1-4244-5445-7. S2CID 14649087 .
- ↑ لين، سي إكس؛ دينغ، بي؛ هان، ك؛ تشو، إف؛ تشاو، بي (2008). "مكعب النص: حساب مقاييس استرجاع المعلومات لتحليل قواعد بيانات النصوص متعددة الأبعاد". المؤتمر الدولي الثامن لجمعية مهندسي الكهرباء والإلكترونيات (IEEE) حول استخراج البيانات ، 2008. الصفحات 905-910 . doi : 10.1109/icdm.2008.135 . ISBN 978-0-7695-3502-9. S2CID 1522480 .
- ↑ ليو، إكس.؛ تانغ، ك.؛ هانكوك، ج.؛ هان، ج.؛ سونغ، م.؛ شو، ر.؛ بوكورني، ب. (21 مارس 2013). غرينبيرغ، أ.م.؛ كينيدي، و.ج.؛ بوس، ن.د. (محررون). الحوسبة الاجتماعية، والنمذجة السلوكية الثقافية والتنبؤ: المؤتمر الدولي السادس، SBP 2013، واشنطن العاصمة، الولايات المتحدة الأمريكية، 2-5 أبريل 2013، وقائع المؤتمر (الطبعة 7812 ). برلين، هايدلبرغ: سبرينغر. الصفحات 321-330 . ISBN 978-3-642-37209-4.
- ↑ نايجل بندسي (23 أغسطس/آب 2007). "تعليق: حروب واجهات برمجة تطبيقات OLAP" . تقرير OLAP. مؤرشف من الأصل في 28 مايو/أيار 2008. تم الاطلاع عليه في 18 مارس/آذار 2008 .
- ↑ "موفر إطار عمل كيانات SSAS لـ LINQ إلى SSAS OLAP" . مؤرشف من الأصل في 29 سبتمبر 2011.
- ↑ نايجل بندسي (23 أغسطس/آب 2007). "أصول منتجات OLAP الحالية" . تقرير OLAP. مؤرشف من الأصل في 21 ديسمبر/كانون الأول 2007. تم الاطلاع عليه في 27 نوفمبر/تشرين الثاني 2007 .
- ↑ نايجل بندسي (2006). "سوق معالجة البيانات التحليلية الفورية" . تقرير معالجة البيانات التحليلية الفورية. مؤرشف من الأصل في 30 مارس 1997. تم الاطلاع عليه في 17 مارس 2008 .
- ↑ يغولالب، سردار (11 يونيو 2015). "لينكدإن يملأ فجوة أخرى في مجال SQL-on-Hadoop" . إنفوورلد . تم الاطلاع عليه في 19 نوفمبر 2016 .
- ↑ "أباتشي دوريس" . جيت هاب . مجتمع أباتشي دوريس . تم الاطلاع عليه في 5 أبريل 2023 .
- ↑ "نظام إدارة قواعد بيانات SQL OLAP داخل العملية" . DuckDB . تم الاسترجاع في 10 ديسمبر 2022 .
- ↑ أناند، تشيلار (17 نوفمبر 2022). "الزحف الشائع على الكمبيوتر المحمول - استخراج مجموعة فرعية من البيانات" . صفحة متاحة . تم الاسترجاع في 10 ديسمبر 2022 .
مصادر
- يسوع، باولو؛ باكيرو، كارلوس؛ باولو سيرجيو ألميدا (2011). “مسح لخوارزميات تجميع البيانات الموزعة”. أرخايف : 1110.0725 [ cs.DC ].
- Zhang, Chao (2017). وظيفة التجميع المتناظرة وغير المتناظرة في الحوسبة المتوازية الضخمة (تقرير فني).
للمزيد من القراءة
- إريك تومسن. (1997). حلول معالجة البيانات التحليلية الفورية: بناء أنظمة معلومات متعددة الأبعاد، الطبعة الثانية . جون وايلي وأولاده. ISBN 978-0-471-14931-6.
- لينغ ليو وتامر م. أوزسو (محرران) (2009). " موسوعة أنظمة قواعد البيانات " ، 4100 صفحة، 60 رسمًا توضيحيًا. ISBN 978-0-387-49616-0.
- المعالجة التحليلية عبر الإنترنت
- إدارة البيانات
- رصد وسائل الإعلام
- إدارة السمعة
- معالجة المعلومات الاجتماعية
