التكتل الكمي
التجميع الكمي (QC) هو فئة من خوارزميات تجميع البيانات التي تستخدم أدوات مفاهيمية ورياضية من ميكانيكا الكم . ينتمي التجميع الكمي إلى عائلة خوارزميات التجميع القائمة على الكثافة ، حيث يتم تعريف المجموعات بواسطة مناطق ذات كثافة أعلى من نقاط البيانات.
تم تطوير QC لأول مرة بواسطة ديفيد هورن وأساف غوتليب في عام 2001. [ 1 ]
خوارزمية التجميع الكمي الأصلية
بالنظر إلى مجموعة من النقاط في فضاء بيانات ذي أبعاد n، يُمثل QC كل نقطة بتوزيع غاوسي متعدد الأبعاد ، بعرض (انحراف معياري) σ، متمركزًا عند موقع كل نقطة في الفضاء. تُجمع هذه التوزيعات الغاوسية معًا لإنشاء توزيع واحد لمجموعة البيانات بأكملها. (تُعد هذه الخطوة مثالًا خاصًا على تقدير كثافة النواة ، والذي يُشار إليه غالبًا باسم مُقدِّر نافذة بارزن-روزنبلات). يُعتبر هذا التوزيع بمثابة الدالة الموجية الكمومية لمجموعة البيانات. وبشكل عام، تُمثل الدالة الموجية وصفًا مُعمَّمًا لمواقع نقاط البيانات المُحتملة في الفضاء.
يقدم QC بعد ذلك فكرة الكمون الكمومي ؛ فباستخدام معادلة شرودنغر غير المعتمدة على الزمن ، يتم إنشاء سطح كموني تكون دالة الموجة لمجموعة البيانات حلاً مستقراً له. وتكون التفاصيل في سطح الكمون الكمومي أكثر مقاومة للتغيرات في سيجما (عرض التوزيعات الغاوسية) من التفاصيل المقابلة في دالة الموجة؛ وهذه الميزة هي أحد الدوافع الأولية لتطوير QC.
يُعتبر السطح المحتمل بمثابة "مشهد" مجموعة البيانات، حيث تتوافق النقاط "المنخفضة" في هذا المشهد مع مناطق ذات كثافة بيانات عالية. ثم تستخدم خوارزمية مراقبة الجودة (QC) خوارزمية التدرج الهبوطي لتحريك كل نقطة بيانات "إلى أسفل" في المشهد، مما يؤدي إلى تجمع النقاط في نقاط دنيا قريبة ، وبالتالي الكشف عن التجمعات داخل مجموعة البيانات.
QC has a single main hyperparameter, which is the width sigma of the Gaussian distribution around each data point. For sufficiently small sigma, every data point will define its own depression in the landscape, and no points will move, thus creating no clusters. For sufficiently large sigma, the landscape becomes a single smooth bowl, and every data point will cluster together at the single global minimum in the landscape. Exploring the range of sigma values between these extremes yields information about the inherent structure of the data set, including hierarchy of structure; smaller sigma values reveal more fine-grained local structure, and larger sigma values reveal overall global structure. The QC algorithm does not specify a preferred or 'correct' value of sigma.
Dynamic Quantum Clustering
Developed by Marvin Weinstein and David Horn in 2009,[2]Dynamic Quantum Clustering (DQC) extends the basic QC algorithm in several ways.
Quantum evolution, non-local gradient descent, and tunneling
DQC uses the same potential landscape as QC, but it replaces classical gradient descent with quantum evolution. To do this, each data point is again represented by its individual wave function (a multidimensional Gaussian distribution with width sigma). The time-dependent Schrödinger equation is then used to compute each wave function's evolution over time in the given quantum potential. More precisely, a small time-step value is introduced, and the evolution of the wave function is calculated repeatedly at each time step, with a new expected location for the data point calculated after each step. This process builds a trajectory through the data space for each point; the evolution continues until all points have stopped moving.
Importantly, the Ehrenfest theorem from quantum mechanics states that this quantum evolution does, in fact, equate to the point moving downhill in the potential landscape, in expectation. The "in expectation" part is important because, unlike in classical physics, the point's motion is not influenced only by the gradient of the potential at the point's location; instead, the point's wave function extends over the entire landscape (with the Gaussian centered at the point's location), and a complex interaction between the wave function and the potential determines the point's motion. As a loose analogy: regions of the landscape that are below the point's current location 'attract' the point—the more so the lower the region is, but the less so the farther away from the point it is. In the same way, higher regions of the landscape 'repel' the point.
وبالتالي، يعمل التطور الكمومي لكل نقطة كشكل من أشكال التدرج غير الموضعي في الجهد. تخلق هذه اللا موضعية إمكانية النفق الكمومي ، حيث تبدو النقطة وكأنها تتجاهل حاجز الجهد أو تعبره في طريقها نحو حد أدنى أدنى. غالبًا ما تكمن أكبر مشكلة في التدرج غير المحدب في وجود العديد من الحدود الدنيا المحلية الصغيرة وغير المهمة حيث يمكن أن تعلق النقاط أثناء هبوطها. (تميل هذه المشكلة إلى التفاقم مع ازدياد عدد الأبعاد، وهو ما يُعرف بلعنة الأبعاد ). يقدم استخدام DQC للتدرج غير الموضعي والنفق الكمومي حلاً لهذه المشكلة.
يُقدّم DQC مُعاملين فائقين جديدين: خطوة الزمن، وكتلة كل نقطة بيانات (التي تتحكم في درجة سلوك النفق الكمومي). في حين أن ضبط سيجما أمرٌ أساسي لفهم أي مجموعة بيانات جديدة، إلا أنه يُمكن عادةً ترك كل من خطوة الزمن والكتلة على قيم افتراضية معقولة مع الاستمرار في إنتاج نتائج مفيدة.
من أهم عيوب نهج التطور الكمي أن التعقيد الزمني للتطور أصبح الآنفي عدد نقاط البيانات، لأن التفاعل مع المشهد المحتمل بأكمله هولكل نقطة. بالنسبة لمجموعات البيانات الكبيرة، يصبح وقت الحساب غير عملي بسرعة. عند الحاجة، تعالج خوارزمية DQC هذه المشكلة عن طريق اختيار عدد محدود من النقاط من مجموعة البيانات لتكون بمثابة أساس (انظر القسم التالي).
الاستخدام على أساس محدود
بالنسبة لمجموعة بيانات مكونة من n نقطة، يقوم DQC بإنشاء مجموعة من n حالة ذاتية كمومية لاستخدامها في حساباته الأساسية؛ الحالات الذاتية متعامدة ، وكل منها عبارة عن تركيبة خطية من التوزيعات الغاوسية التي تمثل كل نقطة بيانات.
بالنسبة لقيم n الكبيرة ، يصبح استخدام n حالة ذاتية غير قابل للتطبيق حسابيًا، نظرًا لأن إنشاء الجهد وتطور النقاط الفردية كلاهمالحل هذه المشكلة، تسمح خوارزمية DQC باختيار أساس محدود، كما يلي: يتم اختيار b نقطة بيانات (حيث b < n ) لتكون بمثابة الأساس، بحيث تغطي هذه النقاط الحيز الذي تشغله مجموعة البيانات. (يمكن القيام بذلك بعدة طرق؛ والهدف الأساسي هو اختيار نقاط الأساس بحيث تكون متباعدة قدر الإمكان). ثم تقوم خوارزمية DQC بإنشاء b حالة ذاتية باستخدام نقاط الأساس b هذه . تمثل هذه الحالات الذاتية نقاط الأساس تمثيلاً دقيقاً؛ كما تُستخدم أيضاً لتمثيل جميع النقاط الأخرى، ولكن هذه التمثيلات ستكون غير كاملة. يرتبط فقدان المعلومات بقيمة سيجما؛ بالنسبة لأساس معين، يجب اختيار قيمة سيجما كبيرة بما يكفي بحيث يمكن استخدام الأساس لتمثيل النقاط الأخرى بدقة معقولة. بمعنى آخر، يمكن اعتبار حجم الأساس المختار بمثابة "الدقة" المستخدمة "لعرض" بنية البيانات.
يعتمد حجم الأساس الأمثل على موارد الحوسبة المتاحة، وعلى المدة التي يرغب المرء في انتظارها للحصول على النتائج. اعتبارًا من عام 2020، وبدون الوصول إلى موارد حوسبة على مستوى المؤسسات، يتراوح حجم الأساس الأمثل القابل للتطبيق عادةً بين 1500 و2000 نقطة.
استخدام التصور الديناميكي
تحسب خوارزمية DQC مسارًا لكل نقطة بيانات، مما يسمح بإنشاء تمثيل مرئي متحرك ("ديناميكي") تتحرك فيه جميع نقاط البيانات على طول مساراتها في آنٍ واحد. لا تقتصر هذه الرسوم المتحركة على عرض الوجهة النهائية لكل نقطة فحسب، بل تعرض معلومات عن كل مسار على طول الطريق. والجدير بالذكر أن الرسوم المتحركة قادرة على كشف وجود قنوات تؤدي إلى مجموعة بيانات معينة. (في سياق المشهد الطبيعي، يمكن اعتبار هذه البنى بمثابة مجاري أنهار وبحيرات). على الرغم من أن التمثيل المرئي يقتصر على ثلاثة أبعاد مكانية كحد أقصى، إلا أن ظهور القنوات والبنى الأخرى يتيح إمكانية "رؤية" ما يحدث في أكثر من ثلاثة أبعاد.
يُعد استخدام نظام إحداثيات PCA مفيدًا لهذه التصورات؛ حيث أن عرض المسارات في الأبعاد الثلاثة الأولى لـ PCA يجمع أكبر قدر ممكن من المعلومات في تصور واحد.
إنّ أي تمثيل ثلاثي الأبعاد لهذه المسارات لا يُمثّل تضمينًا لها في ثلاثة أبعاد. فالمسارات لها نفس أبعاد فضاء البيانات، الذي غالبًا ما يكون أكبر بكثير من ثلاثة أبعاد؛ التمثيل ببساطة هو رؤية ثلاثية الأبعاد لحركة ذات أبعاد أعلى.
The channels ('riverbeds') can have meaning in two different ways. First, they can be treated as subclusters, where different subclusters join the main cluster from different directions. Second, they can be treated as regressions: position along the channel at a given time (or, equivalently, order of arrival at the cluster center) may be correlated with some metadata of interest.
Applications
Variants of QC have been applied to real-world data in many fields, including biology,[1][2][3][4][5][6] geology,[3][7] physics,[3][4][8] finance,[3] engineering,[4] and economics.[9] With these applications, a comprehensive mathematical analysis to find all the roots of the quantum potential has also been worked out.[10]
References
- 12Horn, D.; Gottlieb, A. (2001). "Algorithm for Data Clustering in Pattern Recognition Problems Based on Quantum Mechanics". Physical Review Letters. 88 (1) 018702. Bibcode:2001PhRvL..88a8702H. doi:10.1103/PhysRevLett.88.018702. PMID 11800996.
- 12Weinstein, M.; Horn, D. (2009). "Dynamic quantum clustering: a method for visual exploration of structures in data". Physical Review E. 80 (6) 066117. arXiv:0908.2644. Bibcode:2009PhRvE..80f6117W. doi:10.1103/PhysRevE.80.066117. PMID 20365241. S2CID 10550999.
- 1234Weinstein, M.; Meirer, F.; Hume, A.; Sciau, Ph.; Shaked, G.; Hofstetter, R.; Persi, E.; Mehta, A.; Horn, D. (2013). "Analyzing Big Data with Dynamic Quantum Clustering". arXiv:1310.2700 [physics.data-an].
- 1 2 3 سكوت، تي سي؛ ثيراني، إم؛ وانغ، إكس إم (2017). "تجميع البيانات باستخدام ميكانيكا الكم" . الرياضيات . 5 (1): 5. doi : 10.3390/math5010005 .
- ↑ روش، ك.؛ وينشتاين، م.؛ دانوودي، ل. ج.؛ بوهلمان، و. ل.؛ فيلتوس، ف. أ. (2018). "تصنيف خمسة أنواع من الأورام البشرية يكشف عن مؤشرات حيوية محددة وجينات تصنيف أساسية" . التقارير العلمية . 8 (1): 8180. Bibcode : 2018NatSR...8.8180R . doi : 10.1038/s41598-018-26310-x . PMC 5970138. PMID 29802335 .
- ^ كاسانيا-إيسلافا، RV؛ لشبونة، PJG؛ أورتيجا مارتوريل، S .؛ جارمان، آي إتش؛ مارتن غيريرو، دينار (2020). “إطار احتمالي للتجمع الكمي”. النظم القائمة على المعرفة . 194 . أرخايف : 1902.05578 . دوى : 10.1016/j.knosys.2020.105567 . S2CID 213468799 .
- ↑ شاكيد، ج. (2013). التجميع الكمي لمجموعات البيانات الكبيرة (PDF) (ماجستير العلوم).
- ↑ وينشتاين، م.؛ هايفيتز، أ.؛ كلان، ر. (2014). "الكشف عن المصادر النووية في مسح البحث باستخدام التجميع الكمي الديناميكي لبيانات طيف أشعة غاما". المجلة الأوروبية للفيزياء بلس . 129 (11): 239. arXiv : 1406.0746 . Bibcode : 2014EPJP..129..239W . doi : 10.1140/epjp/i2014-14239-3 . S2CID 119217077 .
- ↑ ديشنغ، ف.؛ جون، س.؛ بانغ، س.؛ دونغ، و.؛ وون، س. (2018). "تحليل التجميع الكمي المُحسَّن بناءً على المسافة الموزونة وتطبيقاته" . هيليون . 4 (11) e00984. Bibcode : 2018Heliy...400984D . doi : 10.1016/ j.heliyon.2018.e00984 . PMC 6275214. PMID 30761372 .
- ↑ ماينان، أ.؛ سكوت، ت. س. (2021). "تحليل شامل للتجميع الكمي: إيجاد جميع القيم الدنيا المحتملة" (ملف PDF) . المجلة الدولية لعمليات استخراج البيانات وإدارة المعرفة . 11 (1): 33-54. doi : 10.5121/ijdkp.2021.11103 .
روابط خارجية
- فيديو (YouTube.com): "استكشاف البيانات المعقدة وعالية الأبعاد بحثًا عن بنية خفية"، مارفن وينشتاين (محادثات SETI)
- فيديو (YouTube.com): "العثور على هياكل مذهلة مخفية في بيانات خام كبيرة ومعقدة وكثيفة"، مارفن وينشتاين (محادثات SETI)
- فيديو (YouTube.com): "التجميع الكمي - خوارزمية تجميع مستوحاة من الفيزياء"، سيجاليت بيشلر
- فيديو (YouTube.com): "رؤى كمية من مجموعات البيانات المعقدة"، مارفن واينشتاين (محاضرات في جوجل)
- خوارزميات تحليل التجميع
