بيرسون

كان الهدف من تصميم البيرسيبترون أن يكون آلةً، لا برنامجًا، وبينما كان أول تطبيق له في برنامج لجهاز IBM 704 ، فقد تم تنفيذه لاحقًا في جهاز مصمم خصيصًا باسم مارك 1 بيرسيبترون تحت اسم المشروع "مشروع بارا" ^{[ 17 ]} ، وهو مصمم للتعرف على الصور . وتوجد هذه الآلة حاليًا في المتحف الوطني للتاريخ الأمريكي التابع لمؤسسة سميثسونيان . ^{[ 18 ]}

كان لدى نموذج بيرسيبترون مارك 1 ثلاث طبقات. تم تنفيذ إحدى نسخه على النحو التالي:

• مجموعة من 400 خلية ضوئية مرتبة في شبكة 20×20، تسمى "الوحدات الحسية" (وحدات S)، أو "شبكية الإدخال". يمكن لكل وحدة S أن تتصل بما يصل إلى 40 وحدة A.
• طبقة مخفية من 512 وحدة إدراكية، تسمى "وحدات الارتباط" (وحدات A).
• طبقة إخراج مكونة من ثمانية وحدات إدراكية، تسمى "وحدات الاستجابة" (وحدات R).

أطلق روزنبلات على شبكة البيرسيبترون ثلاثية الطبقات هذه اسم ألفا-بيرسيبترون ، لتمييزها عن نماذج البيرسيبترون الأخرى التي جربها. ^{[ 9 ]}

تتصل وحدات S بوحدات A عشوائيًا (وفقًا لجدول أرقام عشوائية) عبر لوحة توصيل (انظر الصورة)، وذلك "لإزالة أي تحيز مقصود في البيرسيبترون". أوزان الاتصال ثابتة، وليست مُتعلمة. كان روزنبلات مُصرًا على الاتصالات العشوائية، لاعتقاده بأن شبكية العين تتصل عشوائيًا بالقشرة البصرية، وأراد أن يُحاكي جهاز البيرسيبترون الخاص به الإدراك البصري البشري. ^{[ 19 ]}

تتصل وحدات A بوحدات R، مع أوزان قابلة للتعديل مُشفّرة في مقاييس الجهد ، ويتم تحديث الأوزان أثناء التعلم بواسطة محركات كهربائية. ^{[ 2 ] : 193.} تفاصيل الأجهزة موجودة في دليل المستخدم. ^{[ 17 ]}

في مؤتمر صحفي عام 1958 نظمته البحرية الأمريكية، أدلى روزنبلات بتصريحات حول البيرسيبترون أثارت جدلاً حاداً بين مجتمع الذكاء الاصطناعي الناشئ ؛ واستناداً إلى تصريحات روزنبلات، ذكرت صحيفة نيويورك تايمز أن البيرسيبترون هو "نواة حاسوب إلكتروني تتوقع [البحرية] أن يكون قادراً على المشي والتحدث والرؤية والكتابة واستنساخ نفسه وأن يكون واعياً بوجوده". ^{[ 20 ]}

قام قسم التصوير التابع لوكالة المخابرات المركزية ، في الفترة من عام 1960 إلى عام 1964، بدراسة استخدام آلة مارك 1 بيرسيبترون للتعرف على الأهداف ذات الأهمية العسكرية (مثل الطائرات والسفن) في الصور الجوية . ^{[ 21 ] [ 22 ]}

وصف روزنبلات تجاربه مع العديد من أنواع آلة بيرسيبترون في كتابه " مبادئ الديناميكا العصبية " (1962). والكتاب هو نسخة منشورة من تقرير عام 1961. ^{[ 23 ]}

ومن بين المتغيرات ما يلي:

• "الترابط المتبادل" (الوصلات بين الوحدات داخل الطبقة نفسها) مع حلقات مغلقة محتملة،
• "الربط العكسي" (الوصلات من الوحدات في طبقة لاحقة إلى الوحدات في طبقة سابقة)،
• الشبكات العصبية ذات الأربع طبقات حيث تحتوي الطبقتان الأخيرتان على أوزان قابلة للتعديل (وبالتالي فهي شبكة عصبية متعددة الطبقات مناسبة)،
• يتضمن ذلك دمج تأخيرات زمنية في وحدات البيرسيبترون، للسماح بمعالجة البيانات المتسلسلة.
• تحليل الصوت (بدلاً من الصور).

تم شحن الجهاز من جامعة كورنيل إلى مؤسسة سميثسونيان في عام 1967، بموجب عملية نقل حكومية أدارها مكتب البحوث البحرية. ^{[ 10 ]}

على الرغم من أن نموذج البيرسيبترون بدا واعدًا في البداية، إلا أنه سرعان ما ثبت أنه لا يمكن تدريبه على التعرف على العديد من فئات الأنماط. وقد تسبب هذا في ركود مجال أبحاث الشبكات العصبية لسنوات عديدة، قبل أن يُدرك أن الشبكة العصبية ذات التغذية الأمامية المكونة من طبقتين أو أكثر (والتي تُسمى أيضًا بيرسيبترون متعدد الطبقات ) تتمتع بقدرة معالجة أكبر من البيرسيبترون ذي الطبقة الواحدة (والتي تُسمى أيضًا بيرسيبترون أحادي الطبقة ).

لا تستطيع الشبكات العصبية أحادية الطبقة تعلم سوى الأنماط القابلة للفصل الخطي . ^{[ 24 ]} في مهمة تصنيف ذات دالة تنشيط متدرجة، يمثل كل عقدة خطًا واحدًا يفصل نقاط البيانات المكونة للأنماط. يمكن لعدد أكبر من العقد إنشاء خطوط فصل إضافية، ولكن يجب دمج هذه الخطوط بطريقة ما لتكوين تصنيفات أكثر تعقيدًا. تكفي طبقة ثانية من الشبكات العصبية، أو حتى عقد خطية، لحل العديد من المشكلات غير القابلة للفصل.

في عام ١٩٦٩، أظهر كتاب شهير بعنوان "البرسبترونات" لمارفن مينسكي وسيمور بابيرت استحالة تعلم هذه الأنواع من الشبكات لدالة XOR . ويُعتقد خطأً في كثير من الأحيان أنهما افترضا أيضًا أن نتيجة مماثلة ستنطبق على شبكة برسبترون متعددة الطبقات. إلا أن هذا غير صحيح، إذ كان كل من مينسكي وبابيرت يعلمان مسبقًا أن شبكات البرسبترون متعددة الطبقات قادرة على إنتاج دالة XOR. (للمزيد من المعلومات، انظر صفحة كتاب "البرسبترونات" ). ومع ذلك، تسبب كتاب مينسكي وبابيرت، الذي كثيرًا ما يُستشهد به بشكل خاطئ، في انخفاض ملحوظ في الاهتمام بأبحاث الشبكات العصبية وتمويلها. واستغرق الأمر عشر سنوات أخرى حتى شهدت أبحاث الشبكات العصبية انتعاشًا في ثمانينيات القرن العشرين. ^{[ ٢٤ ]} أُعيد طبع هذا الكتاب عام ١٩٨٧ بعنوان "البرسبترونات - طبعة موسعة"، حيث تم توضيح بعض الأخطاء الواردة في النص الأصلي وتصحيحها.

واصل روزنبلات العمل على البيرسيبترونات رغم تناقص التمويل. وكانت آخر محاولاته جهاز توبرموري، الذي بُني بين عامي 1961 و1967، والمُصمم خصيصًا للتعرف على الكلام. ^{[ 25 ]} وقد شغل غرفة كاملة. ^{[ 26 ]} واحتوى على 4 طبقات تضم 12000 وزنًا مُنفذة بواسطة نوى مغناطيسية حلقية . وبحلول وقت اكتماله، أصبحت المحاكاة على الحواسيب الرقمية أسرع من أجهزة البيرسيبترونات المُصممة لهذا الغرض. ^{[ 27 ]} توفي روزنبلات في حادث قارب عام 1971.

تمت كتابة برنامج محاكاة للشبكات العصبية لجهاز IBM 7090/7094 ، واستُخدم لدراسة تطبيقات متنوعة للتعرف على الأنماط، مثل التعرف على الأحرف ، ومسارات الجسيمات في صور حجرة الفقاعات ؛ والتعرف على الصوتيات والكلمات المنفردة والكلام المتصل ؛ والتحقق من هوية المتحدث ؛ وآليات مركز الانتباه لمعالجة الصور . ^{[ 28 ] [ 29 ]}

طُرحت خوارزمية بيرسيبترون النواة لأول مرة عام 1964 من قِبل أيزرمان وآخرون ^{[ 30 ]} . وقدّم فروند وشابير (1998) ^{[ 1 ]} ضمانات حدود الهامش لخوارزمية بيرسيبترون في الحالة العامة غير القابلة للفصل، ثم قام موهري وروستاميزاده (2013) مؤخرًا بتوسيع النتائج السابقة وتقديم حدود L1 جديدة وأكثر ملاءمة ^{[ 31 ] [ 32 ] .}

البيرسيبترون هو نموذج مبسط للخلايا العصبية البيولوجية . في حين أن تعقيد نماذج الخلايا العصبية البيولوجية غالباً ما يكون ضرورياً لفهم السلوك العصبي بشكل كامل، تشير الأبحاث إلى أن نموذجاً خطياً شبيهاً بالبيرسيبترون يمكن أن ينتج بعض السلوكيات التي تُرى في الخلايا العصبية الحقيقية. ^{[ 33 ]}

تمت دراسة مساحات الحلول لحدود القرار لجميع الدوال الثنائية وسلوكيات التعلم في ^{[ 34 ] .}

من وجهة نظر نظرية المعلومات ، يمتلك البيرسيبترون الواحد ذو K مدخلات سعة 2K بت من المعلومات. ^{[ 35 ]} هذه النتيجة تعود إلى توماس كوفر . ^{[ 36 ]}

على وجه التحديد دع${\displaystyle T(N,K)}$ليكن عدد الطرق لفصل N نقطة خطيًا في K بُعدًا، إذن$${\displaystyle T(N,K)=\left\{{\begin{array}{cc}2^{N}&K\geq N\\2\sum _{k=0}^{K-1}\left({\begin{array}{c}N-1\\k\end{array}}\right)&K<N\end{array}}\right.}$$عندما تكون قيمة K كبيرة،${\displaystyle T(N,K)/2^{N}}$يقترب جدًا من الواحد عندما${\displaystyle N\leq 2K}$، لكنها قريبة جدًا من الصفر عندما${\displaystyle N>2K}$بعبارة أخرى، يمكن لوحدة البيرسيبترون الواحدة أن تحفظ على الأرجح تعيينًا عشوائيًا للعلامات الثنائية على N نقطة عندما${\displaystyle N\leq 2K}$لكن من شبه المؤكد ليس عندما${\displaystyle N>2K}$.

عند التعامل مع المدخلات الثنائية فقط، يُطلق على البيرسيبترون اسم دالة منطقية قابلة للفصل خطيًا ، أو دالة منطقية عتبة. تسلسل أرقام دوال العتبة المنطقية على n مدخلًا هو OEIS A000609 . لا تُعرف القيمة بدقة إلا حتى n.${\displaystyle n=9}$في هذه الحالة، ولكن رتبة المقدار معروفة بدقة تامة: لها حد أعلى${\displaystyle 2^{n^{2}-n\log _{2}n+O(n)}}$والحد الأدنى${\displaystyle 2^{n^{2}-n\log _{2}nO(n)}}$[ ^{37 ]​}

يمكن تنفيذ أي دالة عتبة خطية منطقية باستخدام أوزان عددية صحيحة فقط. علاوة على ذلك، فإن عدد البتات اللازمة والكافية لتمثيل مُعامل وزن عددي صحيح واحد هو${\displaystyle \Theta (n\ln n)}$[ ^{37 ]​}

يمكن لشبكة عصبية واحدة أن تتعلم تصنيف أي نصف فضاء. لكنها لا تستطيع حل أي متجهات غير قابلة للفصل خطيًا، مثل مسألة "XOR" المنطقية ( مسألة "XOR" الشهيرة).

يمكن لشبكة البيرسيبترون ذات الطبقة المخفية الواحدة أن تتعلم تصنيف أي مجموعة فرعية مضغوطة بدقة متناهية. وبالمثل، يمكنها أيضًا تقريب أي دالة متصلة ذات دعم مضغوط بدقة متناهية. وهذا في جوهره حالة خاصة من نظريات جورج سيبينكو وكورت هورنيك .

قام الباحثون (مينسكي وبابرت، 1969) بدراسة أنواع شبكات البيرسيبترون اللازمة لتعلم وظائف منطقية مختلفة.

لنفترض وجود شبكة بيرسيبترون مع${\displaystyle n}$تتكون من وحدات إدخال، وطبقة مخفية واحدة، وطبقة إخراج واحدة، على غرار آلة بيرسيبترون مارك 1. وهي تحسب دالة منطقية من النوع${\displaystyle f:2^{n}\to 2}$يُطلقون على الدالة اسم الدالة المحلية المقترنة من الرتبة${\displaystyle k}$إذا وُجدت شبكة بيرسيبترون بحيث تتصل كل وحدة في الطبقة المخفية بما لا يزيد عن${\displaystyle k}$وحدات الإدخال.

نظرية (النظرية 3.1.1): دالة التكافؤ محلية اقترانياً من الرتبة${\displaystyle n}$.

نظرية (القسم 5.5): دالة الاتصال محلية اقترانياً من الرتبة${\displaystyle \Omega (n^{1/2})}$.

نبدأ أولاً بتعريف بعض المتغيرات:

• ${\displaystyle r}$يمثل معدل تعلم البيرسيبترون. معدل التعلم هو رقم موجب يُختار عادةً ليكون أقل من 1. كلما زادت القيمة، زادت احتمالية حدوث تقلبات في تغيرات الوزن.
• ${\displaystyle D=\{(\mathbf {x} _{1},d_{1}),\dots ,(\mathbf {x} _{s},d_{s})\}}$هي مجموعة التدريب الخاصة بـ${\displaystyle s}$العينات، حيث:
  • ${\displaystyle \mathbf {x} _{j}}$هو${\displaystyle j}$متجه الإدخال رقم th من${\displaystyle n}$فضاء إقليدي ذو أبعاد${\displaystyle \mathbb {R} ^{n}}$.
  • ${\displaystyle d_{j}\in \{0,1\}}$هي قيمة الإخراج المطلوبة للبيرسيبترون لهذا المدخل.

نعرض قيم الميزات على النحو التالي:

• ${\displaystyle x_{j,i}}$قيمة${\displaystyle i}$الميزة رقم 1 من${\displaystyle j}$متجه إدخال التدريب رقم th .
• ${\displaystyle x_{j,0}=1}$.

لتمثيل الأوزان:

• ${\displaystyle w_{i}}$هو${\displaystyle i}$القيمة رقم في متجه الوزن ، والتي تُضرب في قيمة${\displaystyle i}$ميزة الإدخال th.
• لأن${\displaystyle x_{j,0}=1}$، ال${\displaystyle w_{0}}$هو في الواقع انحياز نستخدمه بدلاً من ثابت الانحياز${\displaystyle b}$.

لإظهار اعتماد الزمن على${\displaystyle \mathbf {w} }$، نستخدم:

• ${\displaystyle w_{i}(t)}$الوزن${\displaystyle i}$في ذلك الوقت${\displaystyle t}$.

بالنسبة للتعلم غير المتصل بالإنترنت ، يمكن تكرار الخطوة الثانية حتى يتم تقليل خطأ التكرار${\displaystyle {\frac {1}{s}}\sum _{j=1}^{s}|d_{j}-y_{j}(t)|}$أقل من عتبة الخطأ التي يحددها المستخدم${\displaystyle \gamma }$، أو تم إكمال عدد محدد مسبقًا من التكرارات، حيث s هو مرة أخرى حجم مجموعة العينات.

تقوم الخوارزمية بتحديث الأوزان بعد كل عينة تدريب في الخطوة 2ب، مع ملاحظة أن الأوزان تظل دون تغيير في كل مرة.${\displaystyle d_{j}=y_{j}(t)}$.

يُعدّ البيرسيبترون الواحد مُصنِّفًا خطيًا . ولا يمكنه الوصول إلى حالة مستقرة إلا إذا صُنِّفت جميع متجهات الإدخال بشكل صحيح. في حال لم تكن مجموعة التدريب D قابلة للفصل الخطي ، أي إذا تعذّر فصل الأمثلة الإيجابية عن الأمثلة السلبية بواسطة مستوى فائق، فلن يتقارب الخوارزمية لعدم وجود حل. لذا، إذا لم تكن قابلية الفصل الخطي لمجموعة التدريب معروفة مسبقًا، فينبغي استخدام أحد متغيرات التدريب المذكورة أدناه. تجدون تحليلًا مفصلًا وتوسعات لنظرية التقارب في الفصل 11 من كتاب " البيرسيبترونات " (1969).

يمكن اختبار قابلية الفصل الخطي بمرور الوقت${\displaystyle \min(O(n^{d/2}),O(d^{2n}),O(n^{d-1}\ln n))}$، أين${\displaystyle n}$يمثل عدد نقاط البيانات، و${\displaystyle d}$^{[ 38 ]} هو بُعد كل نقطة.

إذا كانت مجموعة التدريب قابلة للفصل الخطي، فإن البيرسيبترون يضمن التقارب بعد ارتكاب عدد محدود من الأخطاء. ^{[ 39 ]} وقد أثبت روزنبلات وآخرون هذه النظرية.

يُعزى البرهان البسيط التالي إلى نوفيكوف (1962). وتتلخص فكرة البرهان في أن متجه الأوزان يُعدَّل دائمًا بمقدار محدود في اتجاه يكون له فيه حاصل ضرب داخلي سالب ، وبالتالي يمكن تقييده من الأعلى بـ O ( √t ) ، حيث t هو عدد التغييرات التي تطرأ على متجه الأوزان. ومع ذلك، يمكن أيضًا تقييده من الأسفل بـ O ( t )، لأنه إذا وُجد متجه أوزان مُرضٍ (غير معروف)، فإن كل تغيير يُحرز تقدمًا في هذا الاتجاه (غير المعروف) بمقدار موجب يعتمد فقط على متجه الإدخال.

على الرغم من أن خوارزمية البيرسيبترون تضمن التقارب نحو حل ما في حالة مجموعة التدريب القابلة للفصل الخطي، إلا أنها قد تختار أي حل، وقد تقبل المسائل حلولًا متعددة متفاوتة الجودة. ^{[ 40 ]} صُممت خوارزمية البيرسيبترون ذات الاستقرار الأمثل ، والمعروفة اليوم باسم آلة المتجهات الداعمة الخطية ، لحل هذه المشكلة (كراوث وميزارد ، 1987). ^{[ 41 ]}

عندما لا تكون مجموعة البيانات قابلة للفصل الخطي، فلا توجد طريقة لتقارب أي شبكة عصبية واحدة. ومع ذلك، لا يزال لدينا ^{[ 42 ]}

وقد أثبت ذلك برادلي إيفرون أولاً . ^{[ 43 ]}

لنفترض مجموعة بيانات حيث${\displaystyle x}$هم من${\displaystyle \{-1,+1\}^{n}}$أي رؤوس مكعب فائق الأبعاد ذي n بُعد متمركز عند نقطة الأصل، و${\displaystyle y=\theta (x_{i})}$أي أن جميع نقاط البيانات ذات القيم الموجبة${\displaystyle x_{i}}$يملك${\displaystyle y=1}$والعكس صحيح. وبحسب نظرية تقارب البيرسيبترون، فإن البيرسيبترون يتقارب بعد إجراء عملية على الأكثر${\displaystyle n}$أخطاء.

إذا أردنا كتابة برنامج منطقي لأداء المهمة نفسها، فإن كل مثال إيجابي يُظهر أن أحد الإحداثيات هو الإحداثي الصحيح، وكل مثال سلبي يُظهر أن مكمله مثال إيجابي. بجمع كل الأمثلة الإيجابية المعروفة، نتخلص في النهاية من جميع الإحداثيات باستثناء إحداثي واحد، وعندها تكون مجموعة البيانات قد تم تعلمها. ^{[ 44 ]}

هذا الحدّ دقيقٌ تقاربياً في أسوأ الحالات. في أسوأ الحالات، يُعدّ المثال الأول المعروض جديداً تماماً، ويُعطي${\displaystyle n}$أجزاء من المعلومات، لكن كل مثال لاحق سيختلف بشكل طفيف عن الأمثلة السابقة، ويعطي بت واحد لكل مثال. بعد ذلك${\displaystyle n+1}$على سبيل المثال، هناك${\displaystyle 2n}$معلومات قليلة، وهو ما يكفي للبيرسيبترون (مع${\displaystyle 2n}$معلومات متفرقة). ^{[ 35 ]}

ومع ذلك، فإن الأمر ليس دقيقًا من حيث التوقع إذا تم تقديم الأمثلة بشكل عشوائي ومتساوٍ، لأن الأول سيعطي${\displaystyle n}$أجزاء، الثانية${\displaystyle n/2}$أجزاء، وهكذا، أخذ${\displaystyle O(\ln n)}$أمثلة إجمالاً. ^{[ 44 ]}

ومثل معظم التقنيات الأخرى لتدريب المصنفات الخطية، فإن البيرسيبترون يعمم بشكل طبيعي على التصنيف متعدد الفئات . هنا، المدخلات${\displaystyle x}$والناتج${\displaystyle y}$يتم اختيارها من مجموعات عشوائية. دالة تمثيل الميزات${\displaystyle f(x,y)}$تُحوّل كل زوج مُدخلات/مخرجات مُحتمل إلى مُتجه خصائص حقيقي ذي أبعاد محدودة. وكما في السابق، يُضرب مُتجه الخصائص بمُتجه الأوزان.${\displaystyle w}$ولكن الآن تُستخدم النتيجة الناتجة للاختيار من بين العديد من المخرجات الممكنة:

${\displaystyle {\hat {y}}=\operatorname {argmax} _{y}f(x,y)\cdot w.}$

تُكرر عملية التعلم مرة أخرى على الأمثلة، حيث تتنبأ بمخرجات لكل مثال، مع الإبقاء على الأوزان دون تغيير عندما تتطابق المخرجات المتوقعة مع الهدف، وتغييرها عندما لا تتطابق. يصبح التحديث كالتالي:

${\displaystyle w_{t+1}=w_{t}+f(x,y)-f(x,{\hat {y}}).}$

يُختزل هذا النموذج متعدد الفئات للتغذية الراجعة إلى البيرسيبترون الأصلي عندما${\displaystyle x}$هو متجه ذو قيم حقيقية،${\displaystyle y}$يتم اختياره من${\displaystyle \{0,1\}}$، و${\displaystyle f(x,y)=yx}$.

بالنسبة لبعض المشكلات، يمكن اختيار تمثيلات وخصائص المدخلات/المخرجات بحيث${\displaystyle \mathrm {argmax} _{y}f(x,y)\cdot w}$يمكن العثور عليها بكفاءة على الرغم من${\displaystyle y}$يتم اختيارها من مجموعة كبيرة جدًا أو حتى لا نهائية.

منذ عام 2002، أصبح تدريب البيرسيبترون شائعًا في مجال معالجة اللغات الطبيعية لمهام مثل تحديد أجزاء الكلام والتحليل النحوي (كولينز، 2002). كما تم تطبيقه على مشاكل التعلم الآلي واسعة النطاق في بيئة الحوسبة الموزعة . ^{[ 48 ]}