ايكسي

قد تعتمد هذه المقالة بشكل مفرط على مصادر مرتبطة ارتباطًا وثيقًا بالموضوع ، مما قد يمنع المقالة من التحقق منها وحيادها . يرجى المساعدة في تحسينها عن طريق استبدالها باستشهادات أكثر ملاءمة لمصادر خارجية مستقلة وموثوقة . ( سبتمبر 2023 ) ( تعرف على كيفية ومتى تحذف هذه الرسالة )

AIXI ['ai̯k͡siː] هي صيغة رياضية نظرية للذكاء الاصطناعي العام . وهي تجمع بين استقراء سولومونوف ونظرية القرار المتسلسل . اقترح ماركوس هوتر AIXI لأول مرة في عام 2000 ^[1] وتم إثبات العديد من النتائج المتعلقة بـ AIXI في كتاب هوتر لعام 2005 بعنوان الذكاء الاصطناعي الشامل . ^[2]

AIXI هو وكيل تعزيز التعلم (RL). فهو يعمل على تعظيم إجمالي المكافآت المتوقعة التي يتم تلقيها من البيئة. وبشكل بديهي، فإنه يأخذ في الاعتبار في نفس الوقت كل فرضية (أو بيئة) قابلة للحساب. وفي كل خطوة زمنية، ينظر في كل برنامج ممكن ويقيم عدد المكافآت التي يولدها هذا البرنامج اعتمادًا على الإجراء التالي المتخذ. ثم يتم ترجيح المكافآت الموعودة بالاعتقاد الذاتي بأن هذا البرنامج يشكل البيئة الحقيقية. يتم حساب هذا الاعتقاد من طول البرنامج: تعتبر البرامج الأطول أقل احتمالية، بما يتماشى مع شفرة أوكام . ثم يختار AIXI الإجراء الذي يتمتع بأعلى مكافأة إجمالية متوقعة في المجموع المرجح لجميع هذه البرامج.

وفقًا لهوتر، يمكن أن يكون لكلمة "AIXI" عدة تفسيرات. يمكن أن تعني AIXI الذكاء الاصطناعي استنادًا إلى توزيع سولومونوف، والذي يُشار إليه بـ (وهو الحرف اليوناني xi)، أو على سبيل المثال يمكن أن تعني الذكاء الاصطناعي "المتقاطع" (X) مع الاستقراء (I). هناك تفسيرات أخرى. ^[3]${\displaystyle \xi }$

AIXI هو وكيل تعزيز التعلم الذي يتفاعل مع بعض البيئات العشوائية وغير المعروفة ولكن القابلة للحساب . يستمر التفاعل في خطوات زمنية، من إلى ، حيث هو عمر وكيل AIXI. في خطوة الوقت t ، يختار الوكيل إجراءً (مثل حركة أحد الأطراف) وينفذه في البيئة، وتستجيب البيئة بـ "إدراك" ، والذي يتكون من "ملاحظة" (مثل صورة كاميرا) ومكافأة ، موزعة وفقًا للاحتمالية الشرطية ، حيث هو "تاريخ" الإجراءات والملاحظات والمكافآت. وبالتالي يتم تمثيل البيئة رياضيًا كتوزيع احتمالي على "الإدراكات" (الملاحظات والمكافآت) التي تعتمد على التاريخ الكامل ، لذلك لا يوجد افتراض ماركوف (على عكس خوارزميات التعلم المعزز الأخرى). لاحظ مرة أخرى أن توزيع الاحتمالات هذا غير معروف لوكيل AIXI. علاوة على ذلك، لاحظ مرة أخرى أن AIXI قابلة للحساب، أي أن الملاحظات والمكافآت التي يتلقاها العميل من البيئة يمكن حسابها بواسطة بعض البرامج (التي تعمل على آلة تورينج )، بالنظر إلى الإجراءات السابقة لوكيل AIXI. ^[4]${\displaystyle \mu }$${\displaystyle t=1}$${\displaystyle t=m}$${\displaystyle m\in \mathbb {N} }$${\displaystyle a_{t}\in {\mathcal {A}}}$${\displaystyle e_{t}\in {\mathcal {E}}={\mathcal {O}}\times \mathbb {R} }$${\displaystyle o_{t}\in {\mathcal {O}}}$${\displaystyle r_{t}\in \mathbb {R} }$ ${\displaystyle \mu (o_{t}r_{t}|a_{1}o_{1}r_{1}...a_{t-1}o_{t-1}r_{t-1}a_{t})}$${\displaystyle a_{1}o_{1}r_{1}...a_{t-1}o_{t-1}r_{t-1}a_{t}}$${\displaystyle \mu }$${\displaystyle \mu }$${\displaystyle \mu }$

الهدف الوحيد لوكيل AIXI هو تحقيق أقصى قدر من المكافآت من الخطوة الزمنية 1 إلى م. ${\displaystyle \sum _{t=1}^{m}r_{t}}$

يرتبط وكيل AIXI بسياسة عشوائية ، وهي الوظيفة التي يستخدمها لاختيار الإجراءات في كل خطوة زمنية، حيث هي مساحة جميع الإجراءات الممكنة التي يمكن أن يتخذها AIXI و هي مساحة جميع "التصورات" الممكنة التي يمكن أن تنتجها البيئة. يمكن أيضًا اعتبار البيئة (أو توزيع الاحتمالات) بمثابة سياسة عشوائية (وهي دالة): ، حيث هي عملية نجم كلين . ${\displaystyle \pi :({\mathcal {A}}\times {\mathcal {E}})^{*}\rightarrow {\mathcal {A}}}$${\displaystyle {\mathcal {A}}}$${\displaystyle {\mathcal {E}}}$${\displaystyle \mu }$${\displaystyle \mu :({\mathcal {A}}\times {\mathcal {E}})^{*}\times {\mathcal {A}}\rightarrow {\mathcal {E}}}$${\displaystyle *}$

بشكل عام، في خطوة زمنية (تتراوح من 1 إلى م)، يقوم AIXI، بعد تنفيذ الإجراءات مسبقًا (والتي غالبًا ما يتم اختصارها في الأدبيات باسم ) وبعد ملاحظة تاريخ الإدراكات (والتي يمكن اختصارها باسم )، باختيار وتنفيذ الإجراء في البيئة، ، كما هو محدد على النحو التالي: ^[3]${\displaystyle t}$${\displaystyle a_{1}\dots a_{t-1}}$${\displaystyle a_{<t}}$${\displaystyle o_{1}r_{1}...o_{t-1}r_{t-1}}$${\displaystyle e_{<t}}$${\displaystyle a_{t}}$

${\displaystyle a_{t}:=\arg \max _{a_{t}}\sum _{o_{t}r_{t}}\ldots \max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}}$

أو باستخدام الأقواس، لتوضيح الأولويات

${\displaystyle a_{t}:=\arg \max _{a_{t}}\left(\sum _{o_{t}r_{t}}\ldots \left(\max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\left(\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}\right)\right)\right)}$

حدسيًا، في التعريف أعلاه، تنظر AIXI إلى مجموع المكافأة الإجمالية على جميع "المستقبلات" المحتملة حتى خطوات زمنية للأمام (أي من إلى )، وتزن كل منها حسب تعقيد البرامج (أي بواسطة )، بما يتفق مع ماضي الوكيل (أي الإجراءات التي تم تنفيذها سابقًا، ، والإدراكات المستلمة، ) التي يمكن أن تولد هذا المستقبل، ثم تختار الإجراء الذي يزيد من المكافآت المستقبلية المتوقعة. ^[4]${\displaystyle m-t}$${\displaystyle t}$${\displaystyle m}$${\displaystyle q}$${\displaystyle 2^{-{\textrm {length}}(q)}}$${\displaystyle a_{<t}}$${\displaystyle e_{<t}}$

دعونا نحلل هذا التعريف حتى نتمكن من فهمه بشكل كامل.

${\displaystyle o_{t}r_{t}}$هو "الإدراك" (الذي يتكون من الملاحظة والمكافأة ) الذي يتلقاه وكيل AIXI في خطوة زمنية من البيئة (والتي هي غير معروفة وعشوائية). وبالمثل، هو الإدراك الذي يتلقاه AIXI في خطوة زمنية (آخر خطوة زمنية حيث يكون AIXI نشطًا). ${\displaystyle o_{t}}$${\displaystyle r_{t}}$${\displaystyle t}$${\displaystyle o_{m}r_{m}}$${\displaystyle m}$

${\displaystyle r_{t}+\ldots +r_{m}}$هو مجموع المكافآت من خطوة زمنية إلى أخرى ، لذا تحتاج AIXI إلى النظر إلى المستقبل لاختيار عملها في خطوة زمنية . ${\displaystyle t}$${\displaystyle m}$${\displaystyle t}$

${\displaystyle U}$يشير إلى آلة تورينج عالمية رتيبة ، ويتراوح على جميع البرامج (الحتمية) على الآلة العالمية ، والتي تتلقى كمدخلات البرنامج وتسلسل الإجراءات (أي جميع الإجراءات)، وتنتج تسلسل الإدراكات . وبالتالي، تُستخدم آلة تورينج العالمية "لمحاكاة" أو حساب استجابات البيئة أو الإدراكات، مع الأخذ في الاعتبار البرنامج (الذي "ينمذج" البيئة) وجميع إجراءات وكيل AIXI: بهذا المعنى، تكون البيئة "قابلة للحساب" (كما هو مذكور أعلاه). لاحظ أنه بشكل عام، فإن البرنامج الذي "ينمذج" البيئة الحالية والفعلية (حيث تحتاج AIXI إلى العمل) غير معروف لأن البيئة الحالية غير معروفة أيضًا. ${\displaystyle q}$${\displaystyle U}$${\displaystyle q}$${\displaystyle a_{1}\dots a_{m}}$${\displaystyle o_{1}r_{1}\ldots o_{m}r_{m}}$${\displaystyle U}$${\displaystyle q}$

${\displaystyle {\textrm {length}}(q)}$هو طول البرنامج (الذي يتم ترميزه كسلسلة من البتات). لاحظ أن . وبالتالي، في التعريف أعلاه، يجب تفسيره على أنه مزيج (في هذه الحالة، مجموع) على جميع البيئات القابلة للحساب (والتي تتوافق مع ماضي العميل)، كل منها مرجح بتعقيده . لاحظ أنه يمكن أيضًا كتابته على أنه ، و هو تسلسل الإجراءات التي نفذها بالفعل وكيل AIXI في البيئة. وبالمثل، ، و هو تسلسل الإدراكات التي أنتجتها البيئة حتى الآن. ${\displaystyle q}$${\displaystyle 2^{-{\textrm {length}}(q)}={\frac {1}{2^{{\textrm {length}}(q)}}}}$${\displaystyle \sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}}$${\displaystyle 2^{-{\textrm {length}}(q)}}$${\displaystyle a_{1}\ldots a_{m}}$${\displaystyle a_{1}\ldots a_{t-1}a_{t}\ldots a_{m}}$${\displaystyle a_{1}\ldots a_{t-1}=a_{<t}}$${\displaystyle o_{1}r_{1}\ldots o_{m}r_{m}=o_{1}r_{1}\ldots o_{t-1}r_{t-1}o_{t}r_{t}\ldots o_{m}r_{m}}$${\displaystyle o_{1}r_{1}\ldots o_{t-1}r_{t-1}}$

دعونا الآن نجمع كل هذه المكونات معًا لفهم هذه المعادلة أو التعريف.

في خطوة الوقت t، تختار AIXI الإجراء الذي تصل فيه الوظيفة إلى الحد الأقصى لها. ${\displaystyle a_{t}}$${\displaystyle \sum _{o_{t}r_{t}}\ldots \max _{a_{m}}\sum _{o_{m}r_{m}}[r_{t}+\ldots +r_{m}]\sum _{q:\;U(q,a_{1}\ldots a_{m})=o_{1}r_{1}\ldots o_{m}r_{m}}2^{-{\textrm {length}}(q)}}$

المعلمات الخاصة بـ AIXI هي آلة تورينج العالمية U ومدة حياة العميل m ، والتي يجب اختيارها. يمكن إزالة المعلمة الأخيرة باستخدام الخصم .

يتم قياس أداء AIXI من خلال العدد الإجمالي المتوقع للمكافآت التي تتلقاها. وقد ثبت أن AIXI مثالية بالطرق التالية. ^[2]

• الأمثلية الباريتوية : لا يوجد وكيل آخر يعمل على الأقل بنفس كفاءة AIXI في جميع البيئات بينما يعمل بشكل أفضل تمامًا في بيئة واحدة على الأقل. ^{[ بحاجة لمصدر ]}
• الأمثلية الباريتوية المتوازنة: مثل الأمثلية الباريتوية، ولكن مع الأخذ في الاعتبار مجموعًا مرجحًا من البيئات.
• تحسين ذاتي: تُسمى السياسة p بأنها مُحسَّنة ذاتيًا لبيئة ما إذا اقترب أداء p من الحد الأقصى النظري عندما يصل طول عمر العميل (وليس الوقت) إلى ما لا نهاية. بالنسبة لفئات البيئة التي توجد بها سياسات مُحسَّنة ذاتيًا، فإن AIXI تكون مُحسَّنة ذاتيًا.${\displaystyle \mu }$${\displaystyle \mu }$

وقد أظهر لاحقًا كل من هوتر وجان لايك أن المثالية الباريتوية المتوازنة هي ذاتية وأن أي سياسة يمكن اعتبارها مثالية باريتو، وهو ما وصفوه بأنه يقوض جميع ادعاءات المثالية السابقة لـ AIXI. ^[5]

ومع ذلك، فإن AIXI لديها بعض القيود. فهي مقيدة بتعظيم المكافآت بناءً على الإدراكات بدلاً من الحالات الخارجية. كما تفترض أنها تتفاعل مع البيئة فقط من خلال قنوات الفعل والإدراك، مما يمنعها من التفكير في إمكانية التلف أو التعديل. وهذا يعني بشكل عام أنها لا تعتبر نفسها محصورة بالبيئة التي تتفاعل معها. كما تفترض أن البيئة قابلة للحساب. ^[6]

مثل استقراء سولومونوف ، فإن AIXI غير قابلة للحساب . ومع ذلك، هناك تقريبات قابلة للحساب لها. أحد هذه التقريبات هو AIXI tl ، والذي يعمل على الأقل بنفس كفاءة أفضل وكيل محدود زمنيًا ومكانيًا يمكن إثباته . ^{[2] تقريبًا آخر لـ AIXI مع فئة بيئة مقيدة} هو MC-AIXI (FAC-CTW) (الذي يرمز إلى Monte Carlo AIXI FAC- Context-Tree Weighting )، والذي حقق بعض النجاح في لعب ألعاب بسيطة مثل Pac-Man القابلة للملاحظة جزئيًا . ^{[4] [7]}

• آلة جودل

• "الذكاء الخوارزمي الشامل: نهج رياضي من أعلى إلى أسفل"، ماركوس هوتر، arXiv :cs/0701125؛ كما هو الحال في الذكاء الاصطناعي العام ، المحررون: ب. جورتزل وسي. بيناتشين، سبرينغر، 2007، ISBN 9783540237334 ، ص 227-290، doi :10.1007/978-3-540-68677-4_8.