وحدة المعالجة العصبية

تُستخدم مُسرّعات الذكاء الاصطناعي في معالجات الهواتف الذكية من Apple Silicon و Qualcomm و Samsung و Huawei ^{[ 7 ]} و Google Tensor ^{[ 8 ]} . عند استخدامها كجزء من وحدة معالجة الرسومات (GPU) لعرض الرسومات ، يُمكنها تقليل استهلاك الموارد بشكل كبير من خلال السماح للأجزاء التقليدية من وحدة معالجة الرسومات بعرض المشهد بدقة ومعدل إطارات أقل بكثير (على سبيل المثال، 540  بكسل بمعدل 30 إطارًا في الثانية)، ثم استخدام نموذج ذكاء اصطناعي مُدرّب مسبقًا على وحدة المعالجة العصبية (NPU) لتحويل تلك الصور الأساسية إلى مخرجات أكثر سلاسة ودقة أعلى (على سبيل المثال، 2160  بكسل بمعدل 240 إطارًا في الثانية) في الوقت الفعلي.

وحدات معالجة الرؤية هي معالجات متخصصة في خوارزميات الرؤية الآلية مثل الشبكات العصبية الالتفافية (CNN) وتحويل الميزات الثابتة المقياس (SIFT ). تُستخدم هذه الوحدات في الأجهزة التي تحتاج إلى تتبع الأجسام بصريًا، مثل نظارات الواقع المعزز والطائرات بدون طيار . ^{[ 9 ] [ 10 ] [ 11 ]}

أُضيفت هذه الميزة مؤخرًا (حوالي عام 2017) إلى معالجات شركة آبل ^{[ 12 ]} ، وحوالي عام 2022 إلى معالجات شركتي إنتل ^{[ 13 ]} وإيه إم دي ^{[ 14 ]} . تحتوي جميع طرازات معالجات إنتل ميتيور ليك على وحدة معالجة متعددة الاستخدامات ( VPU ) مدمجة لتسريع الاستدلال في مجال رؤية الحاسوب والتعلم العميق ^{[ 15 ].}

في الأجهزة الاستهلاكية، صُممت وحدة المعالجة العصبية (NPU) لتكون صغيرة الحجم، موفرة للطاقة ، وسريعة نسبيًا عند استخدامها لتشغيل النماذج الصغيرة. ولتحقيق ذلك، صُممت لدعم العمليات ذات عرض البت المنخفض باستخدام أنواع بيانات مثل INT4 وINT8 و FP8 و FP16 . ويُعدّ تريليونات العمليات في الثانية (TOPS) مقياسًا شائعًا . وعلى الرغم من أن TOPS لا يُحدد نوع العمليات بشكل صريح، إلا أنه عادةً ما يكون عمليات جمع وضرب من نوع INT8 . ^{[ 16 ]}

تُستخدم المُسرّعات في خوادم الحوسبة السحابية ، على سبيل المثال ، وحدات معالجة الموترات (TPU) لمنصة جوجل السحابية ، ^{[ 17 ]} ورقائق Trainium و Inferentia لخدمات أمازون السحابية . ^{[ 18 ]} توجد العديد من المصطلحات الخاصة بالبائعين للأجهزة في هذه الفئة، وهي تقنية ناشئة بدون تصميم مهيمن .

منذ أواخر العقد الثاني من الألفية الثانية، أصبحت وحدات معالجة الرسومات التي تصممها شركات مثل إنفيديا وإيه إم دي تتضمن في كثير من الأحيان مكونات خاصة بالذكاء الاصطناعي على شكل وحدات وظيفية مخصصة لعمليات ضرب المصفوفات منخفضة الدقة . وتُستخدم هذه الوحدات بشكل شائع كمسرعات للذكاء الاصطناعي، سواء للتدريب أو الاستدلال . ^{[ 19 ]}

على الرغم من أن وحدات المعالجة العصبية (NPUs) مصممة خصيصًا لعمليات ضرب المصفوفات منخفضة الدقة (مثل FP16 وINT8) ، إلا أنه يمكن استخدامها لمحاكاة عمليات ضرب المصفوفات عالية الدقة في الحوسبة العلمية. ونظرًا لأن وحدات معالجة الرسومات الحديثة (GPUs) تركز بشكل كبير على تسريع جزء NPU، فإن استخدام محاكاة FP64 (مخطط أوزاكي) على وحدات NPUs قد يتفوق على FP64 الأصلي. وقد تم إثبات ذلك باستخدام محاكاة FP16 لـ FP64 على NVIDIA TITAN RTX، واستخدام محاكاة INT8 لـ FP64 على وحدات معالجة الرسومات الاستهلاكية من NVIDIA ووحدة معالجة الرسومات A100. وقد استفادت وحدات معالجة الرسومات الاستهلاكية بشكل خاص نظرًا لقدرتها المحدودة على معالجة FP64، حيث حققت تسارعًا بمقدار 6 أضعاف. ^{[ 20 ]} منذ تحديث CUDA Toolkit 13.0 Update 2، يستخدم cu BLAS تلقائيًا ضرب المصفوفات بـ FP64 المحاكى بـ INT8 بنفس الدقة إذا كان أسرع من الدقة الأصلية. هذا بالإضافة إلى ميزة FP32 المحاكية لـ FP16 التي تم تقديمها في الإصدار 12.9. ^{[ 21 ]}