TensorRT

📅 آخر تحديث: ٣٠ يوليو ٢٠٢٦
✍️ نُشر في: ٣٠ يوليو ٢٠٢٦
الموسوعة الحرة

TensorRT هي حزمة تطوير برمجيات (SDK) وبيئة تشغيل لتحسين الاستدلال، طورتها شركة Nvidia لنشر نماذج التعلم العميق والتعلم الآلي المدربة على وحدات معالجة الرسومات (GPUs). [ 1 ] [ 2 ] يمكنها استيراد النماذج من أطر عمل مثل PyTorch و TensorFlow و ONNX ، وتجميعها في محركات تشغيل مُحسّنة للاستدلال بزمن استجابة منخفض وإنتاجية عالية . [ 1 ] [ 2 ]

في وثائق Nvidia الحالية، يُستخدم اسم TensorRT أيضًا للإشارة إلى مجموعة منتجات أوسع تشمل حزمة تطوير البرمجيات الأساسية TensorRT، وTensorRT-LLM، وTensorRT-RTX. [ 3 ] تُعد حزمة تطوير البرمجيات الأساسية منتجًا احتكاريًا لشركة Nvidia في المقام الأول، على الرغم من أن Nvidia تُدير أيضًا مستودعات TensorRT مفتوحة المصدر مرخصة بموجب رخصة Apache، بالإضافة إلى مشاريع مُصاحبة ذات صلة. [ 4 ] [ 5 ]

تاريخ

كان TensorRT متاحًا كجزء من حزمة برامج التعلم العميق من Nvidia بحلول عام 2017، حيث وُصف بأنه محرك استدلال عالي الأداء لنشر الشبكات العصبية المدربة على وحدات معالجة الرسومات من Nvidia. [ 6 ] في عام 2018، أعلنت جوجل عن دمج Nvidia TensorRT مع TensorFlow 1.7، واصفةً TensorRT بأنه مكتبة تُحسّن نماذج التعلم العميق للاستدلال وتُنشئ بيئة تشغيل للنشر على وحدات معالجة الرسومات في بيئات الإنتاج. [ 7 ]

ملخص

يُعدّ TensorRT مكتبةً مكتوبةً بلغة C++ ، تقوم بتحويل الشبكة المُدرَّبة، التي تتألف من تعريف الشبكة ومعاملاتها المُدرَّبة، إلى مُحرك تشغيل مُحسَّن للغاية للاستدلال على وحدات معالجة الرسومات من Nvidia. [ 2 ] يوفر TensorRT واجهات برمجة تطبيقات (APIs) بلغة C++ و Python ، ويمكن التعبير عن النماذج مباشرةً من خلال واجهة برمجة تطبيقات تعريف الشبكة أو استيرادها عبر مُحلِّل ONNX الخاص بها . [ 2 ]

بحسب وثائق Nvidia، يُجري TensorRT تحسينات على مستوى الرسم البياني ومستوى النواة ، مثل دمج الطبقات واختيار التطبيقات الفعّالة للعمليات المدعومة. [ 2 ] كما تصف الوثائق الحالية دعم الأشكال الديناميكية، وأنماط التنفيذ ذات الدقة المختلطة بما في ذلك FP32 و FP16 و BF16 و FP8 و INT8 ، بالإضافة إلى تحسينات متخصصة لأحمال عمل المحولات ونماذج اللغة الكبيرة . [ 1 ]

يمكن إنشاء محركات TensorRT من خلال واجهات برمجة تطبيقات TensorRT أو باستخدام أداة سطر الأوامر trtexec . [ 8 ] يصف دليل البدء السريع من Nvidia سير عمل النشر القائم على تحويل ONNX ، وواجهات برمجة تطبيقات وقت التشغيل، وفك تسلسل المحرك المباشر لتطبيقات C++ وPython. [ 8 ]

الترخيص ومكونات المصادر المفتوحة

ينقسم نموذج ترخيص TensorRT بين حزمة تطوير برمجية (SDK) أساسية مملوكة لشركة Nvidia ومجموعة من المستودعات والأدوات مفتوحة المصدر. [ 4 ] [ 5 ] يخضع برنامج TensorRT المعبأ الذي توزعه Nvidia لاتفاقية ترخيص برامج Nvidia. [ 4 ] في الوقت نفسه، تحتفظ Nvidia بمستودع TensorRT عام على GitHub بموجب ترخيص Apache 2.0 . [ 5 ]

تُحيل وثائق TensorRT الرسمية المستخدمين أيضًا إلى مستودع برمجيات TensorRT مفتوح المصدر للحصول على نماذج وأكواد جاهزة للاستخدام السريع. [ 8 ] وتصف وثائق البنية أدوات ذات صلة، مثل Polygraphy لتصحيح الأخطاء وطَيّ الثوابت، بالإضافة إلى ONNX-GraphSurgeon لتعديل رسوم ONNX البيانية قبل نشرها مع TensorRT. [ 9 ] كما يدعم TensorRT آلية إضافات للطبقات المخصصة والعمليات غير المدعومة. [ 8 ]

عائلة المنتجات

تُصنّف وثائق Nvidia الحالية العديد من منتجات الاستدلال تحت اسم TensorRT. [ 3 ] في هذه الوثائق، يُشار إلى حزمة تطوير البرامج الأساسية باسم TensorRT (Enterprise) ، بينما تشمل العروض ذات الصلة TensorRT-LLM لاستدلال نماذج اللغة الكبيرة وTensorRT-RTX لوحدات معالجة الرسومات RTX المخصصة للمستهلكين . [ 3 ]

TensorRT-LLM

TensorRT-LLM هي مجموعة أدوات مفتوحة المصدر ذات صلة، تُستخدم لتحسين نماذج اللغة الكبيرة وتقديمها على وحدات معالجة الرسومات من Nvidia. [ 3 ] [ 10 ] وتصفها Nvidia بأنها توفر واجهة برمجة تطبيقات Python لتعريف نماذج اللغة الكبيرة وبناء محركات TensorRT المُحسَّنة لأحمال عمل نماذج اللغة الكبيرة. [ 3 ] [ 10 ]

بحسب وثائق عائلة منتجات Nvidia، يدعم TensorRT-LLM التنفيذ على وحدات معالجة رسومية متعددة وعُقد متعددة، والتجميع الدفعي أثناء المعالجة، والتخزين المؤقت للقيم المفتاحية المُصفحة ، وطرق التكميم مثل FP8 و INT8 وINT4 لتقديم نماذج ذات إنتاجية أعلى. [ 3 ] تم نشر قاعدة بيانات TensorRT-LLM على GitHub بموجب ترخيص Apache 2.0. [ 11 ]

نظرًا لأن شركة Nvidia توثق TensorRT-LLM كعضو منفصل في عائلة منتجات TensorRT، فإنه يتم التعامل معه عادةً كمشروع برمجي ذي صلة ولكنه متميز بدلاً من كونه ميزة واحدة من حزمة تطوير البرامج الأساسية TensorRT. [ 3 ]

انظر أيضاً

مراجع

  1. 1 2 3 "وثائق NVIDIA TensorRT" . وثائق NVIDIA . تم الاطلاع عليها في 23 أبريل 2026 .
  2. 1 2 3 4 5 "نظرة عامة" . وثائق NVIDIA . تم الاطلاع عليه في 23 أبريل 2026 .
  3. 1 2 3 4 5 6 7 "عائلة منتجات NVIDIA TensorRT" . وثائق NVIDIA . تم الاطلاع عليها في 23 أبريل 2026 .
  4. 1 2 3 "TensorRT/python/packaging/frontend_sdist/LICENSE.txt at main" . GitHub . تم الاطلاع عليه في 23 أبريل 2026 .
  5. 1 2 3 "TensorRT/LICENSE at main" . GitHub . تم الاطلاع عليه في 23 أبريل 2026 .
  6. ↑ "NVIDIA في الحوسبة عالية الأداء والذكاء الاصطناعي" (ملف PDF) . مركز أوهايو للحوسبة الفائقة . تم الاطلاع عليه بتاريخ 23 أبريل 2026 .
  7. ↑ "الإعلان عن دمج TensorRT مع TensorFlow 1.7" . مدونة مطوري جوجل . 27 مارس 2018. تم الاطلاع عليه في 23 أبريل 2026 .
  8. 1 2 3 4 "دليل البدء السريع" . وثائق NVIDIA . تم الاطلاع عليه في 23 أبريل 2026 .
  9. ↑ "نظرة عامة على البنية" . وثائق NVIDIA . تم الاطلاع عليه في 23 أبريل 2026 .
  10. 1 2 "NVIDIA/TensorRT-LLM" . GitHub . تم الاطلاع عليه في 23 أبريل 2026 .
  11. ↑ "TensorRT-LLM/LICENSE at main" . GitHub . تم الاطلاع عليه في 23 أبريل 2026 .