شبكة الموجة

الموسوعة الحرة

WaveNet عبارة عن شبكة عصبية عميقة لتوليد الصوت الخام. ابتكرها باحثون في شركة DeepMind المتخصصة في الذكاء الاصطناعي ومقرها لندن . تستطيع هذه التقنية، التي وُصفت في ورقة بحثية نُشرت في سبتمبر 2016، [ 1 ] توليد أصوات بشرية واقعية نسبيًا من خلال نمذجة الموجات الصوتية مباشرةً باستخدام طريقة الشبكة العصبية المُدرَّبة على تسجيلات كلام حقيقي. أظهرت الاختبارات التي أُجريت على اللغتين الإنجليزية الأمريكية والصينية (الماندرين) أن النظام يتفوق على أفضل أنظمة تحويل النص إلى كلام (TTS) الحالية من جوجل، على الرغم من أن توليف الصوت الناتج من النص إلى الكلام، حتى عام 2016، كان لا يزال أقل إقناعًا من الكلام البشري الحقيقي. [ 2 ] إن قدرة WaveNet على توليد الموجات الصوتية الخام تعني أنه يستطيع نمذجة أي نوع من الصوت، بما في ذلك الموسيقى. [ 3 ]

تاريخ

أصبح توليد الكلام من النص مهمة شائعة بشكل متزايد بفضل شعبية برامج مثل سيري من أبل، وكورتانا من مايكروسوفت ، وأليكسا من أمازون ، ومساعد جوجل . [ 4 ]

تستخدم معظم هذه الأنظمة تقنيةً مُعدّلةً تعتمد على دمج أجزاء صوتية معًا لتكوين أصوات وكلمات مفهومة. [ 5 ] وأكثر هذه التقنيات شيوعًا ما يُسمى بتقنية تحويل النص إلى كلام التجميعية. [ 6 ] وهي تتكون من مكتبة ضخمة من مقاطع الكلام، مُسجلة من مُتحدث واحد، ثم تُدمج معًا لإنتاج كلمات وأصوات كاملة. والنتيجة تبدو غير طبيعية، بنبرة وإيقاع غريبين. [ 7 ] كما أن الاعتماد على مكتبة مُسجلة يجعل من الصعب تعديل الصوت أو تغييره. [ 8 ]

تستخدم تقنية أخرى، تُعرف باسم تحويل النص إلى كلام البارامتري [ 9 ] ، نماذج رياضية لإعادة إنتاج الأصوات التي تُجمّع لاحقًا في كلمات وجمل. تُخزّن المعلومات اللازمة لتوليد الأصوات في معلمات النموذج. تُتحكّم خصائص الكلام الناتج عبر مدخلات النموذج، بينما يُنشأ الكلام عادةً باستخدام مُركِّب صوتي يُعرف باسم مُشفِّر الصوت . قد ينتج عن ذلك أيضًا صوت غير طبيعي.

التصميم والبحث المستمر

خلفية

مجموعة من طبقات الالتفاف السببية المتوسعة [ 10 ]

WaveNet هو نوع من الشبكات العصبية ذات التغذية الأمامية، يُعرف باسم الشبكة العصبية الالتفافية العميقة (CNN). في WaveNet، تستقبل الشبكة العصبية الالتفافية إشارة خام كمدخل، وتُنتج مخرجًا عينةً تلو الأخرى. ويتم ذلك عن طريق أخذ عينات من توزيع softmax (أي التوزيع الفئوي ) لقيمة الإشارة، والتي يتم ترميزها باستخدام تحويل μ-law companding، وتُكمّم إلى 256 قيمة ممكنة. [ 11 ]

المفهوم الأولي والنتائج

بحسب ورقة بحثية أصلية صادرة عن ديب مايند في سبتمبر 2016 بعنوان WaveNet: نموذج توليدي للصوت الخام ، [ 12 ] فقد تم تغذية الشبكة بموجات صوتية حقيقية للكلام باللغتين الإنجليزية والصينية. ومع مرور هذه الموجات عبر الشبكة، تتعلم الشبكة مجموعة من القواعد لوصف كيفية تطور الموجة الصوتية بمرور الوقت. ويمكن بعد ذلك استخدام الشبكة المدربة لإنشاء موجات صوتية جديدة شبيهة بالكلام بمعدل 16000 عينة في الثانية. وتشمل هذه الموجات أصوات تنفس واقعية وأصوات تحريك الشفاه  ، ولكنها لا تتبع أي لغة محددة. [ 13 ]

تستطيع شبكة WaveNet محاكاة الأصوات المختلفة بدقة، حيث تتطابق اللهجة ونبرة الصوت المدخل مع المخرج. على سبيل المثال، إذا تم تدريبها على اللغة الألمانية، فإنها تُنتج كلامًا ألمانيًا. [ 14 ] كما تعني هذه القدرة أنه إذا تم تغذية WaveNet بمدخلات أخرى  - مثل الموسيقى  - فسيكون مخرجها موسيقيًا. عند إطلاقها، أظهرت شركة DeepMind أن WaveNet قادرة على إنتاج موجات صوتية تُشبه الموسيقى الكلاسيكية . [ 15 ]

تبديل المحتوى (الصوت)

بحسب ورقة بحثية نُشرت في يونيو 2018 بعنوان " المشفّر التلقائي التسلسلي غير المتشابك " [ 16 ] ، نجحت شركة DeepMind في استخدام WaveNet لتبادل محتوى الصوت: إذ تستطيع الشبكة استبدال الصوت في تسجيل صوتي بصوت آخر موجود مسبقًا، مع الحفاظ على النص والخصائص الأخرى من التسجيل الأصلي. "نجري أيضًا تجارب على بيانات تسلسل صوتي. يسمح لنا تمثيلنا غير المتشابك بتحويل هويات المتحدثين مع مراعاة محتوى الكلام." (ص  5) "بالنسبة للصوت، يتيح لنا ذلك تحويل صوت رجل إلى صوت امرأة والعكس [...] ." (ص  1) ووفقًا للورقة البحثية، يتطلب الأمر إدخال ما لا يقل عن 50 ساعة من تسجيلات الكلام الموجودة مسبقًا لكل من الصوت المصدر والهدف إلى WaveNet لكي يتعلم البرنامج خصائص كل منهما على حدة قبل أن يتمكن من إجراء التحويل من صوت إلى آخر بجودة مرضية. يؤكد المؤلفون أن " [إحدى] مزايا النموذج هي أنه يفصل بين السمات الديناميكية والثابتة [...] ." (ص  8)، أي أن WaveNet قادر على التمييز بين النص المنطوق وأنماط الأداء (التعديل، والسرعة، ودرجة الصوت، والمزاج، وما إلى ذلك) التي يجب الحفاظ عليها أثناء التحويل من صوت إلى آخر من ناحية، والسمات الأساسية لكل من الصوت المصدر والهدف التي يجب تبديلها من ناحية أخرى.

تُفصّل ورقة المتابعة الصادرة في يناير 2019 بعنوان " التعلم غير الخاضع للإشراف لتمثيل الكلام باستخدام مشفرات WaveNet التلقائية " [ 17 ] طريقةً لتحسين التعرف التلقائي والتمييز بين الميزات الديناميكية والثابتة في "تبديل المحتوى"، لا سيما تبديل الأصوات في التسجيلات الصوتية الموجودة، لزيادة موثوقيته. وتشير ورقة متابعة أخرى بعنوان "تحويل النص إلى كلام تكيفي فعال من حيث أخذ العينات" [ 18 ] ، الصادرة في سبتمبر 2018 (آخر مراجعة في يناير 2019)، إلى أن شركة DeepMind نجحت في تقليل الحد الأدنى من التسجيلات الواقعية المطلوبة لأخذ عينة من صوت موجود عبر WaveNet إلى "بضع دقائق فقط من البيانات الصوتية" مع الحفاظ على جودة عالية للنتائج.

أثارت قدرة تقنية WaveNet على استنساخ الأصوات مخاوف أخلاقية بشأن قدرتها على محاكاة أصوات الأحياء والأموات. ووفقًا لمقال نشرته BBC عام 2016 ، تعتزم الشركات العاملة على تقنيات مماثلة لاستنساخ الأصوات (مثل Adobe Voco ) إضافة علامات مائية غير مسموعة للبشر لمنع التزييف، مع التأكيد على أن استنساخ الأصوات الذي يلبي، على سبيل المثال، احتياجات صناعة الترفيه سيكون أقل تعقيدًا بكثير، وسيستخدم أساليب مختلفة عن تلك المطلوبة لخداع أساليب الأدلة الجنائية وأجهزة التعريف الإلكترونية، بحيث يمكن التمييز بسهولة بين الأصوات الطبيعية والأصوات المستنسخة لأغراض صناعة الترفيه من خلال التحليل التقني. [ 19 ]

التطبيقات

عند إطلاقها، صرّحت شركة DeepMind بأنّ تقنية WaveNet تتطلب قدرة معالجة حاسوبية هائلة لاستخدامها في التطبيقات العملية. [ 20 ] وفي أكتوبر 2017، أعلنت جوجل عن تحسين الأداء بمقدار ألف ضعف، بالإضافة إلى تحسين جودة الصوت. استُخدمت WaveNet لاحقًا لإنشاء أصوات مساعد جوجل باللغتين الإنجليزية الأمريكية واليابانية على جميع منصات جوجل. [ 21 ] وفي نوفمبر 2017، نشر باحثو DeepMind ورقة بحثية تُفصّل طريقة مُقترحة "لإنشاء عينات كلامية عالية الدقة أسرع بأكثر من 20 مرة من الوقت الفعلي"، تُسمى "تقطير كثافة الاحتمال". [ 22 ] وفي مؤتمر I/O السنوي للمطورين في مايو 2018، أُعلن عن توفّر أصوات جديدة لمساعد جوجل بفضل تقنية WaveNet؛ حيث قلّلت WaveNet بشكل كبير من عدد التسجيلات الصوتية المطلوبة لإنشاء نموذج صوتي، وذلك من خلال نمذجة الصوت الخام لعينات مؤدي الصوت. [ 23 ]

انظر أيضاً

مراجع

  1. ^ فان دن أورد ، هارون. ديليمان، ساندر؛ زين، هيجا؛ سيمونيان، كارين؛ فينيالس، أوريول. جريفز، اليكس. كالشبرينر، نال؛ كبير، أندرو؛ كافوكوغلو ، كوراي (12/09/2016). “WaveNet: نموذج توليدي للصوت الخام”. أرخايف : 1609.03499 [ cs.SD ].
  2. ↑ كان، جيريمي (9 سبتمبر 2016). "شركة ديب مايند التابعة لشركة جوجل تحقق طفرة في توليد الكلام" . Bloomberg.com . تم الاطلاع عليه بتاريخ 6 يوليو 2017 .
  3. ↑ ماير، ديفيد (9 سبتمبر 2016). "شركة ديب مايند التابعة لشركة جوجل تدّعي تحقيق تقدم هائل في مجال الكلام المُصنّع" . مجلة فورتشن . تم الاطلاع عليه بتاريخ 6 يوليو 2017 .
  4. ↑ كان، جيريمي (9 سبتمبر 2016). "شركة ديب مايند التابعة لشركة جوجل تحقق طفرة في توليد الكلام" . Bloomberg.com . تم الاطلاع عليه بتاريخ 6 يوليو 2017 .
  5. ↑ كوندليف، جيمي (9 سبتمبر 2016). "عندما يتحدث هذا الحاسوب، قد ترغب فعلاً في الاستماع" . مجلة إم آي تي ​​للتكنولوجيا . تم الاطلاع عليه بتاريخ 6 يوليو 2017 .
  6. ↑ هانت، أ. ج.؛ بلاك، أ. و. (مايو 1996). "اختيار الوحدات في نظام توليف الكلام التجميعي باستخدام قاعدة بيانات كلامية كبيرة". وقائع مؤتمر IEEE الدولي لعام 1996 حول الصوتيات والكلام ومعالجة الإشارات (ملف PDF) . المجلد 1. الصفحات 373-376 . CiteSeerX 10.1.1.218.1335 . doi : 10.1109/ICASSP.1996.541110 . ISBN    978-0-7803-3192-1. S2CID 14621185 . 
  7. ↑ كولدوي، ديفين (9 سبتمبر 2016). "تستخدم شبكة WaveNet من جوجل الشبكات العصبية لتوليد كلام وموسيقى مقنعة بشكل غريب" . TechCrunch . تم الاطلاع عليه بتاريخ 6 يوليو 2017 .
  8. ^ فان دن أورد ، آرون. ديليمان، ساندر؛ زين ، هيجا (2016/09/08). "WaveNet: نموذج توليدي للصوت الخام" . ديب مايند . تم الاسترجاع 2017/07/06 .
  9. ^ زين، هيجا؛ توكودا، كييتشي؛ بلاك، آلان دبليو (2009). “توليف الكلام البارامتري الإحصائي”. التواصل الكلامي . 51 (11): 1039-1064 . سايتسيركس 10.1.1.154.9874 . دوى : 10.1016/j.specom.2009.04.004 . S2CID 3232238 .  
  10. ^ فان دن أورد ، آرون (2017/11/12). "توليف الكلام عالي الدقة باستخدام WaveNet" . ديب مايند . تم الاسترجاع بتاريخ 2022-06-05 .
  11. ^ أورد ، آرون فان دن. ديليمان، ساندر؛ زين، هيجا؛ سيمونيان، كارين؛ فينيالس، أوريول. جريفز، اليكس. كالشبرينر، نال؛ كبير، أندرو؛ كافوكوغلو ، كوراي (12/09/2016). “WaveNet: نموذج توليدي للصوت الخام”. أرخايف : 1609.03499 [ cs.SD ].
  12. ^ آرون فان دن أورد. ديليمان، ساندر؛ زين، هيجا؛ سيمونيان، كارين؛ فينيالس، أوريول. جريفز، اليكس. كالشبرينر، نال؛ كبير، أندرو؛ كافوكوجلو ، كوراي (2016). “WaveNet: نموذج توليدي للصوت الخام”. أرخايف : 1609.03499 [ cs.SD ].
  13. ↑ جيرشجورن، ديف (9 سبتمبر 2016). "هل أنت متأكد من أنك تتحدث إلى إنسان؟ بدأت أصوات الروبوتات تبدو واقعية بشكل مخيف" . كوارتز . تم الاطلاع عليه بتاريخ 6 يوليو 2017 .
  14. ↑ كولدوي، ديفين (9 سبتمبر 2016). "تستخدم شبكة WaveNet من جوجل الشبكات العصبية لتوليد كلام وموسيقى مقنعة بشكل غريب" . TechCrunch . تم الاطلاع عليه بتاريخ 6 يوليو 2017 .
  15. ^ فان دن أورد ، آرون. ديليمان، ساندر؛ زين ، هيجا (2016/09/08). "WaveNet: نموذج توليدي للصوت الخام" . ديب مايند . تم الاسترجاع 2017/07/06 .
  16. ^ لي ، ينجزين. ماندت ، ستيفان (2018). “جهاز التشفير التلقائي المتسلسل المنفصل”. أرخايف : 1803.02991 [ cs.LG ].
  17. ↑ تشوروفسكي، يان؛ فايس، رون جيه؛ بينجيو، سامي؛ فان دين أورد، آرون (2019). "التعلم غير الخاضع للإشراف لتمثيل الكلام باستخدام مشفرات WaveNet التلقائية". معاملات IEEE/ACM في معالجة الصوت والكلام واللغة . 27 (12): 2041-2053 . arXiv : 1901.08810 . Bibcode : 2019ITASL..27.2041C . doi : 10.1109/TASLP.2019.2938863 .
  18. ^ تشن ، يوتيان. عسيل، يانيس؛ شيلينجفورد، بريندان. بودن، ديفيد؛ ريد، سكوت؛ زين، هيجا؛ وانغ، تشيوان. كوبو، لويس C.؛ تراسك، أندرو؛ لوري بن. جولشير، كاجلار؛ آرون فان دن أورد؛ فينيالس، أوريول. ناندو دي فريتاس (2018). “عينة من النص التكيفي الفعال إلى كلام”. أرخايف : 1809.10460 [ cs.LG ].
  19. ↑ برنامج Adobe Voco "فوتوشوب للصوت" يثير القلق ، 7 نوفمبر 2016، بي بي سي
  20. ↑ "برنامج Adobe Voco 'فوتوشوب للصوت' يثير القلق" . بي بي سي نيوز . 7 نوفمبر 2016. تاريخ الاطلاع: 6 يوليو 2017 .
  21. ↑ يتم إطلاق WaveNet في مساعد جوجل
  22. ^ آرون فان دن أورد. لي، يازهي؛ بابوشكين، إيغور؛ سيمونيان، كارين؛ فينيالس، أوريول. كافوكوجلو، كوراي؛ جورج فان دن دريش؛ لوكهارت، إدوارد. كوبو، لويس C.؛ ستيمبرج، فلوريان. كاساغراندي، نورمان؛ غريوي، دومينيك. نوري، سيب؛ ديليمان، ساندر؛ إلسن، إريك؛ كالشبرينر، نال؛ زين، هيجا؛ جريفز، اليكس. كينغ، هيلين؛ والترز، توم. بيلوف، دان. هاسابيس، ديميس (2017). “WaveNet الموازي: تركيب الكلام السريع عالي الدقة”. أرخايف : 1711.10433 [ cs.LG ].
  23. ↑ مارتن، تايلور (9 مايو 2018). "جرّب أصوات مساعد جوجل الجديدة كليًا الآن" . سي نت . تم الاطلاع عليه في 10 مايو 2018 .