التدقيق الحاسوبي

تتعامل معالجة الصوت الحاسوبية مع الإشارات الصوتية التي يمكن تمثيلها بطرق متنوعة، بدءًا من التشفير المباشر للصوت الرقمي في قناتين أو أكثر، وصولًا إلى تعليمات التوليف المُمثلة رمزيًا. عادةً ما تُمثل الإشارات الصوتية بتسجيلات تناظرية أو رقمية . التسجيلات الرقمية هي عينات من شكل الموجة الصوتية أو معلمات خوارزميات ضغط الصوت . من الخصائص الفريدة للإشارات الموسيقية أنها غالبًا ما تجمع بين أنواع مختلفة من التمثيلات، مثل النوتات الموسيقية الرسومية وتسلسلات حركات الأداء المُشفرة كملفات MIDI .

بما أن الإشارات الصوتية عادةً ما تتألف من مصادر صوتية متعددة، فإنه على عكس إشارات الكلام التي يمكن وصفها بكفاءة باستخدام نماذج محددة (مثل نموذج المصدر والمرشح)، يصعب ابتكار تمثيل بارامتري للصوت بشكل عام. تستخدم التمثيلات الصوتية البارامترية عادةً بنوك مرشحات أو نماذج جيبية لالتقاط معلمات صوتية متعددة، وقد يزيد حجم التمثيل أحيانًا لالتقاط البنية الداخلية للإشارة. ومن أنواع البيانات الإضافية ذات الصلة بالاستماع الحاسوبي، الأوصاف النصية للمحتويات الصوتية، مثل التعليقات والمراجعات والمعلومات المرئية في حالة التسجيلات السمعية البصرية.

يتطلب وصف محتويات الإشارات الصوتية العامة عادةً استخلاص خصائص تُجسد جوانب محددة من الإشارة الصوتية. وبشكل عام، يمكن تقسيم هذه الخصائص إلى مُعاملات وصفية للإشارة أو مُعاملات رياضية مثل الطاقة، ووصف الشكل الطيفي، وما إلى ذلك؛ وخصائص إحصائية مثل اكتشاف التغيير أو الجديد؛ وتمثيلات خاصة تتلاءم بشكل أفضل مع طبيعة الإشارات الموسيقية أو الجهاز السمعي، مثل النمو اللوغاريتمي للحساسية (عرض النطاق الترددي ) في التردد أو ثبات الأوكتاف (الكروماتا).

بما أن النماذج البارامترية في الصوت تتطلب عادةً العديد من المعلمات، فإن الميزات تُستخدم لتلخيص خصائص المعلمات المتعددة في تمثيل أكثر إيجازًا أو بروزًا.

يُمكن إيجاد بنى موسيقية محددة باستخدام المعرفة الموسيقية، بالإضافة إلى أساليب التعلم الآلي الخاضعة للإشراف وغير الخاضعة له. ومن أمثلة ذلك: الكشف عن النغمية وفقًا لتوزيع الترددات التي تتوافق مع أنماط ظهور النوتات في السلالم الموسيقية، وتوزيع أوقات بدء النوتات للكشف عن بنية الإيقاع، وتوزيع الطاقات في ترددات مختلفة للكشف عن التآلفات الموسيقية، وما إلى ذلك.

يمكن مقارنة الأصوات بمقارنة خصائصها مع أو بدون الرجوع إلى الزمن. في بعض الحالات، يمكن تقييم التشابه العام من خلال تقارب قيم الخصائص بين صوتين. وفي حالات أخرى، عندما يكون للبنية الزمنية أهمية، يلزم تطبيق أساليب مطابقة الزمن الديناميكية لتصحيح اختلاف المقاييس الزمنية للأحداث الصوتية. يُعدّ إيجاد التكرارات والتسلسلات الفرعية المتشابهة للأحداث الصوتية أمرًا بالغ الأهمية لمهام مثل توليف النسيج الصوتي والارتجال الآلي .

بما أن إحدى الخصائص الأساسية للصوت العام هي احتوائه على مصادر صوتية متعددة متزامنة، مثل الآلات الموسيقية المتعددة، أو أحاديث الأشخاص، أو ضوضاء الآلات، أو أصوات الحيوانات، فإن القدرة على تحديد وفصل المصادر الفردية أمر مرغوب فيه للغاية. لسوء الحظ، لا توجد طرق قادرة على حل هذه المشكلة بشكل فعال . تعتمد الطرق الحالية لفصل المصادر أحيانًا على الارتباط بين قنوات الصوت المختلفة في التسجيلات متعددة القنوات . تتطلب القدرة على فصل المصادر من الإشارات الاستريو تقنيات مختلفة عن تلك المستخدمة عادةً في الاتصالات حيث تتوفر مستشعرات متعددة. تعتمد طرق أخرى لفصل المصادر على تدريب أو تجميع الميزات في التسجيلات أحادية الصوت، مثل تتبع النغمات الجزئية المتوافقة للكشف عن درجات صوتية متعددة. تعتمد بعض الطرق، قبل التعرف الصريح، على كشف البنى في البيانات دون معرفة هذه البنى (مثل التعرف على الأشياء في الصور المجردة دون إسناد تسميات ذات معنى لها) من خلال إيجاد أبسط تمثيلات البيانات، على سبيل المثال وصف المشاهد الصوتية على أنها ناتجة عن أنماط نغمية قليلة ومساراتها (أصوات متعددة الأصوات) والخطوط الصوتية التي ترسمها نغمة (أوتار). ^{[ 9 ]}

لا يُعدّ الاستماع إلى الموسيقى والأصوات عمومًا نشاطًا مُوجّهًا نحو مهمة مُحدّدة. يستمتع الناس بالموسيقى لأسبابٍ مُتنوّعة غير مفهومة تمامًا، يُشار إليها عادةً بالتأثير العاطفي للموسيقى الناتج عن خلق توقعاتٍ وتحقيقها أو عدم تحقيقها. تُولي الحيوانات اهتمامًا لعلامات الخطر في الأصوات، والتي قد تكون مُحدّدة أو عامة، وتُشير إلى تغييراتٍ مُفاجئة وغير مُتوقّعة. عمومًا، يُؤدّي هذا إلى وضعٍ لا يُمكن فيه للتحليل الصوتي الحاسوبي الاعتماد فقط على اكتشاف سماتٍ أو خصائص صوتية مُحدّدة، بل عليه ابتكار أساليب عامة للتكيّف مع البيئة السمعية المُتغيّرة ومراقبة بنيتها. يتكوّن هذا من تحليل هياكل التكرار والتشابه الذاتي الأكبر في الصوت لاكتشاف الابتكار، بالإضافة إلى القدرة على التنبؤ بديناميكيات السمات المحلية.

من بين البيانات المتاحة لوصف الموسيقى، توجد تمثيلات نصية، مثل الملاحظات المرفقة بالألبومات، والمراجعات، والنقد، التي تصف المحتوى الصوتي بالكلمات. وفي حالات أخرى، قد تُسهم ردود الفعل البشرية، كالأحكام العاطفية أو القياسات النفسية والفيزيولوجية، في فهم محتوى الصوت وبنيته. يسعى برنامج "التحليل الصوتي الحاسوبي" إلى إيجاد علاقة بين هذه التمثيلات المختلفة بهدف توفير فهم إضافي للمحتوى الصوتي.