إطار التميز البحثي

إطار التميز البحثي ( REF ) هو أداة لتقييم أثر البحوث في مؤسسات التعليم العالي البريطانية . وهو امتداد لعملية تقييم البحوث ، وقد استُخدم لأول مرة عام 2014 لتقييم الفترة من 2008 إلى 2013. [ 1 ] [ 2 ] تُجري عملية تقييم التميز البحثي أربع هيئات تمويل للتعليم العالي في المملكة المتحدة، وهي: هيئة البحوث في إنجلترا ، ومجلس التمويل الاسكتلندي (SFC)، وهيئة Medr (التي سبقتها هيئة تمويل التعليم العالي في ويلز (HEFCW))، ووزارة الاقتصاد في أيرلندا الشمالية (DfE).

تتمثل أهدافها المعلنة فيما يلي:

  • تحديد كيفية تخصيص تمويل البحوث المخصصة لمؤسسات التعليم العالي بناءً على جودة البحث؛
  • توفير المساءلة عن الاستثمار العام في البحث العلمي وتقديم أدلة على فوائد هذا الاستثمار؛ و
  • [ 3 ] تقديم رؤى حول صحة البحث في مؤسسات التعليم العالي في المملكة المتحدة.

ولدعم هذه الأهداف، سلطت الأبحاث الضوء بشكل متزايد على الحاجة إلى مناهج قائمة على الأدلة لقياس أثر البحث. فعلى سبيل المثال، أكد جنسن وآخرون (2021) على ضرورة أن تتضمن تقييمات أثر البحث عالية الجودة أساليب قائمة على الأدلة لضمان تحقيق فوائد مجتمعية. [ 4 ]

يجادل النقاد، من بين أمور أخرى، بأن هناك تركيزًا مفرطًا على تأثير البحث خارج النظام الجامعي، وأن هذا التأثير لا يرتبط فعليًا بجودة البحث. ويُقترح أن نظام تقييم الأبحاث (REF) يشجع في الواقع على الرداءة في الأبحاث المنشورة، ويثبط الأبحاث التي قد تكون ذات قيمة على المدى الطويل. وتشير دراسة ريد وآخرون (2024) إلى أن إعادة صياغة مفهوم المشاركة في البحث من منظور ما بعد أصحاب المصلحة قد تعالج بعض هذه الانتقادات، من خلال التأكيد على أهمية الصوت والسياق والسلطة في عملية التأثير. [ 5 ] وقد جادل الكثيرون مرارًا وتكرارًا بأن نظام تقييم الأبحاث (REF) يُلحق ضررًا أكبر من نفعه بالتعليم العالي. [ 6 ]

أُجري آخر تقييم للأبحاث (REF) في عام 2021، ونُشرت نتائجه في مايو 2022، مُواصلاً بذلك نموذج التقييم السابق الذي يركز على مخرجات البحث، وتأثيره، وبيئته. [ 7 ] وقد تأخرت هذه العملية قليلاً بسبب جائحة كوفيد-19 . [ 8 ]

أبرزت الأبحاث الحديثة حول أطر تحليل أصحاب المصلحة ، مثل إطار 3i (المصالح، والتأثير، والأثر) الذي وضعه ريد وآخرون (2025)، أهمية تحديد الجهات الفاعلة ذات الصلة في عمليات صنع القرار لتعظيم أثر البحث في سياقات مثل تقييمات REF. [ 9 ]

في عام 2026 تم الإعلان عن أن التمرين التالي سينتهي في ديسمبر 2029، مع تقديم الطلبات في خريف 2028. [ 10 ]

تاريخ

في يونيو 2007، أصدر مجلس تمويل التعليم العالي في إنجلترا (HEFCE) رسالة دورية أعلن فيها عن استبدال إطار عمل جديد لتقييم جودة البحث في جامعات المملكة المتحدة بإطار عمل تقييم البحث (RAE)، وذلك عقب تقييم البحث لعام 2008. [ 11 ] ويشير الاقتباس التالي من الرسالة إلى بعض الدوافع الأصلية:

ستكون أهدافنا الرئيسية للإطار الجديد هي:

  • إنتاج مؤشرات قوية على مستوى المملكة المتحدة للتميز البحثي في ​​جميع التخصصات، والتي يمكن استخدامها لتقييم الجودة وفقًا للمعايير الدولية، ولتوجيه تمويل المجلس للبحوث.
  • توفير أساس لتوزيع التمويل بالرجوع أساسًا إلى التميز البحثي، وتمويل البحوث المتميزة بجميع أشكالها أينما وجدت
  • لتقليل العبء الإداري على المؤسسات بشكل كبير مقارنة بـ RAE
  • لتجنب خلق أي حوافز سلوكية غير مرغوب فيها
  • لتعزيز المساواة والتنوع
  • لتوفير إطار عمل مستقر لدعمنا المستمر لقاعدة بحثية رائدة عالميًا في مجال التعليم العالي.

كما حددت الرسالة جدولًا زمنيًا لتطوير إطار التميز البحثي (REF). وقد أجرت هيئة تمويل التعليم العالي في إنجلترا (HEFCE) مشاورات خلال الفترة من سبتمبر إلى ديسمبر 2009، حيث طلبت ردودًا من الجهات المعنية على المقترحات. [ 12 ] وتشمل هذه الردود، على سبيل المثال، ردًا من هيئة جامعات المملكة المتحدة ، [ 13 ] وردًا من اتحاد الجامعات والكليات . [ 14 ]

في يوليو 2010 (بعد الانتخابات العامة التي جرت في مايو 2010 )، أعلن وزير الجامعات والعلوم ديفيد ويلتس أنه سيتم تأجيل إطار التميز البحثي لمدة عام لتقييم فعالية مقياس الأثر. [ 15 ]

في يوليو 2016، نُشر تقرير اللورد نيكولاس ستيرن ، الذي وضع فيه المبادئ التوجيهية العامة لتقييم الأبحاث الجامعية (REF) لعام 2021. [ 16 ] وبشكل عام، أيّد التقرير المنهجية المستخدمة في عام 2014 لتقييم أبحاث الجامعات، إلا أنه شدّد على ضرورة زيادة التفاعل مع الجمهور العام، ورفع عدد دراسات الحالة التي تتبنى منهجًا متعدد التخصصات . [ 16 ] ويقوم فريق Research-impact.org في كلية إدارة الأعمال والاقتصاد بجامعة لوبورو بتجربة التمويل الجماعي للأبحاث بهدف تعزيز مشاركة باحثي الجامعة مع الجمهور. [ 17 ]

أثر البحث

يُعرَّف تأثير REF بأنه "تأثير أو تغيير أو فائدة للاقتصاد أو المجتمع أو الثقافة أو السياسة العامة أو الخدمات أو الصحة أو البيئة أو جودة الحياة، خارج نطاق الأوساط الأكاديمية". [ 18 ]

أكدت الدراسات الحديثة على أهمية استخدام المناهج القائمة على الأدلة لتقييم أثر البحوث لضمان تحقيقها فوائد مجتمعية ملموسة. وقد اقترح جنسن وريد وجيربر (2021) إطار عمل يدمج بين البحث العلمي والتطبيق العملي لتحسين ترجمة البحوث إلى نتائج واقعية. [ 19 ]

علاوة على ذلك، يلعب إشراك أصحاب المصلحة دورًا حاسمًا في تعزيز أثر البحث. يقدم إطار عمل 3i (المصالح، والتأثير، والأثر) الذي وضعه ريد، وجينسن، ونولز (2025) منهجًا منظمًا لتحديد أصحاب المصلحة وترتيب أولوياتهم في عمليات صنع القرار، مما يزيد من فعالية تطبيقات البحث خارج الأوساط الأكاديمية. [ 20 ]

يُعدّ إدراج مبادئ البحث والابتكار المسؤول اجتماعياً جانباً أساسياً آخر لضمان امتداد فوائد البحث لتشمل احتياجات مجتمعية أوسع. وقد سلّط جنسن (2023) الضوء على دور أطر البحث والابتكار المسؤول اجتماعياً في مواءمة أهداف البحث مع توصية اليونسكو بشأن العلوم والباحثين العلميين لتعزيز التنمية المستدامة والشمولية. [ 21 ]

بالإضافة إلى ذلك، اقترح ريد وميركل وكوك (2024) منظورًا نقديًا لممارسات المشاركة، حيث يجادلون بأن تجاوز نموذج أصحاب المصلحة التقليدي يسمح بتوزيع أكثر عدالة لفوائد البحث، ومعالجة الاختلالات النظامية، وتضخيم أصوات الفئات المهمشة. [ 22 ]

تُظهر هذه المناهج المتنوعة الفهم المتطور لتأثير البحث وتؤكد على أهمية الأساليب القوية والمتعددة التخصصات لزيادة نطاقها وفعاليتها إلى أقصى حد.

معايير التقييم

يتم تقييم الطلبات وفقًا للمعايير التالية: [ 23 ]

  • أربع نجوم: جودة رائدة عالمياً في الأصالة والأهمية والدقة.
  • ثلاث نجوم: جودة ممتازة دوليًا من حيث الأصالة والأهمية والدقة، ولكنها لا ترقى إلى أعلى معايير التميز.
  • نجمتان: جودة معترف بها دولياً من حيث الأصالة والأهمية والدقة.
  • نجمة واحدة: جودة معترف بها على الصعيد الوطني من حيث الأصالة والأهمية والدقة.
  • جودة غير مصنفة: أي عمل يقل عن مستوى العمل المعترف به وطنياً. أو عمل لا يفي بالتعريف المنشور للبحث لأغراض هذا التقييم.

تصنيفات الأداء

أصدرت داري نشر، هما تايمز للتعليم العالي [ 24 ] (THE) وأخبار البحث المهني [ 25 ] (RPN؛ المستخدمة من قبل صحيفة الغارديان وصحف أخرى) [ 26 ] [ 27 ] ، تصنيفات شاملة لنتائج المؤسسات في إطار تقييم الأبحاث (REF) لعام 2021، استنادًا إلى قوة البحث وحصته السوقية وجودته (المعدل التراكمي). يُحسب المعدل التراكمي المؤسسي لتايمز للتعليم العالي كمتوسط ​​للمعدل التراكمي لكل مؤسسة عبر وحدات التقييم، مُرجّحًا بعدد الموظفين بدوام كامل المُقدّمين لكل وحدة تقييم. أما مقياس "قوة البحث" فهو حاصل ضرب المعدل التراكمي المؤسسي في عدد الموظفين بدوام كامل المُقدّمين من المؤسسة. بينما يستخدم مقياس "حصة السوق" الترجيح المُستخدم لحساب المنح المجمعة من الملفات التعريفية للمؤسسات، حيث تُعطى الدرجات 4* ترجيحًا قدره أربعة، والدرجات 3* ترجيحًا قدره واحد، والدرجات 2* وما دونها ترجيحًا قدره صفر. [ 28 ]

تصنيفالجودة (المعدل التراكمي)قوة البحثالحصة السوقيةتصنيف الطاقة RPN
1إمبريال كوليدج لندنجامعة أكسفوردجامعة أكسفوردجامعة أكسفورد
2معهد أبحاث السرطانجامعة لندنجامعة لندنجامعة لندن
3= جامعة كامبريدج = كلية لندن للاقتصادجامعة كامبريدججامعة كامبريدججامعة كامبريدج
4جامعة إدنبرةجامعة إدنبرةجامعة إدنبرة
5جامعة بريستولجامعة مانشسترجامعة مانشسترجامعة مانشستر
6جامعة لندنكلية كينجز لندنكلية كينجز لندنكلية كينجز لندن
7جامعة أكسفوردجامعة نوتنغهامإمبريال كوليدج لندنإمبريال كوليدج لندن
8جامعة مانشسترجامعة ليدزجامعة بريستولجامعة بريستول
9كلية كينجز لندنإمبريال كوليدج لندنجامعة نوتنغهامجامعة نوتنغهام
10= جامعة يورك = كلية لندن للصحة والطب الاستوائيجامعة بريستولجامعة ليدزجامعة ليدز

الجدل والانتقادات

كان أحد مصادر الانتقادات الرئيسية عنصر "أثر" البحث في إطار تقييم الأبحاث (REF). وتثير المقالات التالية اعتراضين. أولهما أن تعريف "الأثر" هنا يعني الأثر خارج الأوساط الأكاديمية. فلو طُلب من الباحثين السعي وراء هذا النوع من الأثر، لكان ذلك سيقوض الحرية الأكاديمية . أما الاعتراض الثاني، فهو أن الأثر -بمفهومه الحالي- يصعب قياسه بأي طريقة تُعتبر عادلة ونزيهة. [ 29 ] [ 30 ] [ 31 ]

يُجادل مجلس تمويل التعليم العالي في إنجلترا بأن مقياس "الأثر" لديه واسع النطاق، ويشمل التأثير على "الاقتصاد والمجتمع والسياسة العامة والثقافة وجودة الحياة". [ 29 ] ومع ذلك، فإن هيكل التقييم يُضيّق نطاق الأثر الذي يُمكن إثباته عمليًا (أربع صفحات كحد أقصى، ولا يوجد قسم للمنهجية، وعشرة مراجع للأثر، وعشرة مراجع بحثية، وصفحة واحدة فقط لتلخيص البحث والأثر). هذه الإرشادات الصارمة، إلى جانب مفهوم إطار التميز البحثي القديم لكيفية عمل أثر البحث (استبعاد أثر البحث في التدريس، والنموذج الخطي، إلخ)، تُقيّد نطاق الأثر الأنسب للتقييم عمليًا.

من بين الانتقادات الأخرى التي ورثها إطار تقييم الأبحاث (REF) من هيكل تقييم الأبحاث (RAE)، أن معظم أعضاء هيئة التدريس بدوام كامل يكتفون عادةً بتقديم أربعة "مخرجات بحثية" منشورة. ولا يُعترف بالفرق بين الكتاب والمقال من حيث القيمة البحثية. لذا، يُثبط نظام REF المشاريع طويلة الأمد الساعية إلى التميز. وتتجلى هذه المشكلة بوضوح في العلوم الإنسانية، حيث لا تُنشر معظم الأبحاث الرائدة تقليديًا في مقالات. وبالتالي، يُدفع العديد من الباحثين نحو نشاط متوسط ​​نسبيًا، يسمح لهم بإنتاج كتاب أو كتابين خلال فترة التقييم، وليس ذلك النوع من الدراسات المتخصصة التي تتطلب عادةً أربع أو خمس سنوات من البحث والكتابة. ويقارن منشورٌ لمعهد سياسات التعليم العالي بين "الأكاديميين ذوي الخبرة"، الذين يُنتج عملهم المُركّز والتراكمي مساهمات متخصصة ذات انتشار محدود، و"الأكاديميين المؤثرين"، الذين يستمدون نفوذهم من النطاق والانتشار والقيادة المؤثرة في تشكيل المؤسسة ووضع الأجندة. يشير المنشور إلى أن حوافز إطار تقييم الأبحاث (REF) تميل إلى تفضيل الشكل الأخير، في حين أن إصلاحات إطار تقييم الأبحاث لعام 2029 توفر فرصة للاعتراف بشكل أفضل بكلا شكلي القيادة الأكاديمية والمؤسسية المستدامة. [ 32 ]

علاوة على ذلك، فإن نظام النشر لأربعة أبحاث فقط يُثبط المشاريع طويلة الأجل ذات المخاطر البحثية العالية نسبيًا في العلوم أيضًا، إذ يتردد الباحثون في الانخراط في مشاريع أو تجارب قد لا تُكلل بالنجاح ولا تُفضي إلى نشر. ولأن معظم الأبحاث الرائدة في العلوم تُجرى من خلال مشاريع جريئة ومبتكرة كهذه، فإن نوع النشاط البحثي الذي يشجعه هيكل إطار التميز البحثي (REF) يُعدّ متحفظًا للغاية. كذلك، فيما يتعلق بتأثير البحث المُقيّم، فليس من غير المألوف في تاريخ العلوم والإنسانيات أن يستغرق الأمر بعض الوقت قبل أن يظهر الأثر الكامل للاكتشاف. أما النظام الحالي، فلا تتجاوز مدته أربع أو خمس سنوات.

كشفت صحيفة تايمز للتعليم العالي أيضًا أن بعض الجامعات بدت وكأنها تتلاعب بنظام تقييم الأبحاث (REF). وشمل ذلك "استقطاب الباحثين"، حيث يتم استقطاب أعضاء هيئة التدريس ذوي السجلات البحثية المتميزة من جامعاتهم مباشرةً قبل التقييم، مما يمنح الجامعة المستقطبة كامل الفضل في منشوراتهم دون تحمل مخاطر دعم الباحث. كما شمل ذلك توظيف أعداد كبيرة من الموظفين بعقود عمل جزئية (0.2 FTE) ، وهو أدنى مستوى وظيفي يؤهلهم لتقديم طلبات التقييم. [ 33 ]

إضافة إلى هذه المخاوف بشأن ما يمكن قياسه فعلاً من خلال أربعة عناصر من مخرجات البحث، وكيفية قياس الأثر، غالباً ما يُنتقد النظام برمته باعتباره معقداً ومكلفاً بلا داعٍ، في حين أن تقييم الجودة في العصر الرقمي يمكن أن يكون أبسط وأكثر فعالية. [ 34 ]

كما تعرض النظام، وما يرتبط به من تداعيات مالية، لانتقادات بسبب تحويله للموارد من التدريس. ولذلك، فإن زيادة الرسوم الدراسية قد لا تؤدي في كثير من الأحيان إلى زيادة الوقت المخصص للتدريس من قبل أعضاء هيئة التدريس.

في يوليو 2016، نُشر تقرير اللورد نيكولاس ستيرن ، الذي وضع فيه المبادئ التوجيهية العامة لتقييم الأبحاث القادم في عام 2021. [ 35 ] ومن بين التوصيات زيادة مشاركة الجمهور في الأبحاث. وتعني مشاركة الجمهور في الأبحاث تعزيز إيصال فوائدها، وزيادة وعي الجمهور بنتائجها وتداعياتها. ومن آليات مشاركة الجمهور التمويل الجماعي للأبحاث، حيث تستضيف منصات متخصصة حملات تمويل جماعي لأبحاث الجامعات في مختلف المجالات. ويتميز التمويل الجماعي للأبحاث بميزتين: أولاً، أنه مصدر تمويل مضمون بنسبة عالية نسبياً، تصل إلى حوالي 50%، وثانياً، أنه أداة فعالة للغاية للتواصل مع عامة الجمهور. [ 17 ]

إحدى المشكلات التي لم يتناولها تقرير ستيرن فيما يتعلق بتقييم أثر البحث، هي أن هيكل نموذج تصميم دراسة الحالة، الذي يُقيّم الأثر بناءً عليه، لا يتضمن قسمًا خاصًا بالمنهجية، مما يجعل تقييم نوع الأثر المزعوم مجرد لعبة كلامية حول من يستطيع ادعاء أكبر قدر من الأثر (انظر براور، 2018). [ 36 ] وبالتالي، يُشجع هيكل التقييم على تقديم ادعاءات مبالغ فيها. تكمن المشكلة في أن الأحكام النوعية لأهمية الأثر ونطاقه (دون شرح المنهجية المستخدمة) تُرسخ القيم المعاصرة في التقييم، على هذا النحو. «[...] سواء أسميناه بناءً اجتماعيًا، أو تعلمًا متبادلًا، أو ممارسة اجتماعية، فإن جوهر الأمر يكمن في أننا لا نستطيع فصل خصائص التأثير عن العملية المفروضة على القيمة والاعتراف بها على هذا النحو. » (ديريك، 2018: 160) [ 37 ]. عند مراجعة مراجع الادعاءات الحالية، تبيّن أنها إما غير متاحة (مثلًا، تم إغلاق المواقع الإلكترونية ذات الصلة)، أو أنها مُشار إليها بطريقة لا تعكس تأليف الباحث نفسه أو شهادات الأفراد المرتبطين به (براور، 2018: 142-147). وبالمثل، ينتقد ساير (2014) [ 38 ] مراجعة الأقران الشاملة لعملية تقييم الأبحاث (REF)، واصفًا إياها بأنها محاكاة ضعيفة للجودة الأكاديمية المعيارية، وأن عملية التقييم تزداد تعقيدًا بسبب عبء العمل الهائل للتقييم (ص  35). في سياق مماثل، وجدت دراسة أجرتها مؤسسة راند أن غالبية المراجع لم يتم الرجوع إليها مطلقًا، وأن بعض لجان التقييم لم تُشجع على استخدام الإنترنت، وأن هيكل المساعدة المرجعية في إطار تقييم الأبحاث (REF) استغرق أحيانًا أسبوعين لإنتاج المراجع ذات الصلة. [ 39 ] وبالتالي، فإن التركيز على الأثر الخارجي يُوجه التقييم نحو التركيز على القيم الخارجية. [ 40 ]

في عام 2018، قيل إن تقييم الأبحاث له آثار سلبية على العلوم الإنسانية. [ 41 ]

إطار التميز البحثي كمصدر إلهام للتقييمات في جميع أنحاء أوروبا

على الرغم من الانتقادات الموجهة إليه، فقد ألهم نظام تقييم أثر البحوث في المملكة المتحدة - الذي يقيم جودة مخرجات البحوث وأثرها وبيئتها - تصميمات تقييمات التميز البحثي و/أو أنظمة تمويل البحوث القائمة على الأداء في دول أوروبية أخرى، بما في ذلك إيطاليا والنرويج والبرتغال وسلوفاكيا. [ 42 ]

انظر أيضاً

مراجع

  1. "النتائج والطلبات المقدمة  : REF 2014" . تم الاطلاع عليه بتاريخ 22 ديسمبر 2014 .
  2. أتكينسون، بيتر م. (11 ديسمبر 2014). "تقييم التكلفة الحقيقية لتقييم البحوث" . رؤية عالمية. مجلة نيتشر (ورقة بحثية). 516 (7530): 145. Bibcode : 2014Natur.516..145A . doi : 10.1038/516145a . PMID 25503199 . 
  3. "قرارات مبكرة بشأن تقييم الأبحاث لعام 2028" . www.ukri.org . 15 يونيو 2023. تاريخ الاطلاع: 20 يونيو 2023 .
  4. جنسن، إريك أ.؛ ريد، مارك س.؛ جيربر، ألكسندر (2021). "ممارسة تأثير البحث القائم على الأدلة: دمج البحث العلمي والتطبيق العملي لضمان استفادة المجتمع من البحث" . مجلة البحوث المفتوحة في أوروبا . 1 : 137. doi : 10.12688/openreseurope.14205.2 . PMC 10884597. PMID 38406384 .  
  5. ريد، مارك س.؛ ميركل، بيثان غارامون؛ كوك، إليزابيث ج.؛ وآخرون . (2024). "إعادة تصور لغة المشاركة في عالم ما بعد أصحاب المصلحة". مجلة علوم الاستدامة . 19 (4): 1481-1490 . doi : 10.1007/s11625-024-01496-4 . hdl : 10261/395861 . 
  6. بيشوب، دوروثي (2016-03-03). "وضوح الهدف في إطار التميز التعليمي (TEF) وإطار التميز البحثي (REF)" . تايمز للتعليم العالي (THE) . تم الاطلاع عليه بتاريخ 2022-08-05 .
  7. إنجلترا، مجلس التمويل العالي. "2017 : هيئات التمويل تؤكد شكل إطار عمل REF 2021 - REF 2021" . www.ref.ac.uk. تاريخ الاسترجاع: 29 يونيو 2018 . 
  8. "تحديث إضافي حول فيروس كورونا (كوفيد-19) وجدول مواعيد REF - REF 2021" .
  9. ريد، مارك س.؛ جنسن، إريك أ.؛ نولز، س.؛ وآخرون . (2025). "تحليل الجهات المعنية بالمشاركة في عمليات صنع القرار البيئي من خلال المصالح والتأثير والأثر: إطار عمل 3i" . مجلة الإدارة البيئية . 373. doi : 10.1016/j.jenvman.2024.123437 . PMID 39642833 .  
  10. "الجدول الزمني (المرجع 2029)" . 2029.ref.ac.uk. 2026. تم الاطلاع عليه بتاريخ 17-03-2026 .{{cite web}}: CS1 maint: url-status ( link )
  11. إيستوود، ديفيد (6 مارس 2007). "إطار عمل مستقبلي لتقييم البحوث وتمويلها" . مجلس تمويل التعليم العالي في إنجلترا . رسالة دورية رقم 06/2007. مؤرشفة من الأصل في 2 فبراير 2010.
  12. "إطار التميز البحثي: المشاورة الثانية حول تقييم وتمويل البحوث" . مجلس تمويل التعليم العالي في إنجلترا . سبتمبر 2009. 2009/38 . تم الاطلاع عليه بتاريخ 10 يناير 2015 .
  13. "ردّ جامعات المملكة المتحدة على استشارة مجلس تمويل التعليم العالي في إنجلترا بشأن إطار التميز البحثي (REF)" . جامعات المملكة المتحدة . 13 ديسمبر 2009. مؤرشف من الأصل ( .doc ) في 16 يوليو 2011.
  14. "الرد على إطار التميز البحثي: المشاورة الثانية بشأن تقييم وتمويل البحوث" (ملف PDF) . اتحاد الجامعات والكليات . ديسمبر 2009.
  15. بيكر، سيمون (8 يوليو 2010). "تأجيل تقييم الأبحاث بينما ينتظر ويلتس "إجماعًا" حول التأثير"" . تايمز للتعليم العالي
  16. 1 2 ستيرن، اللورد نيكولاس؛ وآخرون . (يوليو 2016). "البناء على النجاح والتعلم من التجربة" (ملف PDF) . gov.uk. حكومة المملكة المتحدة . تم الاطلاع عليه في 3 يناير 2017 . 
  17. 1 2 روبين، تساميريت (2017). "هل من الممكن حشد الجمهور لتمويل البحوث، أليس هذا دور الحكومة؟" . AESIS . تاريخ الاسترجاع: 23 ديسمبر 2016 .
  18. ماكليلان، تيموثي (25 أغسطس/آب 2020). "الأثر، ونظرية التغيير، وآفاق الممارسة العلمية" . دراسات اجتماعية في العلوم . 51 (1 ) : 100-120 . doi : 10.1177/0306312720950830 . hdl : 1885/733766327 . ISSN 0306-3127 . PMID 32842910. S2CID 221326151 .   
  19. جنسن، إريك أ.؛ ريد، مارك س.؛ جيربر، ألكسندر (2021). "ممارسة تأثير البحث القائم على الأدلة: دمج البحث العلمي والتطبيق العملي لضمان استفادة المجتمع من البحث" . مجلة البحوث المفتوحة في أوروبا . 1 : 137. doi : 10.12688/openreseurope.14205.2 . PMC 10884597. PMID 38406384 .  
  20. ريد، مارك س.؛ جنسن، إريك أ.؛ نولز، س. (2025). "تحليل الجهات المعنية بالمشاركة في عمليات صنع القرار البيئي من خلال المصالح والتأثير والأثر: إطار عمل 3i" . مجلة الإدارة البيئية . 373. doi : 10.1016/j.jenvman.2024.123437 . PMID 39642833 . 
  21. جنسن، إريك أ. (2023). "إطار المؤشرات العالمية للبحث والابتكار المسؤولين اجتماعياً: مواءمة المعايير لرصد وجهات نظر الجمهور والباحثين مع توصية اليونسكو بشأن العلوم والباحثين العلميين" . Open Research Europe . 2 : 36. doi : 10.12688/openreseurope.14232.2 . PMC 10446147. PMID 37645290 .  
  22. ريد، مارك س.؛ ميركل، بيثان غارامون؛ كوك، إليزابيث ج. (2024). "إعادة تصور لغة المشاركة في عالم ما بعد أصحاب المصلحة". مجلة علوم الاستدامة . 19 (4): 1481-1490 . doi : 10.1007/s11625-024-01496-4 . hdl : 10261/395861 .
  23. "إطار التقييم وإرشادات التقديم" (ملف PDF) . إطار التميز البحثي. يوليو 2011. ص 43. المرجع 02.2011. مؤرشف من الأصل (ملف PDF) بتاريخ 4 سبتمبر 2017. تاريخ الاطلاع 20 أغسطس 2013 . 
  24. "جدول التقييم الرئيسي عبر الإنترنت لعام 2021" . تايمز للتعليم العالي . 12 مايو 2022.
  25. "REF 2021: أفضل 10" . أخبار الباحثين المحترفين . 12 مايو 2022.
  26. «أكسفورد وجامعة لندن مرشحتان للفوز بحصة الأسد من المنح في تدقيق البحوث في المملكة المتحدة» . صحيفة الغارديان . ١٢ مايو ٢٠٢٢.
  27. "جامعات شمال شرق إنجلترا تُوصف بأنها "مراكز قوة" تضم أقوى فريق من الباحثين خارج لندن" . 12 مايو 2022.
  28. "REF 2021: منهجية جدول تايمز للتعليم العالي" . تايمز للتعليم العالي . 12 مايو 2022.
  29. 1 2 شيبارد، جيسيكا (13 أكتوبر 2009). "البحث في العلوم الإنسانية مهدد بمطالب "التأثير الاقتصادي"" . التعليم. صحيفة الغارديان . لندن.
  30. أوزوالد، أندرو (26 نوفمبر 2009). "يجب على الحكم أن يبقى خارج اللعبة" . صحيفة الإندبندنت . لندن.
  31. ^ فرنانديز أرميستو، فيليبي (3 ديسمبر 2009). "التأثير السام" . تايمز للتعليم العالي .
  32. "لاعب الكاراتيه ضد مصارع السومو: ماذا يعني تقييم الأبحاث لعام 2029 بالنسبة للقيادة البحثية في الجامعات البريطانية؟" معهد سياسات التعليم العالي. 15 يناير 2026.
  33. جامب، بول (26 سبتمبر 2013). "ارتفاع العقود بنسبة 20% قبيل التقييم البحثي" . تايمز للتعليم العالي .
  34. دانليفي، باتريك (10 يونيو 2011). "إطار التميز البحثي معقد ومكلف. مقابل جزء بسيط من التكلفة، يمكن لإجراء تعداد رقمي للبحوث الأكاديمية أن يوفر معلومات لا مثيل لها وحقيقية حول أداء البحوث في الجامعات البريطانية" . تأثير العلوم الاجتماعية . كلية لندن للاقتصاد .
  35. ستيرن، ل. (2016). البناء على النجاح والتعلم من التجربة: مراجعة مستقلة لإطار التميز البحثي.
  36. براور، ر. (2018): ما هو أثر البحث؟ السياحة والنظام البيئي البحثي المتغير في المملكة المتحدة. جيلدفورد: جامعة سري (أطروحة دكتوراه). متاح على الرابط: http://epubs.surrey.ac.uk/id/eprint/846043
  37. ديريك، ج. (2018). عين المُقيّمين: تقييم الأثر ومراجعة الأقران الأكاديمية. برلين: سبرينغر.
  38. ساير، د. (2014). نفاق الرتب: إهانة المرجع. سيج.
  39. "تقييم عملية تقديم الطلبات لعنصر التأثير في إطار تقييم الأبحاث" (REF) . www.rand.org . تاريخ الاسترجاع: 3 مايو 2019 .
  40. "قياس الأثر المجتمعي وقيمة البحث" . www.rand.org . تم الاطلاع عليه بتاريخ 3 مايو 2019 .
  41. فريق عمل مجلة Study International (7 ديسمبر 2018). "احذروا تصنيف 'إطار التميز البحثي' في العلوم الإنسانية" . أخبار SI . تم الاطلاع عليه في 19 سبتمبر 2019 .
  42. سيفرتسن، غونار (15 أغسطس/آب 2017). "فريد، ولكنه لا يزال أفضل الممارسات؟ إطار التميز البحثي (REF) من منظور دولي" . مجلة بالغراف للاتصالات . 3 (1): 1-6 . doi : 10.1057/palcomms.2017.78 . hdl : 11250/2456576 . ISSN 2055-1045 .