تقييم المرافق
تقييم المنفعة ، [ 1 ] ويُسمى أيضاً قياس المنفعة ، [ 2 ] هو عملية يتم من خلالها تقدير دالة المنفعة للأفراد أو المجموعات. توجد العديد من الطرق المختلفة لتقييم المنفعة. [ 3 ]
تقييم وظائف المنفعة ذات السمة الواحدة
تُعرّف دالة المنفعة أحادية السمة مقدار المال الذي يملكه الشخص (أو يكسبه) برقم يُمثل الرضا الذاتي الذي يحصل عليه منه. وينبع الدافع وراء تعريف دالة المنفعة من مفارقة سانت بطرسبرغ : وهي ملاحظة أن الناس لا يرغبون في دفع مبالغ كبيرة مقابل اليانصيب، حتى لو كان ربحه النقدي المتوقع لا نهائيًا. ويتمثل الحل الكلاسيكي لهذه المفارقة، الذي اقترحه دانيال برنولي وغابرييل كرامر ، في أن معظم الناس لديهم دالة منفعة مقعرة تمامًا ، وأنهم يسعون إلى تعظيم منفعتهم المتوقعة ، بدلًا من ربحهم المتوقع.
أداة تسجيل البيانات الكهربائية
افترض برنولي نفسه أن المنفعة لوغاريتمية ، أي u( x ) = log( x ) حيث x هو المبلغ المالي؛ وكان هذا كافيًا لحل مفارقة سانت بطرسبرغ. كما قدم غوستاف فيشنر [ 4 ] تبريرًا نفسيًا فيزيائيًا للدالة اللوغاريتمية (المعروفة بقانون ويبر-فيشنر ). لكن ستانلي سميث ستيفنز [ 5 ] أظهر أن العلاقة بين المحفز الفيزيائي والإدراك النفسي يمكن تفسيرها بشكل أفضل بواسطة دالة أسية ، أي u( x ) = x^ p ، حيث يتراوح الأس p بين 0.3 و2.
حاول العديد من الباحثين تحديد ما إذا كانت الدوال اللوغاريتمية أم دوال القوة تمثل المنفعة بشكل أفضل. وباستخدام طرق متنوعة، أظهروا أن دوال القوة تتناسب مع بيانات المنفعة بشكل أفضل. [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] ونتيجة لذلك، تم دمج دوال القوة في نظريات اتخاذ القرار النفسي، مثل نظرية الاحتمال التراكمي ، ونموذج الأوزان المضاعفة المتأثرة بالرتبة (RAM)، ونموذج تبادل نقل الانتباه (TAX). ومع ذلك، لا تزال بعض التطبيقات الاقتصادية تستخدم الدوال اللوغاريتمية. [ 11 ]
أشار واكر [ 12 ] إلى أن الدوال الأسية قد يكون لها أس سالب، ولكن في هذه الحالة يجب أن تتغير إشارتها بحيث تظل متزايدة. إحدى طرق تعريف هذه المجموعة المعممة من الدوال هي:
وهي دالة متزايدة لأي أس r ≠ 0. علاوة على ذلك، فإن نهاية هذه الدالة عندما r → 0 هي بالضبط الدالة اللوغاريتمية:لذلك، تُسمى عائلة الدوال u r ( x ) لجميع قيم p الحقيقية أحيانًا بالدالة اللوغاريتمية للقوة . [ 13 ]
إجراءات تقييم المنفعة
عادةً ما يتم تقييم دوال المنفعة في التجارب التي تتحقق من تفضيلات المشاركين فيما يتعلق باليانصيب . وقد تم استخدام نوعين عامين من الإجراءات: [ 1 ]
- في إجراءات التكافؤ ، يُطلب من المشاركين تعديل مبلغ من المال في إحدى اليانصيب ليصبح مكافئًا - في نظرهم - ليانصيب آخر. على سبيل المثال، قد يُطلب من المشاركين النظر في يانصيبين: (أ) الحصول على مبلغ س من المال بشكل مؤكد؛ (ب) الحصول على 20 دولارًا باحتمالية 60% والحصول على 0 دولار باحتمالية 40%. يُسألون: "ما قيمة س التي تجعلك غير مبالٍ بين هذين اليانصيبين؟". ينتج عن كل سؤال من هذا القبيل معادلة على النحو التالي:ويمكن استخدام ذلك لتقييم شكل دالة المنفعة. على سبيل المثال، إذا أجاب الشخص المعني بأن س = 10 دولارات، فسنحصل على المعادلة التالية:وبافتراض استخدام الطاقة، ينتج عن ذلك، مما ينتج عنه.
- في إجراءات الاختيار ، يُعرض على المشاركين اثنان أو أكثر من اليانصيب، ويُسألون عن اليانصيب الذي يفضلونه. على سبيل المثال، قد يُطلب من المشاركين الاختيار بين خيارين: "(أ) الحصول على 10 دولارات بشكل مؤكد؛ (ب) الحصول على 20 دولارًا باحتمالية 60% والحصول على 0 دولار باحتمالية 40%". ينتج عن كل سؤال من هذا القبيل متباينة على النحو التالي:حيث يُمثل p1 ,i و x1 ,i احتمالات ومجموعات اليانصيب المُفضّل، بينما يُمثل p2 ,i و x2,i احتمالات ومجموعات اليانصيب الآخر. وتكمن ميزة أسئلة الاختيار في سهولة الإجابة عليها؛ إذ يُمكن أن تُؤدي سلسلة من هذه الأسئلة إلى نقطة التكافؤ.
توجد عدة مشاكل في هذه الإجراءات. [ 3 ]
أولًا، يفترضون أن الناس يرجحون الأحداث بناءً على احتمالاتها الحقيقية (الموضوعية)، p1 ,i و p2 ,i . في الواقع، تُظهر أدلة كثيرة أن الناس يرجحون الأحداث بناءً على احتمالاتهم الذاتية . [ 14 ] على وجه الخصوص، يميل الناس إلى المبالغة في تقدير الاحتمالات الصغيرة والتقليل من شأن الاحتمالات المتوسطة إلى الكبيرة (انظر نظرية الاحتمالات ). قد يختلط عدم الخطية في الاحتمال الذاتي مع تقعر دالة المنفعة. على سبيل المثال، يمكن نمذجة الشخص غير المبالٍ بين اليانصيب [100%: 10 دولارات] و[60%: 20 دولارًا، 40%: 0] بدالة منفعة خطية ، إذا افترضنا أنه يقلل من شأن الاحتمال 60% إلى حوالي 50%.
إحدى طرق تجنب هذا الالتباس هي استخدام احتمالات متساوية في جميع الاستعلامات؛ وقد فعل ذلك، على سبيل المثال، كومبس وكوموريتا. [ 15 ] تنجح هذه الحيلة مع نظريات الأوزان غير التكوينية ، [ 16 ] التي تفترض أن الاحتمال الذاتي هو دالة للاحتمال الموضوعي (أي أن كل احتمال موضوعي يُترجم إلى احتمال ذاتي فريد). في هذه الحالة، عندما تكون جميع الاحتمالات في الاستعلامات متساوية، فإنها تُحذف في المعادلات. لا تتضمن المعادلات سوى المنافع، ويمكننا استخدامها مرة أخرى لاستنتاج شكل دالة المنفعة.
مع ذلك، تُظهر نظريات الوزن التكويني [ 17 ] ، المستوحاة من مفارقة ألايس ، أن الاحتمال الذاتي قد يعتمد على كلٍّ من الاحتمال الموضوعي والنتيجة. وقدّم كيربي [ 3 ] طريقةً لتصميم الاستعلامات بحيث لا تعتمد التنبؤات ، بالنسبة لمنافع اللوغاريتم الأسي ومنافع الأسية السالبة ، على إلغاء الاحتمالات الذاتية.
تتمثل المشكلة الثانية في أن بعض التجارب تستخدم كلاً من المكاسب والخسائر. [ 15 ] [ 18 ] ومع ذلك، تُظهر الأبحاث اللاحقة أن تقعر دالة المنفعة قد يختلف بين المكاسب والخسائر (انظر نظرية الاحتمالات وتجنب الخسارة ). وقد يؤدي الجمع بين نطاقي المكاسب والخسائر إلى دالة منفعة غير صحيحة.
يتمثل أحد الحلول الممكنة في قياس كل من هذين المجالين على حدة. [ 19 ] وقد ابتكر يوجين جالانتير حلاً آخر، لكل من المشكلة الأولى والثانية. [ 6 ] [ 20 ] أجرى تجارب لم تُستخدم فيها الاحتمالات؛ بل طرح أسئلة مثل: "كم من المال تحتاج لتشعر بسعادة مضاعفة مقارنةً بـ 10 دولارات؟" إذا كانت الإجابة، على سبيل المثال، 18 دولارًا، فسنحصل على معادلة مثل:وهذا يوفر معلومات عن دالة المنفعة، دون الاعتماد على الاحتمالات ومواقف المخاطرة. وقد أظهرت تجاربه باستمرار أن دوال القوة تتناسب مع البيانات بشكل أفضل من الدوال اللوغاريتمية.
تتمثل المشكلة الثالثة في أن معظم التجارب تقارن مدى ملاءمة نماذج المنفعة المختلفة للبيانات. فعلى سبيل المثال، يمكنها أن تُظهر أن دوال القوة تُطابق البيانات بشكل أفضل من الدوال اللوغاريتمية، لكنها لا تستطيع رفض فرضية أن دوال القوة تُطابق البيانات. وقدّم كيربي [ 3 ] تصميمًا تجريبيًا مبتكرًا، مكّنه من الحصول على تنبؤات نقطية لكل نموذج على حدة. وتشير تجاربه إلى أن كلاً من دوال القوة اللوغاريتمية ودوال الأس السالب لا تُطابق البيانات. ويترك كيربي إيجاد دالة أكثر ملاءمة كمسألة مفتوحة .
تقييم وظائف المنفعة متعددة السمات
تقوم دالة المنفعة متعددة السمات (MAU) بربط حزمة تحتوي على سمتين أو أكثر (مثل المال ووقت الفراغ) برقم يمثل الرضا الذاتي من تلك الحزمة.
يُعدّ تقييم المنفعة القصوى المُكتسبة (MAU) ذا أهمية حتى في ظروف اليقين. فعلى سبيل المثال، بينما يُفضّل معظم الناس مبلغ 12,000 دولار أمريكي على مبلغ 10,000 دولار أمريكي، قد تختلف تفضيلات الأفراد بين الخيارين (راتب 10,000 دولار أمريكي، 8 ساعات عمل يوميًا) و(راتب 12,000 دولار أمريكي، 9 ساعات عمل يوميًا)، حتى عندما يكون كلا الخيارين مؤكدًا. يُقدّم إجراء تقييم المنفعة القصوى المُكتسبة في ظروف اليقين في قسم " تقييم المنفعة الترتيبية" .
يُعد تقييم MAU في ظروف عدم اليقين أكثر تعقيدًا؛ انظر تقييم المنفعة متعددة السمات لمزيد من التفاصيل.
في الصحة
يُعدّ تقييم وظائف المنفعة المتوسطة (MAU) ذا أهمية خاصة في اقتصاديات الصحة . فغالبًا ما يتطلب الأمر الاختيار بين علاجات مختلفة، لكل منها خصائصها المميزة فيما يتعلق بمتوسط العمر المتوقع، وجودة الحياة، والسلامة، والتكلفة. وبعد إجراء دراسات استقصائية واسعة النطاق، تم تطوير وظائف المنفعة المتوسطة للحالات الصحية؛ انظر: سنوات الحياة المعدلة حسب الجودة وتقييم EQ-5D . وتُعدّ المفاضلة الزمنية الطريقة الأكثر شيوعًا لتقييم المنافع الصحية . ولتمكين اتخاذ القرارات على المستوى الوطني، يتم إنشاء وظيفة منفعة متوسطة للصحة على المستوى الوطني، باعتبارها دالة منفعة "متوسطة" لجميع المرضى في الدولة.
عادةً ما تُقاس دوال المنفعة بحيث تعني قيمة 1 "صحة كاملة"، وقيمة 0 تعني "الموت". ويمكن أن تكون دوال المنفعة سالبة، في حالات تُعتبر "أسوأ من الموت". كمثال، إليك وصف لبروتوكول بناء مجموعة قيم لمقياس EQ-5D-Y (مقياس EuroQol ذو الأبعاد الخمسة للشباب). [ 21 ] يتم البناء على مرحلتين: استبيان إلكتروني لتجربة الاختيار المنفصل (DCE)، ومقابلة شخصية لتقييم المفاضلة الزمنية المركبة (cTTO).
- تقيس خطوة الاختيار المنفصل الأهمية النسبية للأبعاد الخمسة، لكنها تُنتج نتائج على مقياس كامن، بدلاً من قيم المنفعة المعيارية. يتضمن التصميم التجريبي الموصى به 10 مجموعات ، تحتوي كل مجموعة على 15 زوجًا من الحالات الصحية (150 زوجًا إجمالاً). يُعطى كل مشارك مجموعة واحدة (15 زوجًا). لكل زوج، يُطلب من المشارك تحديد الحالة التي يُفضلها من بين هاتين الحالتين (مثلاً: "هل تُفضل الحالة 12333 أم 31122؟").
- تُستخدم خطوة cTTO لحساب قيمة مُعَيَّرة للحالة المرجعية، وهي الحالة 33333: الحالة ذات المستوى الأسوأ (3) في جميع الأبعاد الخمسة. يجب على كل مشارك الإجابة على 10 استعلامات TTO. يُظهر كل استعلام TTO زوجًا من الحالة الصحية + المدة، ويتعين على المشارك تحديد أيهما يُفضِّل. يوجد نوعان من الاستعلامات: [ 21 ] : 660، الشكل 2
- يفترض أحد أنواعها أن الحالة أفضل من الموت. تبدو الأسئلة كالتالي: "أي حياة تفضل: سنتان بصحة كاملة، أم عشر سنوات في حالة 33333؟".
- أما النوع الآخر فيفترض أن الحالة أسوأ من الموت. وتكون الأسئلة على النحو التالي: "أي حياة تفضل: سنتان بصحة كاملة، أم خمس سنوات بصحة كاملة بالإضافة إلى عشر سنوات في الحالة 33333؟".
في كلتا المرحلتين، يكون المشاركون بالغين، ويُطلب منهم الإجابة عن الأسئلة من وجهة نظر طفل يبلغ من العمر عشر سنوات. وتتلخص أسباب اختيار البالغين، بدلاً من الأطفال، فيما يلي: (1) البالغون هم دافعو الضرائب، وبالتالي ينبغي لهم تحديد كيفية استخدام ميزانية الصحة؛ (2) تتضمن الأسئلة موضوع الموت، وهو ما قد لا يكون مناسباً للأطفال؛ (3) قد يُسيء الأطفال فهم الأسئلة.
تم تنفيذ البروتوكول المذكور أعلاه لأول مرة في سلوفينيا على النحو التالي: [ 22 ]
- أُجريت دراسة الاختيار المنفصل (DCE) على عينة تمثيلية من 1276 بالغًا سلوفينيًا، من خلال لوحة إلكترونية تابعة لشركة أبحاث سوق تجارية (فاليكون ليوبليانا)، باستخدام برنامج LimeSurvey . اعتمد التصميم التجريبي على تصميم فعال من حيث D ، مقسمًا إلى 10 مجموعات، تضم كل مجموعة 15 زوجًا، ليصبح المجموع 150 زوجًا تمت مقارنتها. تم اختيار هذه الأزواج الـ 150 عشوائيًا، من بين الأزواج التي تُحقق أعلى قيمة لمصفوفة معلومات فيشر . سمح هذا التصميم بتقدير نموذج انحدار لوجستي متعدد الحدود بـ 50 مُعاملًا: 10 مُعاملات للتأثيرات الرئيسية، و40 مُعاملًا للتفاعل الثنائي.
- كإجراءات للتحقق من الجودة، تم استبعاد 202 إجابة (الإجابات التي اختارت بشكل غير صحيح في اثنين من ثلاثة أزواج ثابتة حيث تهيمن حالة صحية واحدة على الأخرى، والمستجيبون الذين أجابوا بسرعة كبيرة).
- أُجريت مقابلة cTTO وجهاً لوجه مع 210 بالغين، وهي عينة غير ممثلة (جميعهم من سكان بريمورسكا ، ومعظمهم من الشباب)، ولكن تم ترجيح العينات لزيادة تمثيلها. تتضمن عناصر مهمة cTTO تقييم حالات صحية "أسوأ من الموت" وحالات صحية "أفضل من الموت"، باستخدام سيناريو الكرسي المتحرك . طُلب من المشاركين تقييم 10 حالات من حالات cTTO، وإكمال ملف تعريف وصفي EQ-5D-Y، ومقياس VAS ( المقياس التناظري البصري ).
- كإجراءات للتحقق من الجودة، تم حذف 8 استجابات (الاستجابات بدون شرح لمهمة "أسوأ من الموت"، أو لم تكن تقييمات cTTO متسقة: 33333 لم تكن الحالة الأدنى، أو لم يتم قضاء وقت كافٍ في المهمة).
- تم العثور على قيمة حالة التثبيت 33333 لتكون -0.691؛ أما القيم الأخرى فكانت 33233:-0.48، 31133:-0.049، 32223:0.139، 22232:0.237، 11121:0.911، 21111:0.962.
- استنادًا إلى هاتين المرحلتين، تم تقدير نموذج منفعة خطي إضافي . استُخدم نموذج لوجيت مختلط ، وكانت معاملات أسوأ نتيجة (3) في الأبعاد الخمسة (من الأكثر أهمية إلى الأقل أهمية) كما يلي: الألم/عدم الراحة: -0.463، القلق/الاكتئاب: -0.380، الأنشطة المعتادة: -0.322، الحركة: -0.305، الرعاية الذاتية : -0.221. تجدر الإشارة إلى أن 1 - 0.463 - 0.380 - 0.322 - 0.305 - 0.221 = -0.691، وهي بالفعل القيمة المرجعية للحالة 33333.
انظر أيضاً
- أساليب MAU في أنظمة دعم القرار الجماعي . [ 23 ]
مراجع
- 1 2 فاركوهار، بيتر هـ. (نوفمبر 1984). "أحدث ما توصل إليه العلم - أساليب تقييم المنفعة". علوم الإدارة . 30 (11): 1283-1300 . doi : 10.1287/mnsc.30.11.1283 .
- ↑ ألتشيان، أرمين أ. (1953). "معنى قياس المنفعة". المجلة الاقتصادية الأمريكية . 43 (1): 26-50 . JSTOR 1810289 .
- 1 2 3 4 كيربي، كريس ن. (2011). "تقييم تجريبي لشكل دوال المنفعة". مجلة علم النفس التجريبي: التعلم والذاكرة والإدراك . 37 (2): 461-476 . doi : 10.1037/a0021968 . PMID 21355669 .
- ^ فيشنر، جوستاف تيودور (1860). Elemente der Psychophysik (في المانيا). بريتكوبف ش. هارتل.
- ↑ ستيفنز، إس إس (1957). "حول القانون النفسي الفيزيائي". مجلة علم النفس . 64 (3): 153-181 . doi : 10.1037 / h0046162 . PMID 13441853. ProQuest 614283678 .
- 1 2 جالانتير، يوجين (1962). " القياس المباشر للمنفعة والاحتمالية الذاتية". المجلة الأمريكية لعلم النفس . 75 (2): 208-220 . doi : 10.2307/1419604 . JSTOR 1419604. PMID 13896303 .
- ↑ جالانتير، يوجين؛ هولمان، جارفين ل. (1967). "بعض ثوابت دالة الحساسية المتساوية وآثارها على دالة منفعة المال". مجلة علم النفس التجريبي . 73 (3): 333-339 . doi : 10.1037/h0024275 . PMID 6032534. ProQuest 614257044 .
- ↑ هامبلين، روبرت ل؛ كليرمونت، دونالد هـ؛ تشادويك، بروس أ (مارس 1975). "المنفعة وقرارات المقامرة: تجارب ومعادلات". بحوث العلوم الاجتماعية . 4 (1): 1-15 . doi : 10.1016/0049-089X(75)90016-2 .
- ↑ كورنبروت، ديانا إي؛ دونيلي، مايكل؛ جالانتير، يوجين (أبريل 1981). "تقديرات معلمات دالة المنفعة من تجارب الكشف عن الإشارة". مجلة علم النفس التجريبي: الإدراك والأداء البشري . 7 (2): 441-458 . doi : 10.1037/0096-1523.7.2.441 . ProQuest 614275914 .
- ↑ باركر، سكوت؛ شتاين، ديفيد؛ دارت، إد؛ شنايدر، بروس؛ بوبر، ريتشارد؛ نيدل، ستيفن (1981). "دالة المنفعة للنقود المُحددة باستخدام القياس المشترك". المجلة الأمريكية لعلم النفس . 94 (4): 563-573 . doi : 10.2307/1422419 . JSTOR 1422419 .
- ↑ أودونوغ، تيد؛ رابين، ماثيو (نوفمبر 2006). "الضرائب المثلى على الخطيئة". مجلة الاقتصاد العام . 90 ( 10-11 ): 1825-1849 . doi : 10.1016/j.jpubeco.2006.03.001 .
- ↑ واكر، بيتر ب. (ديسمبر 2008). "شرح خصائص عائلة منفعة الطاقة (CRRA)". اقتصاديات الصحة . 17 (12): 1329-1344 . doi : 10.1002/hec.1331 . PMID 18213676 .
- ↑ كالي، جيفيندرا ك. (2009). "تعظيم النمو وحماية المخاطر باستخدام دوال المنفعة اللوغاريتمية لتحسين المحافظ الاستثمارية مع المشتقات". المجلة الدولية لتطبيقات الحاسوب في التكنولوجيا . 34 (4): 309. doi : 10.1504/IJCAT.2009.024085 .
- ↑ بريستون، مالكولم ج.؛ باراتا، فيليب (1948). "دراسة تجريبية لقيمة المزاد لنتيجة غير مؤكدة" . المجلة الأمريكية لعلم النفس . 61 (2): 183-193 . doi : 10.2307/1416964 . ISSN 0002-9556 .
- 1 2 كومبس، سي إتش؛ كوموريتا، إس إس (1958). "قياس منفعة المال من خلال القرارات" . المجلة الأمريكية لعلم النفس . 71 (2): 383-389 . doi : 10.2307/1420083 . ISSN 0002-9556 .
- ↑ بيرنباوم، مايكل هـ (1992-08-01). "قضايا في قياس المنفعة" . السلوك التنظيمي وعمليات اتخاذ القرار البشري . قياس المنفعة. 52 (3): 319-330 . doi : 10.1016/0749-5978(92)90024-2 . ISSN 0749-5978 .
- ↑ بيرنباوم، مايكل هـ. (1 أبريل 2004). "أسباب مفارقات العواقب المشتركة: تحليل تجريبي" . مجلة علم النفس الرياضي . 48 (2): 87-106 . doi : 10.1016/j.jmp.2004.01.001 . ISSN 0022-2496 .
- ↑ موستيلر، فريدريك؛ نوجي، فيليب (1 أكتوبر 1951). "قياس تجريبي للمنفعة" . مجلة الاقتصاد السياسي . 59 (5): 371-404 . doi : 10.1086/257106 . ISSN 0022-3808 .
- ↑ هيرشي، جون سي؛ كونروثر، هوارد سي؛ شوماكر، بول جيه إتش (أغسطس 1982). "مصادر التحيز في إجراءات تقييم دوال المنفعة" . مجلة علوم الإدارة . 28 (8): 936-954 . doi : 10.1287/mnsc.28.8.936 . ISSN 0025-1909 .
- ↑ جالانتير، يوجين (1990). "دوال المنفعة للأحداث غير النقدية" . المجلة الأمريكية لعلم النفس . 103 (4): 449-470 . doi : 10.2307/1423318 . ISSN 0002-9556 .
- 1 2 راموس-غوني، خوان م.؛ أوبي، مارك؛ ستولك، إيلي؛ شاه، كونال؛ كريميير، سيمون؛ ريفيرو-أرياس، أوليفر؛ ديفلين، نانسي (2020-07-01). "بروتوكول التقييم الدولي لمقياس EQ-5D-Y-3L" . علم اقتصاديات الأدوية . 38 (7): 653-663 . doi : 10.1007/s40273-020-00909-3 . hdl : 11343/252049 . ISSN 1179-2027 .
- ^ بريفولنيك روبيل، فالنتينا؛ أوجوريفتش، ماركو؛ مجموعة IMPACT HTA HRQoL (أبريل 2021). "مجموعة القيمة EQ-5D-Y لسلوفينيا" . اقتصاديات الدواء . 39 (4): 463-471 . دوى : 10.1007 / s40273-020-00994-4 . بمك 8009800 . بميد 33565048 .
- ↑ بوز، أوتپال؛ ديفي، آن م.؛ أولسون، ديفيد ل. (1997-12-01). "أساليب المنفعة متعددة السمات في صنع القرار الجماعي: تطبيقات سابقة وإمكانية إدراجها في أنظمة دعم القرار الجماعي" . أوميغا . 25 (6): 691-706 . doi : 10.1016/S0305-0483(97)00040-6 . ISSN 0305-0483 .
- جدوى
- الاقتصاد التجريبي
