قائمة الكلمات

أشار نيشن ( نيشن، 1997 ) إلى المساعدة الهائلة التي توفرها القدرات الحاسوبية، مما يجعل تحليل النصوص أسهل بكثير. وذكر عدة قضايا رئيسية تؤثر على بناء قوائم التكرار:

• تمثيلية المدونة
• تكرار الكلمات ونطاقها
• معالجة عائلات الكلمات
• معالجة المصطلحات والعبارات الثابتة
• نطاق المعلومات
• معايير أخرى متنوعة

على أي حال، ينبغي تحديد وحدة "الكلمة" الأساسية. في الكتابة اللاتينية، تتكون الكلمات عادةً من حرف واحد أو عدة أحرف مفصولة إما بمسافات أو علامات ترقيم. لكن قد توجد استثناءات  : فكلمة "can't" الإنجليزية و" aujourd'hui " الفرنسية تتضمنان علامات ترقيم، بينما كلمة "chateau d'eau" الفرنسية تُعبّر عن مفهوم مختلف عن مجرد جمع مكوناتها، مع تضمينها مسافة. وقد يكون من الأفضل أيضًا تجميع كلمات عائلة الكلمات تحت تمثيل كلمتها الأساسية . وهكذا، فإن "possible" و"impossible" و"possibility" هي كلمات من نفس عائلة الكلمات، ممثلة بالكلمة الأساسية *possib* . ولأغراض إحصائية، تُجمع كل هذه الكلمات تحت صيغة الكلمة الأساسية *possib*، مما يسمح بترتيب المفهوم وتكرار الصيغة. علاوة على ذلك، قد تُشكّل لغات أخرى صعوبات خاصة. هذا هو الحال في اللغة الصينية، التي لا تستخدم مسافات بين الكلمات، حيث يمكن تفسير سلسلة محددة من عدة أحرف إما كعبارة من كلمات ذات حرف واحد، أو ككلمة متعددة الأحرف.

يبدو أن قانون زيبف ينطبق على قوائم الترددات المستمدة من نصوص طويلة لأي لغة طبيعية. تُعدّ قوائم الترددات أداةً مفيدةً عند بناء قاموس إلكتروني، وهو شرط أساسي لمجموعة واسعة من التطبيقات في اللغويات الحاسوبية .

يحدد اللغويون الألمان Häufigkeitsklasse (فئة التردد)${\displaystyle N}$يُحسب تكرار عنصر في القائمة باستخدام اللوغاريتم الثنائي لنسبة تكراره إلى تكرار العنصر الأكثر تكرارًا. ينتمي العنصر الأكثر تكرارًا إلى فئة التكرار 0 (صفر)، بينما ينتمي أي عنصر يقل تكراره عن نصف تكرار العنصر الأكثر تكرارًا تقريبًا إلى الفئة 1. في المثال أعلاه، تبلغ نسبة تكرار كلمة " outragious" المكتوبة بشكل خاطئ 76/3789654، وبالتالي فهي تنتمي إلى الفئة 16.

${\displaystyle N=\left\lfloor 0.5-\log _{2}\left({\frac {\text{تكرار هذا العنصر}}{\text{تكرار العنصر الأكثر شيوعًا}}}\right)\right\rfloor }$

أين${\displaystyle \lfloor \ldots \rfloor }$هي دالة الأرضية .

تُستخدم قوائم التردد، جنبًا إلى جنب مع الشبكات الدلالية ، لتحديد المصطلحات الأقل شيوعًا والمتخصصة التي سيتم استبدالها بمرادفاتها في عملية الضغط الدلالي .

لا يُقصد بهذه القوائم أن تُقدّم مباشرةً للطلاب، بل أن تكون بمثابة دليل إرشادي للمعلمين ومؤلفي الكتب الدراسية ( نيشن، 1997 ). ويشجع ملخص بول نيشن لتدريس اللغات الحديثة على "الانتقال أولاً من المفردات عالية التردد والمفردات ذات الأغراض الخاصة [الموضوعية] إلى المفردات منخفضة التردد، ثم تعليم المتعلمين استراتيجيات للحفاظ على التوسع الذاتي في المفردات" ( نيشن، 2006 ).

يُعدّ إحصاء الكلمات مجالًا عريقًا، ^{[ 7 ]} إذ تعود مناقشاته المعروفة إلى العصر الهلنستي . في عام 1944، قام إدوارد ثورندايك وإرفين لورج وزملاؤهما ^{[ 8 ]} بإحصاء 18 مليون كلمة متتابعة يدويًا، ليُقدّموا أول قائمة تردد واسعة النطاق للغة الإنجليزية، قبل أن تُسهّل الحواسيب الحديثة مثل هذه المشاريع بشكل كبير ( نيشن 1997 ). وتعاني جميع أعمال القرن العشرين من آثار قدمها. فعلى وجه الخصوص، الكلمات المتعلقة بالتكنولوجيا، مثل كلمة "blog"، التي احتلت المرتبة 7665 من حيث التردد في عام 2014 ^{[ 9 ]} في مدونة اللغة الإنجليزية الأمريكية المعاصرة، ^{[ 10 ]} والتي وُثّقت لأول مرة في عام 1999، ^{[ 11 ] [ 12 ] [ 13 ]} ولا تظهر في أي من هذه القوائم الثلاث.

كتاب كلمات المعلمين الذي يحتوي على 30000 كلمة (ثورندايك ولورج، 1944)

يحتوي كتاب كلمات المعلم على 30,000 جذر لغوي أو ما يقارب 13,000 عائلة كلمات (جولدن، نيشن، وريد، 1990). وقد تم تحليل مدونة لغوية تضم 18 مليون كلمة مكتوبة يدويًا. زاد حجم المدونة المصدرية من فائدتها، لكن قدمها والتغيرات اللغوية قللت من قابليتها للتطبيق ( نيشن، 1997 ).

قائمة الخدمات العامة (ويست، 1953)

تحتوي قائمة الخدمة العامة على 2000 كلمة رئيسية مقسمة إلى مجموعتين، كل مجموعة تضم 1000 كلمة. وقد تم تحليل مدونة لغوية تضم 5 ملايين كلمة مكتوبة في أربعينيات القرن العشرين. وتُقدم القائمة نسبة تكرار الكلمة الرئيسية (%) لمختلف معانيها وأجزائها النحوية. وقد طُبقت معايير متنوعة، إلى جانب التكرار والنطاق، بدقة على المدونة. ولذلك، فعلى الرغم من قدمها، ووجود بعض الأخطاء فيها، وكونها مدونة لغوية مكتوبة بالكامل، إلا أنها لا تزال قاعدة بيانات ممتازة لتكرار الكلمات، وتكرار معانيها، وتقليل التشويش ( نيشن، 1997 ). وقد تم تحديث هذه القائمة في عام 2013 من قِبل الدكتور تشارلز براون، والدكتور برنت كوليجان، وجوزيف فيليبس تحت اسم قائمة الخدمة العامة الجديدة .

كتاب تردد الكلمات في التراث الأمريكي (كارول، ديفيز وريتشمان، 1971)

مجموعة بيانات تضم 5 ملايين كلمة متكررة، مأخوذة من نصوص مكتوبة مستخدمة في مدارس الولايات المتحدة (مختلف المراحل الدراسية، ومختلف المواد الدراسية). تكمن قيمتها في تركيزها على مواد التدريس المدرسية، وتصنيفها للكلمات حسب تكرار كل كلمة، في كل مرحلة دراسية، وفي كل مادة دراسية ( نيشن 1997 ).

مجموعة براون (فرانسيس وكوتشيرا، 1982) LOB والمجموعات ذات الصلة

تحتوي هذه المصادر الآن على مليون كلمة من مدونة مكتوبة تمثل لهجات مختلفة من اللغة الإنجليزية. وتُستخدم هذه المصادر لإنتاج قوائم التردد ( نيشن 1997 ).

أُجريت العديد من الدراسات حول تواتر الكلمات الإسبانية ( كويتوس وآخرون، 2011 ). ^{[ 22 ]}

لطالما دُرست المدونات الصينية من منظور قوائم التردد. وتعتمد الطريقة التاريخية لتعلم المفردات الصينية على تردد الأحرف ( ألانيتش، 2003 ). وقد أشار عالم الصينيات الأمريكي جون دي فرانسيس إلى أهمية ذلك في تعلم اللغة الصينية كلغة أجنبية وتدريسها في كتابه " لماذا لا يستطيع جوني قراءة الصينية" ( دي فرانسيس، 1966 ). وقدّم كلٌّ من دا ( دا، 1998 ) ووزارة التعليم التايوانية (وزارة التعليم التايوانية، 1997 ) قواعد بيانات ضخمة تتضمن تصنيفات تردد الأحرف والكلمات، وذلك كأداة لتحليل التردد. وتُعدّ قائمة HSK التي تضم 8848 كلمة عالية ومتوسطة التردد في جمهورية الصين الشعبية ، وقائمة TOP في جمهورية الصين (تايوان) التي تضم حوالي 8600 كلمة صينية تقليدية شائعة، مثالين آخرين على قوائم الكلمات والأحرف الصينية الشائعة. وفي أعقاب حركة SUBTLEX، أجرى كاي وبريسبرت (2010) دراسة معمقة حول ترددات الكلمات والأحرف الصينية.

يحتوي قاموس ويكشنري على قوائم الترددات بلغات أكثر. ^{[ 23 ]}

الكلمات الأكثر استخدامًا في مختلف اللغات بناءً على ويكيبيديا أو مجموعات النصوص المدمجة. ^{[ 24 ]}

• نيشن، ب. (1997)، "حجم المفردات، وتغطية النص، وقوائم الكلمات" ، في شميت؛ مكارثي (محرران)، المفردات: الوصف، والاكتساب، والتدريس ، كامبريدج: مطبعة جامعة كامبريدج، ص 6-19 ، ISBN  978-0-521-58551-4
• لوفير، ب. (1997)، "ما الذي يجعل الكلمة صعبة أو سهلة؟ بعض العوامل الداخلية التي تؤثر على تعلم الكلمات."، المفردات: الوصف، والاكتساب، وعلم أصول التدريس ، كامبريدج: مطبعة جامعة كامبريدج، ص 140-155 ، ISBN  9780521585514
• نيشن، ب. (2006)، "تعليم اللغة - المفردات"، موسوعة اللغة واللسانيات ، أكسفورد، ص 494-499 ، doi : 10.1016/B0-08-044854-2/00678-7 ، ISBN  9780080448541{{citation}}: CS1 maint: موقع الناشر مفقود ( رابط ) .
• برايسبرت، مارك؛ بوخماير، ماتياس؛ كونراد، ماركوس؛ جاكوبس، آرثر م.؛ بولته، ينس؛ بوهل، أندريا (2011). "تأثير تكرار الكلمات: مراجعة للتطورات الحديثة وآثارها على اختيار تقديرات التكرار في اللغة الألمانية" . علم النفس التجريبي . 58 (5): 412-424 . doi : 10.1027/1618-3169/a000123 . PMID 21768069 . قاعدة البيانات
• روديل، أ.ب. (1993)، "تكرار استخدام الكلمات وصعوبة الكلمات المتصورة  : تقييمات كلمات كوتشيرا وفرانسيس"، موست ، المجلد 25 ،  الصفحات 455-463 
• سيجوي، ج.؛ ميهلر، جاك؛ فراونفيلدر، أولي؛ مورتون، جون (1982)، "تأثير تكرار الكلمات والوصول المعجمي" ، علم النفس العصبي ، 20 (6): 615-627 ، doi : 10.1016/0028-3932(82)90061-6 ، PMID 7162585 ، S2CID 39694258  
• ماير ، هيلموت (1967)، Deutsche Sprachstatistik ، هيلدسهايم: أولمس(قائمة تردد الكلمات الألمانية)
• دي فرانسيس، جون (1966)، لماذا لا يستطيع جوني قراءة الصينية
• ألانيك ، برنارد (2003)، مجموعة الشخصيات وجانبها التربوي في الصين القديمة والمعاصرة (الاب: Les corpus de caractères et leur Dimension pédagogique dans la Chine ancienne et contemporaine) (هذه الدكتوراه)، باريس: INALCO

• دا، جون (1998)، جون دا: الحوسبة النصية الصينية ، تم الاطلاع عليه بتاريخ 21-08-2010.
• وزارة التعليم التايوانية (1997)،八十六年常用語詞調查報告書، استرجاعها 2010/08/21.
• نيو، بوريس؛ بالييه، كريستوف، دليل المعجم 3 (بالفرنسية) (  الطبعة 3.01)، مؤرشف من الأصل بتاريخ 11-04-2012 ، تم استرجاعه بتاريخ 23-05-2012.
• جيمينيس، مانويل؛ نيو، بوريس (2016)، "وورلدليكس: ترددات الكلمات على تويتر والمدونات لـ 66 لغة"، أساليب البحث السلوكي ، 48 (3): 963-972 ، doi : 10.3758/s13428-015-0621-0 ، ISSN 1554-3528 ، PMID 26170053  .

• نيو، ب.؛ برايسبرت، م.؛ فيرونيس، ج.؛ بالييه، س. (2007). "سابتلكس-إف آر: استخدام ترجمة الأفلام لتقدير ترددات الكلمات" (ملف PDF) . علم اللغة النفسي التطبيقي . 28 (4): 661. doi : 10.1017/s014271640707035x . hdl : 1854/LU-599589 . S2CID 145366468. مؤرشف من النسخة الأصلية (ملف PDF) بتاريخ 24-10-2016. 
• برايسبرت، مارك؛ نيو، بوريس (2009)، "تجاوز كوتشيرا وفرانسيس: تقييم نقدي لمعايير تكرار الكلمات الحالية وتقديم مقياس جديد ومُحسَّن لتكرار الكلمات في اللغة الإنجليزية الأمريكية" (ملف PDF) ، أساليب البحث السلوكي ، 41 (4): 977-990 ، doi : 10.3758/brm.41.4.977 ، PMID 19897807 ، S2CID 4792474  
• كيوليرز، إي، إم، بي؛ نيو، بي (2010)، "سابتلكس-إن إل: مقياس جديد لتكرار الكلمات الهولندية بناءً على ترجمات الأفلام" ، أساليب البحث السلوكي ، 42 (3): 643-650 ، doi : 10.3758/brm.42.3.643 ، PMID 20805586 {{citation}}: صيانة CS1: أسماء متعددة: قائمة المؤلفين ( رابط )
• كاي، كيو؛ برايسبرت، إم. (2010)، "SUBTLEX-CH: ترددات الكلمات والأحرف الصينية بناءً على ترجمات الأفلام"، PLOS ONE ، 5 (6): 8، Bibcode : 2010PLoSO...510729C ، doi : 10.1371/journal.pone.0010729 ، PMC 2880003 ، PMID 20532192  
• كويتوس، F.؛ جليز نوستي، ماريا؛ باربون، أناليا؛ Brysbaert، Marc (2011)، “SUBTLEX-ESP  : ترددات الكلمات الإسبانية بناءً على ترجمة الأفلام” (PDF) ، Psicológica ، 32 : 133– 143
• ديميتروبولو، م.؛ دونابيتيا، جون أندوني؛ أفيليس، ألبرتو؛ كورال، خوسيه. Carreiras، Manuel (2010)، “SUBTLEX-GR: ترددات الكلمات المستندة إلى الترجمة كأفضل تقدير لسلوك القراءة: حالة اللغة اليونانية”، الحدود في علم النفس ، 1 (ديسمبر): 12، دوى : 10.3389/fpsyg.2010.00218 ، PMC 3153823 ، PMID 21833273  
• فام، هـ.؛ بولجر، ب.؛ باين، ر.هـ. (2011)، "سابتلكس-في  : مقياس لتكرار الكلمات والأحرف الفيتنامية في ترجمات الأفلام"، أكول
• برايسبرت، مارك؛ بوخماير، ماتياس؛ كونراد، ماركوس؛ جاكوبس، آرثر م.؛ بولته، ينس؛ بوهل، أندريا (2011)، "تأثير تكرار الكلمات" ، علم النفس التجريبي ، 58 (5): 412-424 ، doi : 10.1027/1618-3169/a000123 ، ISSN 1618-3169 ، مؤرشف من الأصل في 2023-02-08 
• برايسبرت، م.؛ نيو، بوريس؛ كيوليرز، إ. (2012)، " SUBTLEX-US  : إضافة معلومات عن أجزاء الكلام إلى ترددات كلمات SUBTLEXus" (ملف PDF) ، أساليب البحث السلوكي : 1-22( قواعد البيانات مؤرشفة بتاريخ 20 أغسطس 2010 على موقع Wayback Machine )
• مانديرا، ب.؛ كيوليرز، إ.؛ وودنيكا، ز.؛ بريسبرت، م. (2014). "Subtlex-pl: تقديرات تردد الكلمات للغة البولندية بناءً على الترجمة المصاحبة" ( ملف PDF) . أساليب البحث السلوكي . 47 (2): 471-483 . doi : 10.3758/s13428-014-0489-4 . PMID 24942246. S2CID 2334688 .  
• تانغ، ك. (2012)، "مجموعة بيانات تضم 61 مليون كلمة من ترجمات الأفلام البرتغالية البرازيلية كمورد للبحث اللغوي"، أوراق عمل جامعة لندن اللغوية (24): 208-214
• أفديلي، ريزارتا؛ كويتوس، فرناندو (يونيو 2013)، "SUBTLEX-AL: ترددات الكلمات الألبانية بناءً على ترجمات الأفلام" ، مجلة ILIRIA الدولية ، 3 (1): 285-292 ، doi : 10.21113/iir.v3i1.112 (غير نشط في 12 يوليو 2025)، hdl : 10651/33902 ، ISSN 2365-8592 {{citation}}: صيانة CS1: تم تعطيل DOI اعتبارًا من يوليو 2025 ( رابط )
• سواريس، آنا باولا؛ ماتشادو، جواو؛ كوستا، آنا؛ إيريارت، ألفارو؛ سيمويس، ألبرتو؛ دي ألميدا، خوسيه جواو؛ كوميسانيا، مونتسيرات؛ بيريا ، مانويل (أبريل 2015) ، “حول مزايا تكرار الكلمات ومقاييس التنوع السياقي المستخرجة من الترجمة: حالة البرتغالية”، المجلة الفصلية لعلم النفس التجريبي ، 68 (4): 680-696 ، دوى : 10.1080 / 17470218.2014.964271 ، PMID 25263599 ، S2CID 5376519