الزحف الشائع

مؤسسة Common Crawl ( Common Crawl ) هي منظمة غير ربحية (501(c)(3)) تقوم بفهرسة مواقع الويب وتوفير أرشيفاتها ومجموعات بياناتها مجانًا للجمهور. ^{[ 1 ] [ 2 ]} الوصول إلى البيانات مجاني على خدمات أمازون السحابية (AWS) ، ولكن قد يتحمل المستخدمون تكاليف التخزين والحوسبة. ^{[ 3 ]}

تأسست شركة Common Crawl على يد جيل إلباز . ^{[ 1 ] [ 2 ]}

استُخدمت البيانات في الغالب من قِبل الباحثين وبعض الشركات الناشئة حتى العقد الثالث من القرن الحادي والعشرين، حين بدأت شركات الذكاء الاصطناعي بتدريب نماذج لغوية ضخمة باستخدامها. ^{[ 4 ]} في نوفمبر 2025، كشف تحقيق أجرته مجلة "ذا أتلانتيك" أن شركة "كومون كرول" ضللت الناشرين عندما ادّعت احترامها لجدران الدفع في عملية جمع البيانات، وأنها لم تستجب لطلبات الناشرين بإزالة محتواهم من قواعد بياناتها. ^{[ 4 ]}

تأسست Common Crawl في عام 2007 في سان فرانسيسكو. ^{[ 5 ]} وبدأت بنشر عمليات الزحف الخاصة بها في عام 2011. ^{[ 6 ]}

بحلول عام 2013، كانت مواقع مثل TinEye تبني منتجاتها على Common Crawl. ^{[ 7 ] [ 8 ]} يقلل هذا الزحف من اعتماد الشركات والباحثين على جوجل، التي تمتلك أكبر قاعدة بيانات. ^{[ 7 ] [ 8 ]} صُمم Common Crawl ليحتوي على بيانات أكثر وأحدث، ما يجعله أكثر كفاءة في التحليل والاستخدام من Wayback Machine الذي أنشأه أرشيف الإنترنت . ^{[ 8 ] [ 7 ]}

بحلول عام 2015، بلغ عدد صفحات الويب المُفهرسة على قاعدة بيانات Common Crawl 1.8 مليار صفحة، والتي بدأت بفهرسة قائمة عناوين URL مُقدمة من محرك البحث Blekko . ^{[ 9 ]} تستخدم هذه القاعدة خدمات أمازون السحابية (AWS) ، التي تُقدم بعض خدماتها مجانًا، مما يسمح بخفض متوسط ​​تكاليف الحوسبة إلى ما بين 2000 و4000 دولار أمريكي شهريًا. ^{[ 9 ]} وقد أدرج موقع Common Crawl الإلكتروني 30 دراسة تستند إلى بيانات Common Crawl. ^{[ 9 ]}

قبل عام 2023، لم يكن مشروع Common Crawl معروفًا على نطاق واسع خارج أوساط الباحثين الأكاديميين الذين يستخدمون بياناته. ^{[ 5 ]} تلقى Common Crawl أولى طلبات تنقيح المعلومات في عام 2023، وبدأ برنامج الزحف الخاص به، CCBot، يُحظر بشكل متزايد. ^{[ 5 ]} في عام 2023، بدأ المشروع بتلقي دعم مالي كبير من شركات الذكاء الاصطناعي، بما في ذلك Anthropic و OpenAI ، حيث تبرعت كل منهما بمبلغ 250,000 دولار أمريكي. ^{[ 4 ]} كما استُخدم المشروع لتدريب نموذج اللغة الضخم Gemini التابع لشركة Google DeepMind . ^{[ 10 ]} بحلول أبريل 2023، كان Common Crawl يلتقط بيانات 3.1 مليار صفحة ويب، مع تقدير أن 5% من الصفحات قبل عام 2021 تحتوي على خطاب كراهية أو عبارات مسيئة. ^{[ 11 ]}

بحلول عام 2024، تم الاستشهاد بمجموعة بيانات Common Crawl في أكثر من 10000 دراسة أكاديمية. ^{[ 12 ]} وبحلول عام 2024، كانت مجموعتا بيانات The Pile و Common Crawl هما مجموعتا البيانات الرئيسيتان المستخدمتان لتدريب نماذج الذكاء الاصطناعي. ^{[ 13 ] [ 14 ]}

في نوفمبر 2025، كشف تحقيقٌ أجراه الصحفي التقني أليكس رايزنر لصالح مجلة "ذا أتلانتيك" أن برنامج "كومون كرول" ضلّل الناشرين عندما ادّعى احترامه لجدران الدفع في عمليات استخراج البيانات، وعندما زعم أنه يستجيب لطلبات الناشرين بإزالة محتواهم من قواعد بياناته. ^{[ 4 ]} وقد تضمن البرنامج نتائج مضللة في وظيفة البحث العامة على موقعه الإلكتروني، حيث لم تُظهر أي نتائج للمواقع التي طلبت إزالة أرشيفاتها، بينما كانت هذه المواقع في الواقع لا تزال مُدرجة في عمليات استخراج البيانات التي تستخدمها شركات الذكاء الاصطناعي. ^{[ 4 ]} وبحلول عام 2025، وجد رايزنر أن برنامج "كومون كرول" كان أكثر برامج الروبوت حظرًا من قِبل أفضل 1000 موقع إلكتروني. ^{[ 4 ]}

ناقشت مقالة نُشرت عام 2026 على موقع LWN.net ميزةً لخدمات مثل Common Crawl، وهي قدرتها على الحد من تكاليف استخراج البيانات للمواقع الإلكترونية، وذلك من خلال السماح للشركات والباحثين بتنزيل البيانات من Common Crawl بدلاً من استخراجها بأنفسهم. ^{[ 15 ]}

في أبريل 2026، بدأ Common Crawl تجريبياً في توزيع بياناته من خلال Hugging Face Storage Bucket ، بالإضافة إلى تخزينه القياسي على Amazon S3 . ^{[ 16 ]}

عمل بيتر نورفيج وجوي إيتو في المجلس الاستشاري. ^{[ 8 ]} ريتش سكرينتا هو المدير التنفيذي. ^{[ 4 ]}

وقد تلقت تمويلها بشكل شبه حصري من مؤسسة عائلة الباز الخيرية حتى عام 2023 عندما بدأت في تلقي تبرعات من صناعة الذكاء الاصطناعي. ^{[ 4 ]}

تقوم العديد من المنظمات بأخذ بيانات Common Crawl الخام وتنقيحها إلى مجموعات بيانات تستبعد المحتوى المثير للجدل أو تكون ذات جودة أعلى لأغراضها، مثل FineWeb وDCLM وC4. ^{[ 4 ]}

• قائمة مجموعات البيانات لأبحاث التعلم الآلي
• الذكاء الاصطناعي مفتوح المصدر

• الموقع الرسمي
• مستودع Common Crawl على GitHub يحتوي على برنامج الزحف والمكتبات ونموذج التعليمات البرمجية
• صفحة ProPublica Nonprofit Explorer - تحتوي على ملفات 990