الأخبار التكنولوجية والاستعراضات والنصائح!

تفضل ملفات Robot.txt الخاصة بمشرفي المواقع Google على محركات البحث الأخرى

ستساعدك المقالة التالية: تفضل ملفات Robot.txt الخاصة بمشرفي المواقع Google على محركات البحث الأخرى

كشفت دراسة أجراها بعض الباحثين في جامعة ولاية بنسلفانيا أن مشرفي المواقع الذين يستخدمون ملفات robot.txt لتحديد أي جزء من مواقعهم مفتوح أو قريب من برامج زحف الويب، يفضلون عناكب Google وبرامج الروبوت على محركات البحث الأخرى. باستخدام محرك بحث جديد أنشأه الباحثون أنفسهم خصيصًا للدراسة، تبين أن بعض مشرفي المواقع ربما كانوا يكتبون ملفات robot.txt التي لا تحظر محركات البحث أو تقبلها بشكل موحد ولكنها تسمح لـ Google وبعض Yahoo وMSN بالزحف تقريبا كل صفحاتهم.

تم تقديم الدراسة التي تحمل عنوان “تحديد الانحياز لمحركات البحث من Robot.txt” خلال المؤتمر الدولي IEEE/WIC/ACM لعام 2007 حول ذكاء الويب في وادي السيليكون. تم تسمية مؤلفي الورقة باسم C. Lee Giles و Yang Sun و Ziming Zhuang وجميعهم طلاب في قسم IST في ولاية بنسلفانيا.

هل تشرح هذه الدراسة سبب حصول Google على نتائج أكثر مقارنة بمحركات البحث الأخرى؟ والأكثر من ذلك، هل تفسر هذه الدراسة سبب كون Google حاليًا أفضل محرك بحث اليوم؟ أنا لا أعتقد ذلك.

لكن ما يثير اهتمامي، والذي لم تشرحه الدراسة، هو لماذا يكتب مشرفو المواقع هؤلاء عن عمد ملفات robot.txt التي تفضل برامج زحف الويب من Google للوصول إلى صفحاتهم؟ للحصول على تصنيفات صفحات أعلى لمواقعهم؟ لجذب المزيد من حركة المرور؟