الأخبار التكنولوجية والاستعراضات والنصائح!

تنتقل تحديثات Slurp Crawler الخاصة بـ Yahoo Search إلى العنوان الجديد

ستساعدك المقالة التالية: تنتقل تحديثات Slurp Crawler الخاصة بـ Yahoo Search إلى العنوان الجديد

قامت شركة Yahoo بتحديث ونقل زاحف Yahoo Slurp الخاص بها إلى مجال جديد على Crawl.yahoo.net، ولكنها تحتفظ بنفس عنوان IP للناشرين الذين يستخدمون تصفية IP، لذلك لن تكون هناك حاجة للناشرين لتحرير ملفات robots.txt الخاصة بهم .

يضيف Yahoo Search أنه يجب على الناشرين إعداد مصادقة DNS العكسية لضمان عدم زيارة Yahoo Slurps الزائفة لمواقعهم:

مع اكتمال هذا النقل، نشجعك أيضًا على إعداد مصادقة عكسية تعتمد على نظام أسماء النطاقات (DNS) للزاحف الخاص بنا لضمان عدم زيارة أي روبوتات محتالة تتنكر باسم “Slurp” إلى موقعك. وهنا كيف يعمل:

    1. بالنسبة لكل طلب عرض صفحة، تحقق من وكيل المستخدم وعنوان IP. جميع الطلبات من ياهو! استخدم البحث وكيل مستخدم يبدأ بـ “Yahoo!” تسرع في الشراب.’
    2. لكل طلب من “Yahoo!” وكيل مستخدم Slurp، يمكنك البدء بعنوان IP (أي 74.6.67.218) واستخدامه بحث DNS العكسي لمعرفة الاسم المسجل للجهاز.
    3. بمجرد حصولك على اسم المضيف (في هذه الحالة، lj612134.crawl.yahoo.net)، يمكنك بعد ذلك التحقق مما إذا كان بالفعل قادمًا من Yahoo! يبحث. اسم كل ياهو! ستنتهي برامج زحف البحث بـ “crawl.yahoo.net”، لذا إذا لم ينتهي الاسم بهذا، فأنت تعلم أنه ليس برنامج الزاحف الخاص بنا حقًا.
    4. وأخيرًا، عليك التحقق من دقة الاسم. من أجل القيام بذلك، يمكنك استخدام إعادة توجيه DNS لرؤية عنوان IP المرتبط باسم المضيف. يجب أن يتطابق هذا مع عنوان IP الذي استخدمته في الخطوة 2. إذا لم يكن كذلك، فهذا يعني أن الاسم كان مزيفًا.