ستساعدك المقالة التالية: يتباطأ بحث MSN بسبب روبوت أخبار RSS المتحمس
يتباطأ بحث MSN بسبب روبوت أخبار RSS المتحمس
في Search Engine Journal، لاحظنا بعض الزيادات الغريبة في عرض النطاق الترددي لدينا مؤخرًا وربما يكون لهذا الإعلان الجديد من MSN Search علاقة بالموضوع. يبدو أن MSN كانت نشطة إلى حد ما فيما يتعلق بجمع ملفات RSS من مختلف المواقع الإخبارية والمدونات. على ما يبدو، وفقا لمحرك البحث ووتش و جيريمي زاوندي، تقوم MSN باختبار مدونة وروبوت بحث RSS والذي كان “شديد النشاط إلى حد ما.”
الجانب المظلم لـ RSS هو أنه بمجرد أن يواجه الموقع مستويات عالية من المشاركة المستندة إلى RSS عبر المجمعات والمواقع وروبوتات الأخبار – يصبح النطاق الترددي للموقع مشكلة رئيسية. كلما زاد توزيع موجز RSS، زاد عرض النطاق الترددي المستخدم. إذا لم يكن الموقع على علم أو لم يكن مستعدًا لمثل هذا الاستخدام العالي والنقل العالي لعرض النطاق الترددي، فقد يتجاوز الموقع حد الاستضافة الخاص به أو يتم تحميله ببطء.
تلقت MSN بعض الانتقادات بسبب قلقها الشديد من RSS وروبوت المدونات، مما أدى إلى إبطائها قليلاً. من مدونة بحث MSN: “نحن نقوم بالزحف إلى RSS والمحتويات الأخرى التي نريد التأكد من أنها حديثة دائمًا في فهرسنا. في هذه المرحلة نحن نقوم بالتجربة فقط ويكفي أن نقول إننا تعلمنا الكثير في تجربتنا القصيرة. لقد كنا أكثر حماسة بعض الشيء في الزحف مما كنا نرغب فيه وسنقوم بإصلاح ذلك.
يشير داني سوليفان إلى أن MSNBot لديه تعليمات لإبطائه:
عندما يقوم MSNBot بالزحف إلى موقعك، فإنه عمومًا لا يحاول الوصول إلى موقعك أكثر من مرة واحدة كل بضع ثوانٍ. إذا قرر MSNBot أن اتصال موقعك بطيء، فإنه يقوم تلقائيًا بضبط التردد. لتحديد الحد الأدنى للتكرار (بالثواني)، استخدم معلمة تأخير الزحف في ملف robots.txt:
وكيل المستخدم: msnbot
تأخير الزحف: 120
