ستساعدك المقالة التالية: تحسين محركات البحث المجنون: منع فهرسة ملف Robots.txt
كان هناك موضوع ممتع يحدث في عالم مشرفي المواقع مناقشة طريقة لمنع Google من ترتيب ملف Robots.txt في SERPs.
جوجل فهرسة حاليا 62,100 ملف robots.txt. كثير منهم لديهم علاقات عامة جيدة في حين والبعض الآخر ليس لديه روابط خلفية على الإطلاق (وفقًا لموقع Yahoo Site Explorer على الأقل):
المفارقة هي أن:
- أنت لا يمكن استخدام ملف robots.txt لحظر ملف robots.txt (هذا أمر جنوني حقًا، لأنه في هذه الحالة لن يتمكن محرك البحث من الزحف إلى ملف robots.txt وبالتالي اكتشاف أنه غير قادر على القيام بذلك)؛
- أنت غير قادر على استخدام العلامات الوصفية في ملف robots.txt ملف؛
- أنت لا يمكن إزالة الملف باستخدام أدوات مشرفي المواقع من Google لأنه لذلك تحتاج إما إلى حظره في ملف robots.txt أو استخدام العلامات الوصفية (لا يمكنك القيام بذلك) أو إرجاع رأس 404 وهو أمر مستحيل أيضًا (لأنه موجود بالفعل).
حسب قول عضو المنتدى:
على أية حال، هذا يثير السؤال الجنوني، كيف يمكنك إزالة ملف robots.txt من فهرس Google؟ إذا كنت تستخدم ملف robots.txt لحظره، فهذا يعني أنه لا ينبغي لـ googlebot حتى أن يطلب ملف robots.txt – وهي حلقة مجنونة. وبالطبع، لا تستخدم العلامات الوصفية في ملف robots.txt.
مثير للاهتمام، أليس كذلك؟
واقترح عضو آخر في مجلس الإدارة استخدام علامة X-الروبوتات في رأس HTTP:
مجموعة الرأس X-Robots-Tag “noindex، nofollow”
يبدو الحل جيدًا جدًا ومن الجيد أيضًا أن يقوم مُحسنات محركات البحث (SEO) أخيرًا برؤية القيمة في علامة X-Robots-Tag التي يتم استخدامها بشكل غامض.
سؤال آخر هو لماذا ستحتاج إلى منع فهرسة ملف robots.txt الخاص بك وتصنيفه (الحل الأسهل بكثير هو إزالة الملف بالكامل). لكن هذا ليس مهما على الإطلاق في هذه الحالة. تظل الحقيقة كما هي: يجب أن يكون لدى مشرفي المواقع طرق لإخفاء أي من صفحاتهم من برامج زحف البحث أو منعها من الظهور في SERPs وأن يكونوا على دراية بها.
