ستساعدك المقالة التالية: أسئلة وأجوبة حول تحسين محركات البحث: كيفية منع Google من الزحف إلى الصفحة وفهرستها؟
إذن هذا هو شرحي التفصيلي للمشكلة بالإضافة إلى الحل:
بالنسبة لي، كان حظر الصفحات عبر ملف Robots.txt دائمًا يهدف في المقام الأول إلى توفير وقت الروبوت بدلاً من محاولة إخفاء أي شيء فعليًا. تزحف روبوتات البحث بميزانية محدودة: وبالتالي كلما زاد عدد الصفحات “الإضافية” التي تستبعدها منذ البداية، كلما زاد الوقت الذي ستقضيه في البحث عن المزيد من الصفحات الغنية بالمحتوى وإدراجها (أو تحديثها) في الفهرس.
ما زال توجيه “عدم السماح” القياسي يفعله هو جعل Google يحذف الصفحة من الفهرس. لذلك قد ينتهي بك الأمر إلى رؤية تلك الصفحات المحظورة في Google SERPs – لن يعرف Google ما تحتويه بالفعل، لذلك سيصدر أحكامًا بناءً على المراجع الداخلية والخارجية لتلك الصفحات.
لذا فإن السؤال الطبيعي الناتج عن الحالة المذكورة أعلاه هو “كيف أجعل Google يتجاهل تلك الصفحات “الإضافية” تمامًا: حتى لا أضيع وقت الزحف عليها وعدم إدراجها في نتائج نتائج البحث (SERPs)؟”
الجواب ليس بهذه البساطة كما قد يبدو. لن تعمل العلامة الوصفية “NoIndex” المستخدمة على نطاق واسع لأن Google لن يراها: الصفحة محظورة من Google، لذا لا يستطيع Google الدخول إليها لرؤية العلامة التعريفية لبرامج الروبوت.
هناك حلان آخران ممكنان بالرغم من ذلك:
1. استخدم Robots.txt Disallow meta tag ثم استخدم أداة إزالة URL ضمن أدوات مشرفي المواقع من Google؛
2. استخدم Robots.txt Noindex direcive – وهو مدعوم بشكل غير رسمي من قبل Google ويمكن أن يكون إحدى الخطوات للمساعدة في تحديد نظام ترتيب الصفحات. سيؤدي هذا التوجيه إلى منع الزحف إلى الصفحة وفهرستها:
وكيل المستخدم: googlebot
noindex: /login.php
عدم السماح: /login.php
