ستساعدك المقالة التالية: Google: سيتم فهرسة الصفحات المحظورة بواسطة ملف Robots.txt إذا كانت مرتبطة بها
يحذر جون مولر من Google من أنه لا يزال من الممكن فهرسة الصفحات المحظورة بواسطة ملف robots.txt إذا كانت هناك روابط تشير إليها.
قد يصبح هذا مشكلة لأن محرك البحث Google سيرى بعد ذلك أن هذه الصفحات لا تحتوي على محتوى بسبب منع الزحف إليها.
يقول مولر إنه إذا كان لديك محتوى على موقعك ولا تريد أن يراه جوجل، فإن أفضل إجراء هو استخدام علامة تعريف noindex.
تم طرح هذا الموضوع أثناء جلسة Hangout الأخيرة لمركز مشرفي المواقع عندما سأل مالك الموقع عما إذا كان يكفي “عدم السماح” بالصفحات غير الضرورية للفهرسة.
رد مولر الكامل مكتوب أدناه:
“هناك شيء واحد ربما يجب أخذه في الاعتبار هنا وهو أنه إذا تم حظر هذه الصفحات بواسطة ملف robots.txt، فمن الممكن نظريًا أن يرتبط شخص ما بشكل عشوائي بإحدى هذه الصفحات. وإذا فعلوا ذلك، فمن الممكن أن نقوم بفهرسة عنوان URL هذا بدون أي محتوى لأنه محظور بواسطة ملف robots.txt. لذلك، لا نعلم أنك لا تريد فهرسة هذه الصفحات فعليًا.
أما إذا لم يتم حظرها بواسطة ملف robots.txt، فيمكنك وضع علامة تعريف noindex على تلك الصفحات. وإذا حدث أن قام أي شخص بالارتباط بها، وقمنا بالزحف إلى هذا الرابط والتفكير “ربما يوجد شيء مفيد هنا” فسنعرف أن هذه الصفحات لا تحتاج إلى فهرستها ويمكننا فقط تخطيها من الفهرسة تمامًا.
لذا، في هذا الصدد، إذا كان لديك أي شيء في هذه الصفحات لا تريد فهرسته، فلا تسمح به، استخدم noindex بدلاً من ذلك.
يمكن مشاهدة السؤال والجواب كاملا في الفيديو أدناه، ابتداء من الساعة 24:36.
لمعرفة المزيد حول حظر ملف robots.txt وعلامة noindex، راجع فئة Noindex وصفحات الأرشيف؟
