كيفية التحكم في تفاعل Googlebot مع موقع الويب الخاص بك

ستساعدك المقالة التالية: كيفية التحكم في تفاعل Googlebot مع موقع الويب الخاص بك

أجاب قسم علاقات البحث في Google على العديد من الأسئلة المتعلقة بفهرسة صفحات الويب في الحلقة الأخيرة من البث الصوتي “Search Off The Record”.

وكانت المواضيع التي تمت مناقشتها هي كيفية منع Googlebot من الزحف إلى أقسام معينة من الصفحة وكيفية منع Googlebot من الوصول إلى موقع ما تمامًا.

أجاب جون مولر وغاري إليس من Google على الأسئلة التي تم تناولها في هذه المقالة.

حظر Googlebot من أقسام معينة في صفحة ويب

يقول مولر إنه كذلك مستحيل عند سؤالك عن كيفية منع Googlebot من الزحف إلى أقسام معينة من صفحات الويب، مثل المناطق “التي تم شراؤها أيضًا” في صفحات المنتج.

وقال مولر: “النسخة المختصرة هي أنه لا يمكنك منع الزحف إلى قسم معين في صفحة HTML”.

ومضى في تقديم استراتيجيتين محتملتين للتعامل مع هذه القضية، وشدد على أن أياً منهما لا يمثل حلاً مثالياً.

اقترح مولر استخدام سمة HTML data-nosnippet لمنع ظهور النص في مقتطف البحث.

وبدلاً من ذلك، يمكنك استخدام iframe أو JavaScript مع حظر المصدر بواسطة ملف robots.txt، على الرغم من أنه حذر من أن هذه ليست فكرة جيدة.

صرح مولر قائلاً: “يمكن أن يؤدي استخدام ملف iframe أو ملف JavaScript آليًا إلى حدوث مشكلات في الزحف والفهرسة يصعب تشخيصها وحلها”.

وطمأن جميع المستمعين أنه إذا تم إعادة استخدام المحتوى المعني عبر صفحات متعددة، فهذه ليست مشكلة تحتاج إلى إصلاح.

وأضاف: “ليست هناك حاجة لمنع Googlebot من رؤية هذا النوع من الازدواجية”.

منع Googlebot من الوصول إلى موقع الويب

ردًا على سؤال حول منع Googlebot من الوصول أي كجزء من موقع، قدمت Illyes حلاً سهل المتابعة.

“إن أبسط طريقة هي ملف robots.txt: إذا أضفت عدم السماح: / لوكيل مستخدم Googlebot، فسيترك Googlebot موقعك بمفرده طالما احتفظت بهذه القاعدة هناك،” أوضح إليس.

بالنسبة لأولئك الذين يبحثون عن حل أكثر قوة، تقدم Illyes طريقة أخرى:

وقال: “إذا كنت تريد حظر الوصول إلى الشبكة، فستحتاج إلى إنشاء قواعد جدار الحماية التي تقوم بتحميل نطاقات IP الخاصة بنا إلى قاعدة رفض”.

انظر جوجل الوثائق الرسمية للحصول على قائمة بعناوين IP الخاصة بـ Googlebot.

في ملخص

على الرغم من أنه من المستحيل منع Googlebot من الوصول إلى أقسام معينة من صفحة HTML، إلا أن طرقًا مثل استخدام السمة data-nosnippet يمكن أن توفر التحكم.

عند التفكير في حظر Googlebot من موقعك بالكامل، فإن قاعدة عدم السماح البسيطة في ملف robots.txt الخاص بك ستفي بالغرض. ومع ذلك، تتوفر أيضًا إجراءات أكثر تطرفًا مثل إنشاء قواعد محددة لجدار الحماية.

مصدر: بحث جوجل غير قابل للحفظ