الأخبار التكنولوجية والاستعراضات والنصائح!

كل ما تحتاج لمعرفته حول رأس HTTP X-Robots-Tag

ستساعدك المقالة التالية: كل ما تحتاج لمعرفته حول رأس HTTP X-Robots-Tag

يعتمد تحسين محركات البحث، بمعناه الأساسي، على شيء واحد قبل كل شيء آخر: عناكب محركات البحث التي تزحف إلى موقعك وفهرسته.

لكن كل موقع ويب تقريبًا سيكون به صفحات لا تريد تضمينها في هذا الاستكشاف.

على سبيل المثال، هل تريد حقًا ظهور سياسة الخصوصية أو صفحات البحث الداخلية الخاصة بك في نتائج Google؟

في أفضل السيناريوهات، لا تفعل هذه الأشياء شيئًا لجذب حركة المرور إلى موقعك بشكل نشط، وفي أسوأ الحالات، قد تقوم بتحويل حركة المرور من الصفحات الأكثر أهمية.

لحسن الحظ، تسمح Google لمشرفي المواقع بإخبار روبوتات محرك البحث بالصفحات والمحتوى الذي يجب الزحف إليه وما الذي يجب تجاهله. هناك عدة طرق للقيام بذلك، وأكثرها شيوعًا هو استخدام ملف robots.txt أو علامة meta robots.

لدينا شرح ممتاز ومفصل لتفاصيل ملف robots.txt، والذي يجب عليك قراءته بالتأكيد.

ولكن في المصطلحات عالية المستوى، فهو ملف نصي عادي يعيش في جذر موقع الويب الخاص بك ويتبع ملف بروتوكول استبعاد الروبوتات (REP).

يزود ملف Robots.txt برامج الزحف بتعليمات حول الموقع ككل، بينما تشتمل علامات meta robots على توجيهات لصفحات محددة.

تتضمن بعض علامات الروبوتات الوصفية التي قد تستخدمها فِهرِسوالذي يطلب من محركات البحث إضافة الصفحة إلى فهرسها؛ noindexوالذي يخبره بعدم إضافة صفحة إلى الفهرس أو تضمينها في نتائج البحث؛ يتبع، الذي يوجه محرك البحث لمتابعة الروابط الموجودة على الصفحة؛ لا اتباع، والذي يخبره بعدم اتباع الروابط، ومجموعة كاملة من الروابط الأخرى.

تعد كل من علامات robots.txt وعلامات meta robots أدوات مفيدة يجب الاحتفاظ بها في صندوق الأدوات الخاص بك، ولكن هناك أيضًا طريقة أخرى لتوجيه روبوتات محرك البحث إلى noindex أو nofollow: علامة X-الروبوتات.

ما هي علامة X-Robots؟

تعد علامة X-Robots-Tag طريقة أخرى للتحكم في كيفية الزحف إلى صفحات الويب الخاصة بك وفهرستها بواسطة العناكب. كجزء من استجابة رأس HTTP لعنوان URL، فإنه يتحكم في فهرسة الصفحة بأكملها، بالإضافة إلى العناصر المحددة في تلك الصفحة.

وبينما يعد استخدام علامات meta robots أمرًا بسيطًا إلى حد ما، فإن علامة X-Robots-Tag أكثر تعقيدًا بعض الشيء.

لكن هذا بالطبع يثير التساؤل:

متى يجب عليك استخدام علامة X-Robots-Tag؟

وفق جوجل، “يمكن أيضًا تحديد أي توجيه يمكن استخدامه في العلامة الوصفية لبرامج الروبوت كعلامة X-Robots-Tag.”

على الرغم من أنه يمكنك تعيين التوجيهات المتعلقة بملف robots.txt في رؤوس استجابة HTTP باستخدام علامة meta robots وعلامة X-Robots، إلا أن هناك مواقف معينة قد ترغب فيها في استخدام علامة X-Robots-Tag – وهما الأكثر شيوعًا يجري عندما:

  • تريد التحكم في كيفية الزحف إلى ملفاتك غير بتنسيق HTML وفهرستها.
  • تريد تقديم التوجيهات على مستوى الموقع بدلاً من تقديمها على مستوى الصفحة.

على سبيل المثال، إذا كنت تريد حظر الزحف إلى صورة أو مقطع فيديو معين – فإن طريقة استجابة HTTP تجعل ذلك أمرًا سهلاً.

يُعد رأس X-Robots-Tag مفيدًا أيضًا لأنه يسمح لك بدمج علامات متعددة ضمن استجابة HTTP أو استخدام قائمة توجيهات مفصولة بفواصل لتحديد التوجيهات.

ربما لا تريد تخزين صفحة معينة مؤقتًا وتريد أن تكون غير متاحة بعد تاريخ معين. يمكنك استخدام مجموعة من العلامات “noarchive” و”unavailable_after” لتوجيه روبوتات محرك البحث لاتباع هذه التعليمات.

تكمن قوة علامة X-Robots-Tag بشكل أساسي في أنها أكثر مرونة من علامة meta robots.

تتمثل ميزة استخدام X-Robots-Tag مع استجابات HTTP في أنه يسمح لك باستخدام التعبيرات العادية لتنفيذ توجيهات الزحف على لغة غير HTML، بالإضافة إلى تطبيق المعلمات على مستوى عالمي أكبر.

ولمساعدتك على فهم الفرق بين هذه التوجيهات، من المفيد تصنيفها حسب النوع. بمعنى هل هي توجيهات الزاحف أم توجيهات المفهرس؟

فيما يلي ورقة الغش المفيدة لشرح:

توجيهات الزاحفتوجيهات المفهرس
ملف الروبوتات.txt – يستخدم توجيهات وكيل المستخدم، والسماح، وعدم السماح، وخريطة الموقع لتحديد المكان الذي يُسمح فيه لروبوتات محرك البحث في الموقع بالزحف وعدم السماح له بالزحف.علامة ميتا الروبوتات – يسمح لك بتحديد ومنع محركات البحث من عرض صفحات معينة على موقع ما في نتائج البحث.

لا اتباع – يسمح لك بتحديد الروابط التي لا ينبغي أن تمر على السلطة أو نظام تصنيف الصفحات.

علامة X-Robots – يسمح لك بالتحكم في كيفية فهرسة أنواع الملفات المحددة.

أين تضع علامة X-Robots-Tag؟

لنفترض أنك تريد حظر أنواع معينة من الملفات. الطريقة المثالية هي إضافة X-Robots-Tag إلى تكوين Apache أو ملف htaccess.

يمكن إضافة علامة X-Robots-Tag إلى استجابات HTTP الخاصة بالموقع في تكوين خادم Apache عبر ملف htaccess.

أمثلة من العالم الحقيقي واستخدامات علامة X-Robots

يبدو هذا رائعًا من الناحية النظرية، ولكن كيف يبدو الأمر في العالم الحقيقي؟ لنلقي نظرة.

لنفترض أننا أردنا ألا تقوم محركات البحث بفهرسة أنواع ملفات .pdf. سيبدو هذا التكوين على خوادم Apache كما يلي:

مجموعة الرأس X-Robots-Tag “noindex, nofollow”

في Nginx، سيبدو الأمر كما يلي:

location ~* .pdf$ { add_header X-Robots-Tag “noindex, nofollow”; }

الآن، دعونا ننظر إلى سيناريو مختلف. لنفترض أننا نريد استخدام X-Robots-Tag لمنع فهرسة ملفات الصور، مثل .jpg و.gif و.png وما إلى ذلك. يمكنك القيام بذلك باستخدام علامة X-Robots-Tag التي تبدو كما يلي:

تعيين الرأس X-Robots-Tag “noindex”

يرجى ملاحظة أن فهم كيفية عمل هذه التوجيهات وتأثيرها على بعضها البعض أمر بالغ الأهمية.

على سبيل المثال، ماذا يحدث إذا تم العثور على علامة X-Robots-Tag وعلامة meta robots عندما تكتشف برامج التتبع عنوان URL؟

إذا تم حظر عنوان URL هذا من ملف robots.txt، فلا يمكن اكتشاف توجيهات معينة للفهرسة والعرض ولن يتم اتباعها.

إذا كان يجب اتباع التوجيهات، فلا يمكن منع الزحف إلى عناوين URL التي تحتوي عليها.

تحقق من وجود علامة X-Robots

هناك عدة طرق مختلفة يمكن استخدامها للتحقق من وجود علامة X-Robots-Tag على الموقع.

أسهل طريقة للتحقق هي تثبيت امتداد المتصفح سيخبرك ذلك بمعلومات X-Robots-Tag حول عنوان URL.

لقطة شاشة لمدقق استبعاد الروبوتات، ديسمبر 2022

مكون إضافي آخر يمكنك استخدامه لتحديد ما إذا كان سيتم استخدام X-Robots-Tag، على سبيل المثال، هو البرنامج المساعد لمطور الويب.

من خلال النقر على المكون الإضافي في متصفحك والانتقال إلى “عرض رؤوس الاستجابة”، يمكنك رؤية رؤوس HTTP المختلفة المستخدمة.

هناك طريقة أخرى يمكن استخدامها للقياس من أجل تحديد المشكلات على مواقع الويب التي تحتوي على مليون صفحة وهي Screaming Frog.

بعد تشغيل موقع من خلال Screaming Frog، يمكنك الانتقال إلى عمود “X-Robots-Tag”.

سيُظهر لك هذا أقسام الموقع التي تستخدم العلامة، بالإضافة إلى التوجيهات المحددة.

لقطة شاشة لتقرير الضفدع الصارخ. X-Robot-Tag، ديسمبر 2022

استخدام علامات X-Robots على موقعك

يعد فهم كيفية تفاعل محركات البحث مع موقع الويب الخاص بك والتحكم فيها هو حجر الزاوية في تحسين محرك البحث. وتعد X-Robots-Tag أداة قوية يمكنك استخدامها للقيام بذلك.

فقط كن على علم: الأمر لا يخلو من المخاطر. من السهل جدًا ارتكاب الأخطاء وإلغاء فهرسة موقعك بالكامل.

ومع ذلك، إذا كنت تقرأ هذه المقالة، فمن المحتمل أنك لست مبتدئًا في تحسين محركات البحث. طالما أنك تستخدمه بحكمة، خذ وقتك وتحقق من عملك، ستجد X-Robots-Tag إضافة مفيدة لترسانتك.

المزيد من الموارد: