الأخبار التكنولوجية والاستعراضات والنصائح!

Google SEO 101: حظر الملفات الخاصة في ملف Robots.txt

ستساعدك المقالة التالية: Google SEO 101: حظر الملفات الخاصة في ملف Robots.txt

يجيب جون مولر من Google على سؤال حول استخدام ملف robots.txt لحظر الملفات الخاصة، بما في ذلك .css و.htacess.

تمت مناقشة هذا الموضوع بشيء من التفصيل في الإصدار الأخير من سلسلة الفيديو حول YouTube.

وهنا السؤال الذي تم طرحه:

ردًا على ذلك، يقول مولر إن Google لا يمكنها منع مالكي المواقع من عدم السماح بهذه الملفات. على الرغم من أنه بالتأكيد غير مستحسن.

“لا. لا يمكنني منعك من رفض تلك الملفات. لكن هذا يبدو وكأنه فكرة سيئة. لقد ذكرت بعض الحالات الخاصة، لذا دعونا نلقي نظرة.

في بعض الحالات، يكون حظر الملفات الخاصة أمرًا متكررًا، على الرغم من أنه في حالات أخرى قد يؤثر بشكل خطير على قدرة Googlebot على الزحف إلى موقع ما.

فيما يلي شرح لما سيحدث عند حظر كل نوع من الملفات الخاصة.

متعلق ب: كيفية معالجة المخاطر الأمنية باستخدام ملفات Robots.txt

حظر CSS

يعد الزحف إلى CSS أمرًا بالغ الأهمية لأنه يسمح لـ Googlebot بعرض الصفحات بشكل صحيح.

قد يشعر مالكو المواقع أنه من الضروري حظر ملفات CSS حتى لا تتم فهرسة الملفات من تلقاء أنفسهم، لكن يقول مولر إن هذا لا يحدث عادةً.

يحتاج Google إلى الملف بغض النظر عن ذلك، لذلك حتى إذا انتهى الأمر بفهرسة ملف CSS، فلن يحدث ضررًا كبيرًا مثل حظره.

وهذا رد مولر:

“سيقوم “*.css” بحظر كافة ملفات CSS. يجب أن نكون قادرين على الوصول إلى ملفات CSS حتى نتمكن من عرض صفحاتك بشكل صحيح.

يعد هذا أمرًا بالغ الأهمية حتى نتمكن من التعرف على متى تكون الصفحة متوافقة مع الجوّال، على سبيل المثال.

لن تتم فهرسة ملفات CSS بشكل عام من تلقاء نفسها، ولكن يجب أن نكون قادرين على الزحف إليها.

حجب PHP

إن استخدام ملف robots.txt لحظر ملف php.ini ليس ضروريًا لأنه ليس ملفًا يمكن الوصول إليه بسهولة على أية حال.

يجب إغلاق هذا الملف، مما يمنع حتى Googlebot من الوصول إليه. وهذا جيد تمامًا.

يعد حظر PHP أمرًا زائدًا عن الحاجة، كما يوضح مولر:

“لقد ذكرت أيضًا PHP.ini – وهو ملف تكوين لـ PHP. بشكل عام، يجب أن يكون هذا الملف مقفلاً، أو في مكان خاص حتى لا يتمكن أحد من الوصول إليه.

وإذا لم يتمكن أحد من الوصول إليه، فهذا يشمل Googlebot أيضًا. لذا، مرة أخرى، لا داعي لمنع الزحف إلى ذلك.”

منع htaccess

مثل PHP، يعد .htaccess ملفًا مقفلاً. وهذا يعني أنه لا يمكن الوصول إليه خارجيًا، حتى عن طريق Googlebot.

وليس من الضروري أن يتم رفضه لأنه لا يمكن الزحف إليه في المقام الأول.

“أخيرًا، لقد ذكرت .htaccess. هذا ملف تحكم خاص لا يمكن الوصول إليه خارجيًا بشكل افتراضي. مثل الملفات المقفلة الأخرى، لا تحتاج إلى منعها صراحةً من الزحف حيث لا يمكن الوصول إليها على الإطلاق.

متعلق ب: أفضل الممارسات لإعداد علامات Meta Robots وRobots.txt

توصيات مولر

اختتم مولر الفيديو ببضع كلمات قصيرة حول الطريقة التي يجب أن يتبعها مالكو الموقع في إنشاء ملف robots.txt.

يميل مالكو المواقع إلى مواجهة المشكلات عند نسخ ملف robots.txt لموقع آخر واستخدامه باعتباره ملفًا خاصًا بهم.

وينصح مولر بعدم القيام بذلك. وبدلاً من ذلك، فكر بشكل نقدي في أجزاء موقعك التي لا تريد أن يتم الزحف إليها وقم بالتنصل منها فقط.

“نصيحتي هي عدم إعادة استخدام ملف robots.txt الخاص بشخص آخر والافتراض أنه سيعمل. وبدلاً من ذلك، فكر في أجزاء موقعك التي لا ترغب حقًا في الزحف إليها وامنع الزحف إليها.

مقالات ذات صلة: