ستساعدك المقالة التالية: هل تواجه Google مشكلة مع ملفات Robots.txt الكبيرة؟
تتناول Google موضوع ملفات robots.txt وما إذا كان من الممارسات الجيدة لتحسين محركات البحث الاحتفاظ بها ضمن حجم معقول.
تمت مناقشة هذا الموضوع بواسطة محامي بحث Google، جون مولر، خلال جلسة Hangout الخاصة بساعات عمل مكتب Google Search Central SEO والتي تم تسجيلها في 14 يناير.
ينضم ديفيد زيجر، مدير تحسين محركات البحث (SEO) لناشر أخبار كبير في ألمانيا، إلى البث المباشر مع مخاوف بشأن ملف robots.txt “الضخم” و”المعقد”.
ما مدى ضخامة ما نتحدث عنه هنا؟
يقول زيجر أن هناك أكثر من 1500 سطر بها “عدد كبير” من حالات عدم السماح التي تستمر في النمو على مر السنين.
تمنع عناصر عدم السماح Google من فهرسة أجزاء HTML وعناوين URL التي يتم فيها استخدام مكالمات AJAX.
يقول Zieger إنه ليس من الممكن تعيين noindex، وهي طريقة أخرى لإبقاء الأجزاء وعناوين URL خارج فهرس Google، لذلك لجأ إلى ملء ملف robots.txt الخاص بالموقع بأشياء غير مسموح بها.
هل هناك أي تأثيرات سلبية على تحسين محركات البحث (SEO) يمكن أن تنتج عن ملف robots.txt الضخم؟
إليكم ما يقوله مولر.
اعتبارات تحسين محركات البحث (SEO) لملفات Robots.txt الكبيرة
لن يتم استخدام ملف robots.txt كبير الحجم مباشرة التسبب في أي تأثير سلبي على SEO للموقع.
ومع ذلك، من الصعب الحفاظ على ملف كبير الحجم، مما قد يؤدي إلى حدوث مشكلات عرضية في المستقبل.
يوضح مولر:
“لا توجد مشكلات سلبية مباشرة في تحسين محركات البحث مع ذلك، ولكنه يجعل الحفاظ عليه أكثر صعوبة. وهذا يجعل الأمر أسهل كثيرًا لدفع شيء يسبب مشكلات عن طريق الخطأ.
لذا فإن مجرد كونه ملفًا كبيرًا لا يعني أنه يمثل مشكلة، ولكنه يسهل عليك خلق المشكلات.
يتابع Zieger الأمر بالسؤال عما إذا كانت هناك أية مشكلات تتعلق بعدم تضمين خريطة الموقع في ملف robots.txt.
يقول مولر أن هذه ليست مشكلة:
“لا. هذه الطرق المختلفة لإرسال خريطة الموقع كلها متكافئة بالنسبة لنا.”
يبدأ Zieger بعد ذلك في طرح العديد من أسئلة المتابعة الأخرى التي سنلقي نظرة عليها في القسم التالي.
متعلق ب: Google SEO 101: حظر الملفات الخاصة في ملف Robots.txt
هل يتعرف Google على أجزاء HTML؟
يسأل زيجر مولر عن تأثير تحسين محركات البحث (SEO) الناتج عن تقصير ملف robots.txt بشكل جذري. مثل إزالة جميع المحظورات، على سبيل المثال.
يتم طرح الأسئلة التالية:
- هل يتعرف Google على أجزاء HTML التي لا تتعلق بزائري الموقع؟
- هل ستنتهي أجزاء HTML في فهرس بحث Google إذا لم تكن غير مسموح بها في ملف robots.txt؟
- كيف يتعامل Google مع الصفحات التي يتم فيها استخدام مكالمات AJAX؟ (مثل عنصر الرأس أو التذييل)
ويلخص أسئلته بالقول إن معظم العناصر غير المسموح بها في ملف robots.txt الخاص به هي عناصر الرأس والتذييل التي لا تهم المستخدم.
يقول مولر إنه من الصعب معرفة ما سيحدث بالضبط إذا سُمح فجأة بفهرسة تلك الأجزاء.
قد يكون أسلوب التجربة والخطأ هو أفضل طريقة لمعرفة ذلك، كما يوضح مولر:
“من الصعب أن تقول ما تعنيه فيما يتعلق بتلك الأجزاء
أعتقد أنه سيكون هناك محاولة لمعرفة كيفية استخدام عناوين URL المجزأة هذه. وإذا لم تكن متأكدًا، فربما تأخذ أحد عناوين URL المجزأة هذه وتسمح بالزحف إليها، وتنظر إلى محتوى عنوان URL المجزأ هذا، ثم تحقق لمعرفة ما يحدث في البحث.
هل يؤثر ذلك على أي شيء فيما يتعلق بالمحتوى المفهرس على موقعك؟
هل يمكن العثور على بعض هذا المحتوى داخل موقعك فجأة؟
هل تلك مشكلة أم لا؟
وحاول العمل بناءً على ذلك، لأنه من السهل جدًا حظر الأشياء عن طريق ملف robots.txt، والذي لا يتم استخدامه فعليًا للفهرسة، ثم تقضي الكثير من الوقت في صيانة ملف robots.txt الضخم هذا، لكنه في الواقع لا يفعل ذلك غيّر هذا كثيرًا لموقعك على الويب.”
متعلق ب: أفضل الممارسات لإعداد علامات Meta Robots وRobots.txt
اعتبارات أخرى لإنشاء ملف Robots.txt
لدى Zieger متابعة أخيرة فيما يتعلق بملفات robots.txt، ويسأل عما إذا كانت هناك أي إرشادات محددة يجب اتباعها عند إنشاء ملف.
يقول مولر إنه لا يوجد تنسيق محدد يجب اتباعه:
“لا، الأمر متروك لك في الأساس. مثل بعض المواقع التي تحتوي على ملفات كبيرة، وبعض المواقع لديها ملفات صغيرة، يجب أن تعمل جميعها فقط.
لدينا كود مفتوح المصدر لمحلل robots.txt الذي نستخدمه. إذن ما يمكنك فعله أيضًا هو مطالبة المطورين بتشغيل هذا المحلل اللغوي لك، أو إعداده بحيث يمكنك اختباره، ثم التحقق من عناوين URL الموجودة على موقع الويب الخاص بك باستخدام هذا المحلل لمعرفة عناوين URL التي سيتم حظرها فعليًا و ما الذي من شأنه أن يتغير. وبهذه الطريقة يمكنك اختبار الأشياء قبل أن تجعلها حية.
يمكن العثور على محلل ملف robots.txt الذي يشير إليه مولر على جيثب.
استمع للمناقشة كاملة في الفيديو أدناه:
