ستساعدك المقالة التالية: 5 طرق للحصول على رؤى أفضل لملف السجل لتحسين ميزانية الزحف
يعد تحسين ميزانية الزحف أمرًا بالغ الأهمية لتركيز انتباه برامج زحف محركات البحث على الصفحات الأكثر أهمية على موقع الويب الخاص بك في كل مرة يقومون بزيارتها.
تتضمن بعض الفوائد الأساسية لتحسين ميزانية الزحف ما يلي:
- تقليل تكاليف الخادم/النطاق الترددي.
- زيادة معدل الزحف إلى الصفحات القيمة.
- زيادة سرعة اكتشاف الصفحات الجديدة.
- زيادة سرعة تحديث الصفحات التي تم تغييرها في الفهرس.
إن Googlebot مجهز جيدًا ليتمكن من الزحف عبر غالبية الصفحات الموجودة على المواقع الصغيرة مع كل زيارة، وهذا ما يفسر سبب عدم رغبة موظفي Google مثل John Mueller في إضاعة مالكي مواقع الويب للوقت في القلق بشأن المواقع التي سيتم الزحف إليها بشكل جيد.
تم المبالغة في تقدير ميزانية الزحف للمنظمة البحرية الدولية (IMO). معظم المواقع لا داعي للقلق بشأن هذا الأمر أبدًا. إنه موضوع مثير للاهتمام، وإذا كنت تزحف على الويب أو تقوم بتشغيل موقع به عدة مليارات من عناوين URL، فهو مهم، ولكنه أقل أهمية بالنسبة لمالك الموقع العادي.
— 🍌 جون 🍌 (@JohnMu) 30 مايو 2018
ومع ذلك، لا يقتصر تحليل ميزانية الزحف على معرفة ما يزحف إليه Googlebot وما لا يزحف إليه.
هناك الكثير من القيمة التي يمكن اكتسابها من تحليل سلوك الروبوتات في محرك البحث بمزيد من التفاصيل، ولهذا السبب يجب على كل مُحسنات محركات البحث دمجها في عملهم اليومي.
ما الذي يمكن أن تكشفه ملفات السجل عن سلوك محرك البحث؟
من خلال الخوض في ملفات السجل، يمكنك رؤية زحف محركات البحث، وليس فقط ما تزحف إليه.
يمكنك تجميع صورة قيمة لما تجده محركات البحث مهمًا وما تواجهه من صعوبة، من خلال رسم خريطة لرحلة كل زاحف باستخدام بيانات ملف السجل.
فيما يلي خمس طرق رئيسية لتصفية بيانات ملف السجل الخاص بك للحصول على الرؤى الأكثر تأثيرًا في سلوك محرك البحث:
- رمز الحالة
- الفهرسة
- الربط الداخلي
- فئة الموقع
- الأداء العضوي
لتجربة الطرق التالية بنفسك، ستحتاج إلى الوصول إلى:
- ملفات سجل الموقع (أو أداة مثل ضوء الشمس الذي يراقب نشاط روبوت محرك البحث من خلال علامة التتبع).
- أداة زحف تدمج البيانات من أدوات مثل Google Analytics وGoogle Search Console.
- جدول بيانات جيد على الطراز القديم لإجراء بعض التصفية والتدوير.
1. رمز الحالة
يمكنك تقييم كيفية توزيع ميزانية الزحف عبر الصفحات المختلفة على موقعك من خلال تجميع بيانات ملف السجل الخاص بك حسب رمز الحالة.
يمنحك هذا نظرة عامة عالية المستوى حول مقدار ميزانية الزحف الخاصة بمحرك البحث التي يتم إنفاقها على 200 صفحة مهمة، ومقدار ما يتم إهداره على صفحات الخطأ وعمليات إعادة التوجيه.
أجراءات
بعيدًا عن هذه البيانات، إليك بعض الخطوات التي يمكنك اتخاذها لتحسين ميزانية الزحف عبر موقعك:
- قم بتحليل عناوين URL لرمز الحالة البالغ عددها 200 لتحديد أي منها لا يلزم الزحف إليه.
- أضف قواعد عدم السماح إلى ملف robots.txt الخاص بك للصفحات غير الأساسية التي تحتوي على 200 رمز حالة لجعلها غير قابلة للوصول لبرامج الزحف.
- إزالة الروابط الداخلية لصفحات 404، وإعادة توجيهها عند الضرورة.
- قم بإزالة كافة صفحات رموز الحالة غير 200 من خرائط مواقع XML.
- قم بإصلاح سلاسل إعادة التوجيه للتأكد من أن هناك خطوة واحدة فقط في كل عملية إعادة توجيه يتم الوصول إليها بواسطة برامج زحف محركات البحث والمستخدمين.
2. الفهرسة
هناك عدد من العوامل المختلفة التي تؤثر على ما إذا كان سيتم فهرسة الصفحة بواسطة محركات البحث، مثل العلامات الوصفية noindex والعلامات الأساسية.
هذا هو نوع البيانات التي يمكنك الحصول عليها من أداة الزحف ودمجها مع بيانات ملف السجل الخاص بك لتحليل أي اختلافات بين الصفحات التي يتم الزحف إليها والصفحات المفهرسة.
من المهم التأكد من أن روبوتات محرك البحث لا تهدر وقتها في الزحف إلى الصفحات التي لا يمكن إضافتها أو تحديثها في الفهرس.
أجراءات
بعد جمع هذه البيانات، إليك بعض الخطوات التي يمكنك اتخاذها لمعالجة الصفحات غير القابلة للفهرسة وتحسين كفاءة الزحف:
- تأكد من أن الصفحات غير القابلة للفهرسة التي يتم الزحف إليها ليست في الواقع صفحات مهمة يجب السماح بفهرستها.
- أضف عدم السماح بالمسارات في ملف robots.txt الخاص بك لمنع الزحف إلى الصفحات ذات الجودة المنخفضة وغير القابلة للفهرسة.
- أضف علامات noindex ذات الصلة والعلامات الأساسية إلى الصفحات لتظهر لمحركات البحث أنها ذات أهمية منخفضة.
- تحديد الصفحات غير المسموح بها التي يتم الزحف إليها بواسطة محركات البحث والتي تم حظرها بواسطة قواعد ملف robots.txt.
- تأكد من أن إعدادات معلمة Google Search Console صحيحة وحديثة.
3. الربط الداخلي
تحمل الروابط الداخلية قدرًا كبيرًا من الوزن من حيث التأثير على الصفحات التي يجب على محركات البحث الزحف إليها بشكل متكرر.
كلما زاد عدد الروابط الداخلية للصفحة، أصبح من السهل اكتشافها، وزادت فرص الزحف إليها بشكل متكرر في كل مرة يزور فيها Google موقعك.
يتيح لك تراكب بيانات نتائج الروبوتات مع بيانات الارتباط الداخلية تكوين صورة توضح مدى فهم محركات البحث لموقعك على الويب وبنيته، ومدى سهولة الوصول إليها في العثور على المناطق المختلفة في موقعك.
أجراءات
فيما يلي بعض الإصلاحات التي يمكنك تنفيذها لزيادة كفاءة الزحف من خلال الارتباط الداخلي:
- حدد الروابط الداخلية التي تتلقى قدرًا كبيرًا من زيارات الروبوت، وقم بتقييم ما إذا كانت هذه عناوين URL أساسية.
- قم بتحديث الروابط الداخلية إلى عناوين URL الأساسية.
- تأكد من أن جميع الروابط الداخلية تشير إلى 200 عنوان URL مقصود نهائي لرمز الحالة، وأنها لا تقوم بإعادة التوجيه.
- حدد الصفحات المهمة التي تتلقى عددًا منخفضًا من زيارات الروبوت، وأضف المزيد من الروابط الداخلية إلى هذه الصفحات لتحسين تكرار الزحف.
4. فئة الموقع
لا تحمل جميع فئات المواقع نفس الوزن والأهمية بالنسبة للأعمال التجارية لجذب التحويلات من خلال محركات البحث أو لإرسال حركة المرور العضوية إليها.
بالنسبة لموقع التجارة الإلكترونية، يجب أن يتم الزحف إلى صفحات المنتج بشكل متكرر أكثر بواسطة محركات البحث لأنها تتغير بشكل متكرر ويجب أن تنعكس هذه التغييرات باستمرار في فهرس محرك البحث.
ومع ذلك، فإن منشور المدونة الدائم الخضرة الذي يتم تحديثه مرة واحدة سنويًا، سيكون له أولوية أقل بكثير لموقع الويب من حيث تكرار الزحف.
يمكن أن يوفر تقسيم بيانات ملف السجل الخاص بك حسب فئة الموقع رؤى لا تقدر بثمن حول إمكانية الزحف لكل منها، وعدد مرات زيارتها بواسطة محركات البحث.
أجراءات
فيما يلي بعض الخطوات التي يمكنك اتخاذها لتحسين كفاءة الزحف عبر فئات موقعك:
- حدد الشرائح التي تتلقى عددًا كبيرًا من زيارات الروبوت ولكنها لا تتلقى نقرات أو مرات ظهور.
- حدد أجزاء الموقع التي تتلقى عددًا منخفضًا من زيارات الروبوت، وتأكد من سهولة الوصول إليها في بنية الموقع لتحسين عملية الزحف.
- تقييم أين يتم توزيع ميزانية الزحف الكبيرة عبر أشكال مختلفة من مواقع الويب، مثل صفحات سطح المكتب والجوال المنفصلة وصفحات AMP (صفحات الجوال المسرّعة).
- قم بتعيين تكرار الزحف مقابل كل مقطع لضمان قدرة Googlebot على مواكبة فئات الصفحات المتغيرة بشكل متكرر عن طريق الزحف إليها بانتظام.
5. الأداء العضوي
بعض المقاييس الأكثر قيمة التي يمكنك تراكب بيانات ملف السجل بها هي مقاييس الأداء العضوية مثل مرات الظهور في SERPs (صفحات نتائج محرك البحث) وحركة المرور إلى موقع الويب الخاص بك من المستخدمين.
من المهم أن تفهم كيفية زحف محركات البحث إلى موقعك على الويب والتنقل فيه، ولكن النتيجة النهائية التي نهدف إليها جميعًا هي الوصول إلى المستخدمين من خلال المحتوى الخاص بنا.
قد تحصل الصفحة على عدد كبير من الزيارات من روبوتات محرك البحث، ولكن هذا قد يخيب بسبب حقيقة أن الصفحة لا تحصل على أي مرات ظهور أو حركة مرور.
يسمح لك تعيين مقاييس الأداء مقابل بيانات ملف السجل بتحليل مدى إمكانية وصول المستخدمين إلى صفحاتك، وليس فقط محركات البحث.
أجراءات
فيما يلي بعض الخطوات التي يمكنك اتخاذها لتحسين إمكانية اكتشاف صفحاتك الرئيسية وأدائها في البحث العضوي:
- تحديد الصفحات التي تستقبل حركة المرور ومرات الظهور التي لا يتم الزحف إليها بواسطة محركات البحث.
- تأكد من تضمين الصفحات عالية الأداء في خرائط مواقع XML وتحسين الارتباط الداخلي بها لتشجيع الزحف المنتظم.
- حدد الصفحات التي يتم الزحف إليها بشكل منتظم ولكنها لا تتلقى مرات ظهور أو زيارات، ثم قم بتصفيتها وصولاً إلى الصفحة الرئيسية.
- عناوين URL لمعرفة الصفحات المهمة التي لا تؤدي أداءً كما ينبغي في البحث.
- قم بمراجعة هذه الصفحات ذات الأداء المنخفض للتحقق من المشكلات التي قد تؤثر على أداء تصنيفها، مثل جودة المحتوى واستهداف الهدف، بالإضافة إلى مشكلات الفهرسة والعرض التي قد تمنع محركات البحث من الوصول إلى محتواها.
تعد المراقبة المستمرة لملف السجل أمرًا بالغ الأهمية
إن إجراء تدقيق ميزانية الزحف باستخدام بيانات ملف السجل بهذه الطريقة ليس مجرد مهمة لمرة واحدة. لفهم سلوك محرك البحث حقًا، من المهم مراقبة هذه المناطق بانتظام.
يتقلب سلوك الزحف بشكل مستمر، اعتمادًا على مجموعة من العوامل، مثل خوارزميات تحديد أولويات الزحف في Googlebot، والمشكلات الفنية في موقعك والتي يمكن أن تؤثر على الزحف.
ولهذا السبب من المهم تتبع التغييرات في كيفية إنفاق ميزانية الزحف عبر موقعك بمرور الوقت، من خلال مراقبة المقاييس باستمرار مثل متوسط معدل ضربات الروبوت لكل جزء من الموقع ورمز الحالة، على سبيل المثال.
لتلخيص
يجب أن يلعب تحليل ملف السجل دورًا في العمل اليومي لكل متخصص في تحسين محركات البحث، حيث تعد ملفات السجل إحدى الطرق التي يمكنك من خلالها الاقتراب من فهم Googlebot.
تحاول أدوات تحسين محركات البحث (SEO) محاكاة سلوك زاحف محرك البحث، ولكن باستخدام ملفات السجل، يمكنك تحليل الشيء الحقيقي.
من خلال الإسناد الترافقي لنتائج روبوت محرك البحث باستخدام مقاييس مهمة مثل إمكانية الفهرسة والارتباط الداخلي وأداء الصفحة، ستتمكن من اكتشاف رؤى أكثر قيمة حول إمكانية الوصول إلى موقع ويب لمحركات البحث التي تحتاج إلى الزحف إليه.
المزيد من الموارد:
