ستساعدك المقالة التالية: تثبت البيانات على ما يبدو أن زحف Googlebot قد تباطأ
كانت هناك مناقشات مستمرة خلال الأسابيع القليلة الماضية عبر وسائل التواصل الاجتماعي مفادها أن Googlebot قد قلل من عملية الزحف بشكل كبير. على سبيل المثال، قام مؤسس خدمة تحليل الزحف على الويب بتغريد رسم بياني يوضح كيفية انخفاض نشاط الزحف في Google منذ 11 نوفمبر 2021.
على الرغم من أن تباطؤ الفهرسة لا يؤثر على جميع المواقع، إلا أن الكثير منها Twitter يتفق كل من Reddit وReddit على أن شيئًا ما تغير في Google فيما يتعلق بالفهرسة وإثبات ذلك من خلال لقطات شاشة لنشاط Googlebot.
دليل على انخفاض الزحف
تتراكم الأدلة المتناقلة عن حالات شاذة في زحف Google على وسائل التواصل الاجتماعي. تكمن المشكلة في وسائل التواصل الاجتماعي في أنه يمكن للمرء فعليًا إبداء أي ملاحظة حول جوجل ويكاد يكون من المؤكد حصوله على الموافقة.
القصص القصصية مثيرة للاهتمام ولكنها ليست جيدة مثل الملاحظات المدعومة بالبياناتوهو ما ظهر مؤخراً Twitter.
مؤسس خدمة تحليل الزاحف والسجلات Seolyzer (@Seolyzer_io) نشر رسمًا بيانيًا لسلوك زحف Google والذي أظهر انخفاضًا كبيرًا في نشاط الزحف بدءًا من 11 تشرين الثاني (نوفمبر).
نشر:
“Googlebot في حالة إضراب! لقد قام Googlebot بتخفيض نشاط الزحف بشكل كبير على العديد من المواقع الكبيرة منذ 11 نوفمبر الساعة 6 مساءً (بتوقيت جرينتش).”
🔥 Googlebot في حالة إضراب! 😱 قام Googlebot بتخفيض نشاط الزحف بشكل كبير على العديد من المواقع الكبيرة منذ 11 نوفمبر الساعة 6 مساءً (بتوقيت جرينتش). هل أنت قلق؟ فإنه يتطلب موضوع! 🔽 pic.twitter.com/ugLmCZbC1O
– أوليفييه @Seolyzer.io 🚀 (@Seolyzer_io) 15 نوفمبر 2021
304 رمز استجابة الخادم وزحف Googlebot
لاحظ البعض وجود نمط في Googlebot لم يعد فجأة يزحف إلى الصفحات التي تخدم رمز استجابة الخادم 304.
رمز الاستجابة 304 يعني
يتم إنشاء رمز الاستجابة هذا بواسطة الخادم عندما يقدم المتصفح (أو Googlebot) طلبًا مشروطًا لصفحة ما.
وهذا يعني أن المتصفح (أو Googlebot) يخبر الخادم بأن لديه صفحة ويب محفوظة في ذاكرة التخزين المؤقت، لذا لا تهتم بعرضها إلا إذا تم تحديث (تعديل) تلك الصفحة.
فيما يلي تعريف لرمز استجابة الخادم 304 (غير المعدل) من ملف مجموعة عمل HTTP:
“يشير رمز الحالة 304 (غير معدل) إلى أنه تم استلام طلب GET أو HEAD المشروط وكان من الممكن أن يؤدي إلى استجابة 200 (OK) لولا حقيقة تقييم الحالة على أنها خاطئة.
بمعنى آخر، ليست هناك حاجة إلى أن يقوم الخادم بنقل تمثيل للمورد الهدف لأن الطلب يشير إلى أن العميل، الذي جعل الطلب مشروطًا، لديه بالفعل تمثيل صالح؛ ولذلك يقوم الخادم بإعادة توجيه العميل للاستفادة من هذا التمثيل المخزن كما لو كان حمولة استجابة 200 (موافق).”
304 استجابة تسبب زحف Googlebot أقل؟
قام أحد الأشخاص بالتغريد بتأكيد (باللغة الفرنسية) أنه في العديد من المواقع التي تحتوي على AMP والتي يراقبها، شهدت انخفاضًا في الصفحات التي استجابت برد 304.
لقد قمت بتأكيد ذلك أيضًا في وحدة التحكم في البحث على العديد من المواقع مع أكثر من 304 حالة تلبس في 12 نوفمبر
– إروان لو تاليك (@eletallec) 15 نوفمبر 2021
استجاب الشخص الذي نشر التغريدة الأصلية بمنشور رسم بياني يوضح كيف توقف Google تقريبًا عن الزحف إلى الصفحات التي استجابت برمز استجابة الخادم 304:
النظرية 2: 304 ثانية pic.twitter.com/KQ2k1pgteS
– أوليفييه @Seolyzer.io 🚀 (@Seolyzer_io) 15 نوفمبر 2021
لاحظ آخرون مشكلة مماثلة حيث كانت الصفحات التي تقدم استجابة 304 ذات معدلات زحف أقل بشكل كبير:
lol j’ai vu ça ce WE et avant de faire un thread je cherchais des infos / annonces pouvant expliquer mais l’explication c’est clairement amp et 304
– رافائيل دوسيه (@ RaphSEO) 15 نوفمبر 2021
لاحظ شخص آخر انخفاضًا في عمليات الزحف على صفحات السفر ولكن زيادة في الزحف على صفحات التجارة الإلكترونية:
رأيت هذا النمط فقط على بوابة السياحة والسفر في كرواتيا، وكانت قطاعات التجارة الإلكترونية جيدة (حتى شهدت زيادة كبيرة في عمليات الزحف بعد مساء 11 نوفمبر في العديد منها)
– ماركو سيفيتش (@MarkoCvijic) 15 نوفمبر 2021
يشارك العديد من الآخرين التحليلات ولقطات شاشة وحدة التحكم في البحث:
@جونمو أعتقد أن هناك المزيد من مشكلات التوجيه أثناء زحف Google مرة أخرى. خادم Nginx المحلي ورؤوس S3، نفس المشكلة. هل يمكنك أن تخبرنا شيئًا عنها؟ ربما مشكلة Cloudflare ذات الصلة؟ https://t.co/c8eV9C4pxg @Seolyzer_io pic.twitter.com/mG1Iqb30UR
– كارلوس ريدوندو (@ carlosredondo) 15 نوفمبر 2021
مزيد من البيانات:
لقد استخرجت بعض البيانات، متمركزة حول 21-11-11 19:39 (بتوقيت باريس).
أصبحت بعض عناوين IP للزحف التي تم التحقق منها من Google مظلمة تمامًا منذ ذلك الوقت. pic.twitter.com/FcqeMXuJPv
– بابتيست م. (@bactisme) 15 نوفمبر 2021
304 رمز الاستجابة يجب ألا يغير الزحف
صفحة المساعدة الرسمية للمطورين من Google وثائق حول زحف Googlebot تنص على أن رمز الاستجابة 304 يجب ألا يؤثر على الزحف.
إليك ما تنصح به وثائق Google الرسمية:
“يشير Googlebot إلى مسار الفهرسة بأن المحتوى هو نفس المحتوى الذي تم الزحف إليه في المرة الأخيرة.
قد يقوم مسار الفهرسة بإعادة حساب الإشارات الخاصة بعنوان URL، ولكن بخلاف ذلك لن يكون لرمز الحالة أي تأثير على الفهرسة.
هل من الممكن أن يكون Google قد تغير (بشكل دائم أو مؤقت) وأن صفحة المطور هذه قديمة؟
نظرية موافقة ملفات تعريف الارتباط
تعد نظرية استجابة الخادم 304 إحدى النظريات والحلول العديدة التي تشرح سبب عدم قيام Googlebot بفهرسة صفحة ويب.
قام أحد الأشخاص بالتغريد بأن Google قامت بزيادة الفهرسة بعد إزالة شريط الموافقة على ملفات تعريف الارتباط.
لم يعد Google يزحف إلى الصفحات الجديدة ويفهرسها بعد الآن؟ واجهت نفس المشكلة وقمت بإزالة شريط الموافقة على ملفات تعريف الارتباط (Cookiepro) للاختبار. خمن ماذا – تم حل المشكلة. @جونمو – هل هناك أي أفكار حول سبب عدم قيام Google بالزحف إلى الصفحات الجديدة وفهرستها باستخدام نافذة منبثقة للموافقة على ملفات تعريف الارتباط؟
– دينيس سيفرز (@ resiever) 16 نوفمبر 2021
لماذا يتسبب شريط الاستجابة لملفات تعريف الارتباط في عدم قيام Google بفهرسة صفحة ويب؟ هل يمكن أن يؤدي شريط الموافقة على ملفات تعريف الارتباط إلى ظهور استجابة 304، مما يتسبب في عدم قيام Google بفهرسة الصفحة؟
تمت مناقشة تقليل عمليات زحف Googlebot في Reddit
تمت أيضًا مناقشة ظاهرة انخفاض عمليات زحف Googlebot على موقع Reddit.
وصف أحد مستخدمي Redditor كيف تمت فهرسة المقالات السابقة من موقعه الناجح في غضون 10 دقائق من إرسالها عبر Google Search Console.
وذكروا أنه في الآونة الأخيرة تم فهرسة نصف المقالات الجديدة فقط.
لكن ذلك تغير في نوفمبر وفقًا لـ هذا رديت وظيفة:
“لأي سبب من الأسباب، تتم الآن فهرسة أقل من نصف مقالاتنا الجديدة، حتى مع قيامي بإرسالها يدويًا بعد النشر مباشرة.”
شارك المحررون الآخرون تجارب مماثلة:
“يواجه الكثير من الأشخاص تجربة مماثلة في الوقت الحالي… يبدو أن شيئًا ما يحدث مع Google.”
“هناك شيء ما يتعلق بفهرسة Google للمشاركات الجديدة…”
“عمر موقع الويب الخاص بي 17 عامًا… فجأة، استغرقت فهرسة المقالة الأخيرة أسابيع.”
جوجل يقول لا شيء مكسور
جوجل جون مولر أجاب على الأسئلة على رديت:
“لا أرى أي خلل في الطريقة التي تقوم بها Google بفهرسة الأشياء في الوقت الحالي. أرى أننا ننتقد ما نلتقطه لفهرسته، كما ينبغي لأي محرك بحث.
هل تختبر Google أنماط زحف جديدة؟
أعلن Bing في أكتوبر عن بروتوكول فهرسة مفتوح المصدر يسمى IndexNow والذي يهدف إلى تقليل عدد مرات زحف برامج الزحف إلى صفحات الويب من أجل تقليل مقدار الطاقة المستخدمة في مراكز البيانات للزحف وفي الخوادم لخدمة صفحات الويب. يفيد البروتوكول الجديد الناشرين لأنه يسرع عملية إخطار محركات البحث عند تحديث الصفحات أو إنشائها، مما يؤدي إلى فهرسة أسرع لصفحات الويب عالية الجودة.
في نوفمبر، أعلنت جوجل أنها ستختبر بروتوكول الفهرسة الجديد IndexNow لمعرفة ما إذا كانت هناك فوائد له.
يعد توفير الطاقة وتقليل البصمة الكربونية أحد أهم قضايانا اليوم. هل من الممكن أن تقوم Google بتحسين طرق تقليل الزحف دون تغيير جذري إلى بروتوكول جديد؟
هل قام Google بتقليل الزحف إلى صفحة الويب؟
هناك بعض الادعاءات بأن Google قد توقف عن الفهرسة تمامًا ولكن هذا غير صحيح. ومع ذلك، هناك نقاش كبير على وسائل التواصل الاجتماعي مدعومة ببيانات تدعم تغير أنماط فهرسة Googlebot.