ستساعدك المقالة التالية: كيفية تكوين Robots.txt و Meta Robots لـ Magento 2
إذا كنت تقرأ المنشور ، فهذا يعني أنك مالك متجر Magento 2 أو أنك مسؤول عن تحسين محركات البحث في المتجر. يجب أن تدرك أهمية ملف robots.txt. إنه ملف نصي يوجه روبوتات الويب ، أي محركات البحث إلى الصفحات التي يجب الزحف إليها وأيها لا يتم الزحف إليه!
على حد تعبير جوجل ،
“يخبر ملف robots.txt برامج زحف محركات البحث بالصفحات أو الملفات التي يمكن للزاحف أو لا يمكنه طلبها من موقعك”.
هذا الملف الصغير جزء من كل موقع ويب ، ولا تعد متاجر Magento 2 استثناءً. لحسن الحظ ، يدعم Magento 2 الافتراضي إنشاء ملف robots.txt وسأوضح كيفية القيام بذلك هنا.
تعد Meta robots وسيلة لمشرفي المواقع لتقديم تفاصيل محركات البحث حول متاجرهم. إنه جزء من التعليمات البرمجية في قسم
من صفحة الويب الخاصة بك يخبر محركات البحث بما يجب اتباعه وما لا يجب اتباعه! علاوة على ذلك ، فإنه يخبر برامج الزحف عن الروابط التي يجب اتباعها والروابط التي يجب التوقف عنها.قم بإنشاء ملف Magento 2 Robots.txt وساعد جهود تحسين محركات البحث لديك للأسباب التالية:
- يتحكم في كيفية رؤية عناكب محرك البحث لصفحات متجر Magento 2 والتفاعل معها.
- يمكن أن يؤثر استخدامه غير السليم على تصنيفات متجرك بشكل سلبي.
- يعد ملف Robots.txt أساس كيفية عمل محرك البحث.
- منع صفحات المحتوى المكررة من الظهور في SERPs.
- يساعد ذلك في تجنب إثقال متجرك بطلبات من زاحف Google.
الآن بعد أن تحدثنا بشكل كافٍ عن ملف robots.txt وأهميته لمتجر Magento 2 ، فلنقم بإنشاء واحد!
خطوات إنشاء ملف Magento 2 Robots.txt:
- تسجيل الدخول إلى لوحة الإدارة.
- انتقل إلى المحتوى> التصميم> التكوين
- التوسع في روبوتات محرك البحث.
- الروبوتات الافتراضية: اضبط على واحد من القائمة المنسدلة.
- تحرير تعليمات مخصصة لملف Robots.txt: أدخل أي تفاصيل مخصصة إذا لزم الأمر في هذا الحقل.
- إعادة تعيين إلى الافتراضي: استخدم هذا الزر لضبط ملف Magento 2 Robots.txt على التكوين الافتراضي الخاص به.
- يحفظ التكوين
يمكن تكوين بروتوكول أو معيار استبعاد برامج الروبوت ، المعروف أيضًا باسم Robots.txt في Magento 2 الافتراضي باستخدام الخطوات المذكورة أعلاه.
لماذا يجب علي تعيين علامات NoIndex NoFollow للروابط في Magento 2:
على سبيل المثال ، أنت تطلق منتجًا جديدًا في متجر Magento 2 الخاص بك. ومع ذلك ، لا يزال فريقك يعمل على ذلك. في الوقت الحالي ، يمكنك تعيين صفحة المنتج هذه على NoIndex لإخبار محرك البحث بعدم فهرسة تلك الصفحة.
بهذه الطريقة ، يمكنك اختبار التغييرات في المتجر المباشر وفي نفس الوقت تقييد محرك البحث لفهرسته.
أيضًا ، يمكن أن تكون علامات NoFollow الخاصة بالارتباطات مفيدة عندما تريد تقديم أي معلومات إضافية موجودة على عنوان ويب معين ولكن لا تتجاوز حقوق الارتباط.
علامات Meta robots: NOINDEX ، NOFOLLOW
الآن وبعد أن أنشأت ملف robots.txt بنجاح ، انتبه إلى العلامات الوصفية لبرامج الروبوت. قم بتغطية الأجزاء غير الضرورية من الشفرة من برامج الزحف التي تستخدم هذه العلامات.
- لا يوجد فهرس هو سمة للعلامة ، والتي تقيد نقل وزن الصفحة إلى مصدر غير معتمد. علاوة على ذلك ، يمكن استخدامه للصفحات التي تحتوي على عدد كبير من الروابط الخارجية.
- لا يوجد متابعة يخفي الصفحة من الفهرسة
قم بتطبيق Nofollow أو Noindex على التكوين الخاص بك إما عن طريق تحديث ملف robots.txt أو استخدام meta name = “robots” العلامة.
المجموعات الممكنة:
- الفهرس ، اتبع: يوجه برامج زحف الويب لفهرسة المتجر والتحقق مرة أخرى لاحقًا من التغييرات.
- NOINDEX ، اتبع: يوجه برامج زحف الويب بعدم فهرسة المتجر ولكن تحقق مرة أخرى لاحقًا.
- الفهرس ، NOFOLLOW: يوجه برامج زحف الويب إلى فهرسة الموقع مرة واحدة وتجنب إعادة التحقق لاحقًا.
- NOINDEX ، NOFOLLOW: يوجه برامج زحف الويب بعدم فهرسة الموقع وعدم التحقق مرة أخرى لاحقًا
أضف الشفرة التالية إلى ملف robots.txt لإخفاء صفحات معينة:
وكيل المستخدم: * Disallow: /myfile.html
وكيل المستخدم: * Disallow: /myfile.html |
بدلاً من ذلك ، يمكنك تقييد الفهرسة باستخدام الكود التالي:
<رئيس> رئيس> |
الإعدادات الافتراضية الموصى بها لـ Magento 2:
User-agent: * # Directories Disallow: / app / Disallow: / bin / Disallow: / dev / Disallow: / lib / Disallow: / phpserver / Disallow: / pkginfo / Disallow: / report / Disallow: / setup / Disallow: / update / Disallow: / var / Disallow: / vendor / # Paths (clean URLs) Disallow: /index.php/ Disallow: /atalog / product_compare / Disallow: /atalog / category / view / Disallow: /atalog / product / view / Disallow: /atalogsearch / Disallow: / checkout / Disallow: / control / Disallow: / Contacts / Disallow: / customer / Disallow: / تخصيص / Disallow: / newsletter / Disallow: / review / Disallow: / sendfriend / Disallow: / wishlist / # الملفات Disallow: /composer.json Disallow: /composer.lock Disallow: /CONTRIBUTING.md Disallow: /CONTRIBUTOR_LICENSE_AGREEMENT.html Disallow: /COPYING.txt Disallow: /Gruntfile.js Disallow: /LICENSE.txt Disallow: /LICENSE.txt Disallow: /LICENSE.txt Disallow Disallow: /nginx.conf.sample Disallow: /package.json Disallow: /php.ini.sample Disallow: /RELEASE_NOTES.txt # لا تقم بفهرسة الصفحات التي تم فرزها أو تصفيتها. Disallow: / *؟ * product_list_mode = Disallow: / *؟ * product_list_order = Disallow: / *؟ * product_list_limit = Disallow: / *؟ * product_list_dir = # عدم السماح بفهرسة معرِّف الجلسة: / *؟ SID = Disallow: / *؟ Disallow: /*.php$ # CVS ودليل SVN وملفات التفريغ Disallow: /*.CVS Disallow: /*.Zip$ Disallow: /*.Svn Disallow: /*.Idea$ Disallow: /*.Sql$ Disallow : /*.Tgz$
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 | وكيل المستخدم: * # الدلائل Disallow: / app / Disallow: / bin / Disallow: / dev / Disallow: / lib / Disallow: / phpserver / Disallow: / pkginfo / عدم السماح: / تقرير / Disallow: / الإعداد / Disallow: / تحديث / Disallow: / var / Disallow: / vendor / # مسارات (عناوين URL نظيفة) Disallow: /index.php/ Disallow: / كتالوج / product_compare / Disallow: / الكتالوج / الفئة / العرض / Disallow: / كتالوج / منتج / عرض / Disallow: /atalogsearch / Disallow: / الخروج / عدم السماح: / التحكم / Disallow: / جهات الاتصال / Disallow: / customer / Disallow: / تخصيص / Disallow: / رسالة إخبارية / Disallow: / review / Disallow: / sendfriend / Disallow: / wishlist / # ملفات Disallow: /composer.json Disallow: /composer.lock عدم السماح: / CONTRIBUTING.md عدم السماح: /CONTRIBUTOR_LICENSE_AGREEMENT.html عدم السماح: /COPYING.txt Disallow: /Gruntfile.js عدم السماح: /LICENSE.txt عدم السماح: /LICENSE_AFL.txt Disallow: /nginx.conf.sample Disallow: /package.json Disallow: /php.ini.sample عدم السماح: /RELEASE_NOTES.txt # لا تقم بفهرسة الصفحات التي تم فرزها أو تصفيتها. Disallow: / *؟ * product_list_mode = Disallow: / *؟ * product_list_order = Disallow: / *؟ * product_list_limit = Disallow: / *؟ * product_list_dir = # لا تقم بفهرسة معرف الجلسة Disallow: / *؟ SID = عدم السماح: /*؟ Disallow: /*.php$ # CVS ودليل SVN وملفات التفريغ عدم السماح: /*.CVS عدم السماح: /*.Zip$ عدم السماح: /*.Svn$ Disallow: /*.Idea$ عدم السماح: /*.Sql$ عدم السماح: /*.Tgz$ |
تحقق من أمثلة ملفات Magento 2 robots.txt المستخدمة بشكل متكرر:
- السماح بالوصول الكامل لجميع الدلائل والصفحات:
- لا تسمح لأي وكيل مستخدم بالوصول إلى أي دليل وصفحة:
- التعليمات الافتراضية:
Disallow: / lib / Disallow: /*.php$ Disallow: / pkginfo / Disallow: / report / Disallow: / var / Disallow: / index / Disallow: / customer / Disallow: / sendfriend / Disallow: / review / Disallow: / * SID =
Disallow: / lib /
Disallow: /*.php$
Disallow: / pkginfo /
عدم السماح: / تقرير /
Disallow: / var /
Disallow: / كتالوج /
Disallow: / customer /
Disallow: / sendfriend /
Disallow: / review /
عدم السماح: / * SID =
- تقييد حسابات المستخدمين وصفحات الخروج
Disallow: / checkout / Disallow: / onestepcheckout / Disallow: / customer / Disallow: / customer / account / Disallow: / customer / account / login /
Disallow: / الخروج /
Disallow: / onestepcheckout /
Disallow: / customer /
Disallow: / زبون / حساب /
Disallow: / customer / account / login /
- لعدم السماح بالمحتوى المكرر
Disallow: / tag / Disallow: / review
Disallow: / tag /
عدم السماح: / المراجعة
- لعدم السماح بدلائل CMS
Disallow: / app / Disallow: / bin / Disallow: / dev / Disallow: / lib / Disallow: / phpserver / Disallow: / pub /
Disallow: / app /
Disallow: / bin /
Disallow: / dev /
Disallow: / lib /
Disallow: / phpserver /
Disallow: / pub /
- عدم السماح بصفحات البحث والكتالوج
Disallow: /atalogsearch / Disallow: / الكتالوج / product_compare / Disallow: / index / category / view / Disallow: / index / product / view /
Disallow: /atalogsearch /
Disallow: / كتالوج / product_compare /
Disallow: / الكتالوج / الفئة / العرض /
Disallow: / كتالوج / منتج / عرض /
- عدم السماح بالبحث في تصفية عناوين URL
Disallow: / *؟ dir * Disallow: / *؟ dir = desc Disallow: / *؟ dir = asc Disallow: / *؟ limit = all Disallow: / *؟ mode *
Disallow: / *؟ dir *
Disallow: / *؟ dir = desc
Disallow: / *؟ dir = تصاعدي
Disallow: / *؟ limit = all
Disallow: / *؟ mode *
برامج زحف الويب الشائعة L:
فيما يلي بعض برامج الروبوت الشائعة على الإنترنت:
وكيل المستخدم: Googlebot User-agent: Googlebot-Image / 1.0 User-agent: Googlebot-Video / 1.0 User-agent: Bingbot User-agent: Slurp # Yahoo User-agent: DuckDuckBot User-agent: Baiduspider User-agent: YandexBot وكيل المستخدم: facebot # Facebook
وكيل المستخدم: ia_archiver # Alexa
وكيل المستخدم: Googlebot وكيل المستخدم: Googlebot-Image / 1.0 وكيل المستخدم: Googlebot-Video / 1.0 وكيل المستخدم: Bingbot وكيل المستخدم: Slurp # Yahoo وكيل المستخدم: DuckDuckBot وكيل المستخدم: Baiduspider وكيل المستخدم: YandexBot وكيل المستخدم: facebot # Facebook وكيل المستخدم: ia_archiver # Alexa |
تواصل مع محركات البحث بالطريقة الصحيحة! بعد إنشاء ملف robots.txt بنجاح ، يمكنك التحقق من صحة ذلك باستخدام أداة اختبار ملف robots.txt من Google.
قم بإنشاء ملف Magento 2 Robots.txt ملف وتحسين SEO الخاص بك اليوم!
لا تتردد في طلب أي مساعدة بشأن الموضوع في قسم التعليقات أدناه.
قم بتقييم المنشور بـ 5 نجوم إذا كان مفيدًا.
شكرا 😊