ستساعدك المقالة التالية: تعريض الويب غير المرئي لمحركات البحث
ال الويب غير المرئي (المعروف أيضًا باسم Deep Web) هو تلك الشريحة الضخمة من صفحات الويب على الإنترنت التي لم تقم محركات البحث التقليدية بفهرستها أو لا يمكنها فهرستها. في كثير من الأحيان، إذا لم يتمكنوا من فهرسة الصفحة، فذلك لأن الصفحة تعتمد على قاعدة البيانات وتتطلب مشغلًا بشريًا قبل عرضها في متصفح الويب الخاص بك. على سبيل المثال، قد يتعين عليك طرح سؤال، مثل “أرني جميع قوائم الوظائف لمدير المشروع”، باستخدام نموذج HTML لإدخال المعلومات. وفي حالات أخرى، يتطلب الوصول إلى صفحة ويب الحصول على إذن مثل اسم المستخدم وكلمة المرور.
والنتيجة النهائية هي أنه تتم فهرسة شريحة صغيرة نسبيًا فقط من الإنترنت. قد يكون لدى Google هدف نبيل يتمثل في فهرسة جميع المعلومات المتعلقة بالأرض، ولكن من المبالغة القول إن هذا سيستغرق بعض الوقت – خاصة عندما يفوق عدد صفحات الويب غير المرئية بالفعل عدد صفحات الويب غير المرئية. الويب المرئي.
يُظهر بحثي الخاص في الويب غير المرئي أنه ليس من المستغرب أنه لا أحد لديه رقم دقيق لعدد الصفحات التي تشكل جزءًا من الويب غير المرئي لأن هذا الرقم يتزايد باستمرار ولم يتم حسابه بشكل صحيح أبدًا. تختلف التقديرات بشكل كبير. (أنا لا أذكر أي شيء هنا لأن الأرقام التي عثرت عليها تعود إلى عدة سنوات، وقد تم إنشاء عدد كبير من المدونات منذ ذلك الحين قام بتوسيع الويب غير المرئي إلى حد كبير.)
الحقيقة هي أنه لا يهم حقًا عدد الصفحات غير المرئية، بل يهم فقط أنها كذلك. بعض محركات البحث التقليدية وبعض من العدد الكبير من محركات بحث الويب 2.0 [Read/Write Web] (أكثر من 100 في آخر إحصاء)، يقومون بمحاولة نبيلة لفهرسة المحتوى الذي قد يظل “غير مرئي”. هناك أيضًا طرق أخرى لكشف الويب غير المرئي. فيما يلي بعض الطرق التي تستبعد الصفحات التي تحتوي على كلمة مرور:
- قم بإدراج الصفحات المهمة في نوع ما من خريطة الموقع أو فهرس الموقع.
- قم بوضع إشارة مرجعية على الصفحات في الإشارات المرجعية الاجتماعية وقم بالترويج لها في مواقع أخبار المجتمع. فيما يلي بعض الأمثلة فقط (أعتذر لأنها ليست شاملة).
بمعنى آخر، قم بإنشاء روابط لصفحات غير مرئية من الصفحات المرئية (المفهرسة) حيثما أمكنك ذلك. ستتبع معظم العناكب روابطك في أوقات فراغهم، وإذا تمكنوا من فهرسة الصفحات غير المرئية حاليًا، فسيفعلون ذلك.
بالطبع، تحاول بعض المحركات تسهيل الوصول إلى المحتوى غير المرئي حاليًا. انث.كوم عروض الوصول إلى المحتوى المستند إلى قاعدة البيانات (وليس صفحات الويب فقط) عن طريق تحويل استعلام باللغة الإنجليزية إلى استعلام قاعدة بيانات. مجموعات البيانات محدودة حاليًا والنتائج ليست دقيقة جدًا، ولكنها البداية.
كان من المفترض أن تكون أطروحة الماجستير في علوم الكمبيوتر الخاصة بي حول NQLs (لغات الاستعلام الطبيعية) مع واجهة GIS (نظام المعلومات الجغرافية). كان بحثي يسبق تجربتي مع محركات البحث على الإنترنت، وكان استنتاجي الأولي في عام 1994 (لم أكمله) لصالح الاستعلام الشبيه باللغة الإنجليزية. (في الواقع، أوصي بشيء أكثر لفظيًا مثل الاسبرانتو.) ومع ذلك، فإننا بحاجة إلى فهم أفضل لكيفية تحليل الاستعلامات إلى شيء يمكن استخدامه بواسطة أجهزة الكمبيوتر. سيكون ذلك أكبر عقبة.
وبعد مرور ثلاثة عشر عامًا، لست متأكدًا تمامًا من مدى التقدم الذي أحرزناه في مجال معايير الجودة الوطنية لمحركات البحث على الإنترنت، وذلك فقط لأنني لم أحافظ على بحثي.
ومع ذلك، أشعر بقوة أننا سنصل إلى نقطة حيث يمكننا التحدث عن الاستفسارات والحصول على جهاز كمبيوتر يستجيب بدقة. على الرغم من أن بعض مثل هذا لا يمكن أن يحدث في جيل واحد من التكنولوجيا والأبحاث.
مهما كانت الميزات والوظائف التي توفرها لنا محركات البحث اليوم، سواء كانت تعتمد على الصوت أم لا، فلا بد من تحسينها في الأجيال المتعاقبة. بعد ذلك، أعتقد أن الكثير من المحتوى غير المرئي عبر الإنترنت سيكون من الأسهل فهرسته وبالتالي أسهل في استرجاعه من خلال الاستعلامات، مما يجعل البحث أفضل بكثير.
