برنامج Googlebot : برنامج زاحف الويب الخاص بـ Google

<DIV style="MARGIN: auto; WIDTH: 100%; TEXT-ALIGN: center">
برنامج Googlebot : برنامج زاحف
الويب الخاص بـ Google



برنامج Googlebot: برنامج زاحف الويب الخاص بـ Google


برنامج Googlebot هو برنامج روبوت خاص بـ Google للزحف إلى الويب.
وهو يقوم بجمع ملفات من الويب لإنشاء فهرس قابل للبحث لـ محرك بحث Google. وفي هذه
الصفحة، ستجد إجابات لمعظم الأسئلة الشائعة عن كيفية عمل برنامج زاحف الويب الخاص
بنا.

ولمزيد من المعلومات المفصلة عن كيفية منع برنامج Googlebot من الزحف
إلى كل موقعك أو جزء منه؛ الرجاء مراجعة صفحة أوامر الإزالة الخاصة
بنا.




1. كم عدد
المرات التي سيصل فيها برنامج Googlebot إلى صفحات الويب الخاصة
بي؟

بالنسبة لمعظم المواقع؛ يجب ألاَّ يصل برنامج Googlebot إلى الموقع أكثر من مرة واحدة كل عدة ثواني في المتوسط.
ومع ذلك - بسبب أعطال الشبكة - من الممكن أن يظهر المعدل
أعلى قليلاً في فترات قصيرة.


2. كيف أطالب بعدم قيام Google بالزحف إلى كل موقعي أو أجزاء
من؟

الملف robots.txt هو ملف قياسي يمكنه
إخبار برنامج Googlebot بعدم تنزيل بعض أو كل المعلومات من
مركز خدمة "سيرفر" الويب الخاص بك.
وصيغة الملف robots.txt محددة في بروتوكول استبعاد الروبوت (وصلات
لموقع إنجليزي).
ولمعرفة التعليمات المفصلة عن كيفية منع برنامج Googlebot من
الزحف إلى كل موقعك أو جزء منه، الرجاء مراجعة صفحة أوامر الإزالة الخاصة بنا.
وتذكَّر أن التغييرات التي تقوم بها في ملف robots.txt الخاص بمركز الخدمة الخاص بك
لن يتم نقلها على الفور إلى Google؛ وإنما سيتم اكتشافها ونقلها عند قيام برنامج
Googlebot بالزحف إلى موقعك مرة تالية.


3. يقوم برنامج Googlebot بالزحف إلى موقعي بسرعة مفرطة. فماذا
أفعل؟

الرجاء الاتصال بنا (وصلات
لإصدار إنجليزي) وإرسال عنوان URL لموقعك ووصف تفصيلي للمشكلة. والرجاء أيضًا تضمين
جزء من سجل الويب الذي يوضح مرات وصول Google حتى نتمكن من اكتشاف المشكلة
بسرعة.


4. لماذا يطلب
برنامج Googlebot ملفًا يُسمى robots.txt وهو غير موجود على مركز الخدمة "سيرفر"
الخاص بي؟

الملف robots.txt هو ملف قياسي
يمكنه إخبار برنامج Googlebot بعدم تنزيل بعض أو كل
المعلومات من مركز خدمة "سيرفر" الويب الخاص بك. ولمزيد من المعلومات عن كيفية
إنشاء ملف robots.txt؛ انظر بروتوكول استبعاد الروبوت (وصلات
لموقع إنجليزي). إذا كنت تريد فقط منع رسائل أخطاء "الملف غير موجود" في سجل مركز
خدمة الويب الخاص بك، يمكنك إنشاء ملف فارغ يسمى robots.txt.


5. لماذا يحاول برنامج Googlebot تنزيل
وصلات غير صحيحة من مركز الخدمة "سيرفر" الخاص بي؟ أو من مركز خدمة (سيرفر) غير
موجود؟

من المفترض أن الكثير من الوصلات على الويب سيتم كسرها أو
إهمالها في أي وقت معين. وعندما ينشر شخص ما وصلة غير صحيحة لموقعك (ربما بسبب خطأ طباعي أو إملائي) أو يفشل في تحديث وصلات ليعكس
التغييرات في مركز الخدمة الخاص بك؛ سيحاول برنامج Googlebot تنزيل وصلة غير صحيحة
من موقعك. وهذا أيضًا يفسر سبب وجود طلبات توصُّل في جهاز ليس أصلاً مركز خدمة
ويب.


6. لماذا يقوم
برنامج Googlebot بتنزيل معلومات من مركز خدمة (سيرفر) الويب "السري" الخاص
بنا؟

إنه من المستحيل تقريبًا أن تحتفظ بسرية مركز خدمة (سيرفر) ويب
بعدم نشر أي وصلات له. فبمجرد أن يتبع شخص ما وصلة من مركز الخدمة "السري" الخاص بك
إلى مركز خدمة ويب آخر، قد يظهر عنوان URL "السري" الخاص بك في علامة الإحالة ويتم
تخزينه ونشره بواسطة مركز خدمة الويب الآخر في سجل الإحالة الخاص بهذا المركز.
ولذلك؛ فإذا كان هناك وصلة لمركز خدمة الويب "السري" الخاص بك أو لصفحة على الويب
في أي مكان؛ فمن المحتمل أن يعثر عليها برنامج Googlebot
وغيره من برامج زحف الويب الأخرى.


7. لماذا لا يتبع برنامج Googlebot ملف robots.txt الخاص
بي؟

لحفظ سعة النطاق؛ يقوم برنامج Googlebot بتنزيل ملف robots.txt
فقط مرة واحدة كل يوم أو عندما نقوم بجلب صفحات عديدة من مركز الخدمة. ولذا، قد
يأخذ برنامج Googlebot برُهة من الوقت لمعرفة التغييرات الحادثة في ملف robots.txt
الخاص بك. وأيضًا؛ يتم توزيع برنامج Googlebot على أجهزة متعددة. يحتفظ كل منها
بسجله الخاص بملف robots.txt الخاص بك.

نحن نقترح دائمًا التحقق من صحة
التراكيب في ملفاتك طبقًا للمعيار الموجود في http://www.robotstxt.org/wc/exclusion.html#robotstxt
(وصلات لموقع إنجليزي). وأحد المصادر الشائعة للمشاكل هو أن ملف robots.txt لم
يُوضع في الدليل الأعلى لمركز الخدمة (مثلاً؛ www.myhost.com/robots.txt)، لأن وضع الملف في دليل فرعي
لن يكون له أي تأثير.

كما أن هناك اختلافًا بسيطًا بين الطريقة التي يعالج
بها برنامج Googlebot ملف robots.txt والطريقة التي يقول معيار robots.txt أننا
ينبغي أن نستخدمها في معالجة هذا الملف (مع مراعاة الفرق بين
"ينبغي" و "يجب"). فالمعيار
يقول إننا ينبغي أن نتبع أول قاعدة تقبل التطبيق، بينما يتبع برنامج Googlebot أوسع
القواعد انطباقًا (أي الأكثر تخصصًا). وهذا الإجراء البديهي
يتفق مع ما يفعله الناس في الواقع ومع ما يتوقعون أن نفعله. على سبيل المثال، فكِّر
في ملف robots.txt التالي:

User-Agent: *
Allow: /
Disallow:
/cgi-bin

إن من الواضح أن قصد مشرف الموقع هنا هو السماح لبرامج الروبوت
بالزحف إلى كل شيء ماعدا دليل /cgi-bin. وبالتالي، هذا هو ما نفعله.

لمزيد
من المعلومات، الرجاء الاطلاع على الأسئلة الشائعة حول
برامج الروبوت (وصلات لموقع إنجليزي). وإذا ظلت المشكلة قائمة، فالرجاء إعلامنا بذلك (وصلات لإصدار إنجليزي).


8. لماذا توجد طلبات توصُّل من أجهزة عديدة
على موقع Google.com، كلها بواسطة برنامج user-agent Googlebot؟

لقد
تم تصميم برنامج Googlebot بحيث يتم توزيعه على أجهزة مختلفة لتحسين الأداء والحجم
مع نمو الويب. وكذلك – وللتقليل من استخدام سعة النطاق -
نقوم بتشغيل برامج زاحف عديدة على أجهزة تم وضعها بالقرب من المواقع التي تقوم
بفهرستها في الشبكة.


9. هل يمكن إخباري بعناوين بروتوكول الإنترنت IP التي يبدأ منها
برنامج Googlebot الزحف حتى يمكنني تنقية سجلاتي؟

تتغير عناوين
بروتوكول الإنترنت IP المستخدمة بواسطة برنامج Googlebot من وقت لآخر. وأفضل طريقة
لتحديد عمليات الوصول بواسطة برنامج Googlebot هي استخدام برنامج user-agent (Googlebot).


10.
لماذا يقوم برنامج Googlebot بتنزيل الصفحة ذاتها على موقعي
عدة مرات؟

بصفة عامة؛ ينبغي أن يقوم برنامج Googlebot بتنزيل نسخة
واحدة فقط من كل ملف من موقعك أثناء عملية زحف معينة. وفي كثير من الأحيان، يتوقف
برنامج الزاحف ويعاد تشغيله؛ مما قد يؤدي إلى قيامه بإعادة الزحف إلى صفحات قام
بجلبها مؤخرًا.


11. لماذا
لا تظهر صفحات موقعي التي قام برنامج Googlebot بالزحف إليها في
فهرسكم؟

لا تقلق إذا لم تتمكن من العثور الفوري على ملفات قام برنامج
Googlebot بالزحف إليها في محرك بحث Google. إذ يتم إدخال الملفات إلى فهرسنا
سريعًا بعد أن يتم الزحف إليها. ومن حين لآخر؛ لن يتم تضمين الملفات التي جلبها
برنامج Googlebot لأسباب عديدة (على سبيل المثال: لأنها تبدو كنسخ
طبق الأصل لصفحات أخرى على الويب).


12.
ما هي أنواع الوصلات التي يتبعها برنامج
Googlebot?

يتبع برنامج Googlebot وصلات HREF
و وصلات SRC.


13.
كيف أمنع برنامج Googlebot من تتبع الوصلات الموجودة على
صفحاتي؟

لكي تمنع برنامج Googlebot من تتبع الوصلات الموجودة على
صفحاتك لصفحات أو ملفات أخرى؛ قم بوضع علامة meta tag
التالية على رأس ملف HTML الخاص بك.