لإزالة محتوى من فهرس Google ؟

هل تحتاج لإزالة محتوى من فهرس
Google؟

تعتبر Google شمولية نتائج بحثنا أولوية ذات أهمية قصوى. نحن
ملتزمون بتقديم نتائج بحث كاملة وموضوعية لمستخدمينا؛ وعليه، فنحن لا نستطيع أن
نشارك في ممارسة الرقابة. نقوم فقط بإيقاف فهرسة موقع ما عندما
يطلب مشرف الموقع المسؤول عن تلك الصفحات ذلك، وعندما تقوم تلك الصفحات
بإرسال رسائل بريد مزعجة لفهرسنا، أو عندما يكون ذلك مطلوبًا من قِبل القانون. فهذه
السياسة تكون ضرورية للتأكد من أن تلك الصفحات لم يتم إزالتها على نحو غير ملائم من
فهرسنا.






إذا كنت ترغب في استبعاد موقعك بالكامل من فهرس
Google، يمكنك وضع ملف في المجلد الرئيسي لمركز الخدمة الخاص بك باسم robots.txt.
فهذا هو البرتوكول القياسي الذي تلاحظه أغلب برامج الزاحف الخاصة بالويب من أجل
استبعاد مركز خدمة ويب أو دليل ما من فهرس. المزيد من المعلومات حول robots.txt
متاحة هنا: http://www.robotstxt.org/wc/norobots.html (وصلات لموقع
إنجليزي). الرجاء ملاحظة أن برنامج الروبوت Googlebot لا يقوم بترجمة رد 401/403
("محظور"/"ممنوع") لملف إحضار robots.txt وليس للزحف إلى أي صفحة على
الموقع.

لإزالة موقعك من محركات البحث ومنع برامج الروبوت
من الزحف إليه في المستقبل، قم بوضع الملف robots.txt التالي في المجلد
الرئيسي لمركز الخدمة الخاص بك.

User-agent: *
Disallow: /


لإزالة موقعك من Google فقط ومنع برنامج Googlebot من
الزحف إلى موقعك، قم بوضع الملف robots.txt التالي في المجلد الرئيسي لمركز
الخدمة الخاص بك.

User-agent: Googlebot
Disallow: /

فكل منفذ
يجب أن يكون لديه ملف robots.txt خاص به. وبوجه الخصوص، إذا قمت بتقديم محتوى من
خلال كلا من بروتوكولات http وhttps، سوف تحتاج ملف robots.txt منفصل لكل من هذه
البروتوكولات. على سبيل المثال، للسماح لبرنامج Googlebot بفهرسة جميع صفحات http
وعدم فهرسة صفحات https، يجب استخدام ملفات robots.txt الموجودة أدناه.


لبروتوكول http الخاص بك (http://yourserver.com/robots.txt):

User-agent:
*
Allow: /

لبروتوكول https الخاص بك (https://yourserver.com/robots.txt):

User-agent:
*
Disallow: /



ملاحظة : إذا كنت تعتقد أن طلبك عاجل ولا يمكن أن ينتظر للمرة القادمة حتى يقوم Google بالزحف إلى
موقعك، استخدم نظام إزالة عنوان موقع URL
الآلي (الصفحة موجودة حاليًا باللغة الإنجليزية فقط). لكي تعمل هذه
العملية الآلية، يجب أن يقوم مشرف الموقع أولاً بإنشاء ملف
robots.txt ووضعه على الموقع المراد إزالته.

سوف يستمر Google في
استبعاد موقعك أو الأدلة من عمليات الزحف المتعاقبة إذا كان ملف robots.txt موجود
بالفعل في المجلد الرئيسي لمركز خدمة الويب. إذا كنت لا تستطيع الوصول إلى مستوى
الأساسي الخاص بمركز الخدمة، يمكنك وضع ملف robots.txt على نفس المستوى الخاص
بالملفات المطلوب إزالتها.
سوف يؤدي عمل ذلك أو التقديم من خلال نظام إزالة
عنوان URL الآلي إزالة مؤقتة لموقعك لمدة 180 يوم من فهرس
Google، بغض النظر عما إذا قمت بإزالة الملف robots.txt بعد معالجة طلبك أم لا.

سوف يؤدي عمل ذلك أو التقديم من خلال نظام إزالة عنوان URL الآلي إلى إزالة
مؤقتة لمدة 180 يوم للأدلة المحددة في ملف robots.txt الخاص بك من فهرس Google، بغض
النظر عما إذا قمت بإزالة ملف robots.txt بعد معالجة طلبك أم لا.
(سوف يتطلب
حفظ ملف robots.txt على نفس المستوى إلى الرجوع إلى نظام إزالة عنوان URL كل 180
يومًا لإعادة إصدار الإزالة).






الخيار الأول :
Robots.txt

لإزالة أدلة أو صفحات فردية من موقع الويب الخاص بك، يمكنك وضع
ملف robots.txt في المجلد الرئيسي لمركز الخدمة الخاص بك. لمزيد من المعلومات عن
كيفية إنشاء ملف robots.txt، انظر بروتوكول استبعاد برنامج الروبوت
(وصلات لموقع إنجليزي). عند إنشاء ملف robots.txt الخاص بك، الرجاء
تذكُّر ما يلي: عند تقرير أية صفحات يتم الزحف إليها على مُضيف معين، سوف يتبع
برنامج الروبوت Googlebot أول سجل في ملف robots.txt مع برنامج User-agent بادئ مع
برنامج الروبوت "Googlebot." إذا لم يوجد مثل هذا القيد، فإنه سوف يقوم بإتباع
القيد الأول مع وكيل مستخدم لـ "*". علاوة على ذلك، لقد قام Google بتقديم مرونة
زائدة لملف robots.txt القياسي من خلال استخدام العلامات النجمية. قد يتضمن عدم
السماح للنماذج "*" لمطابقة أي تسلسل من الحروف، وقد تنتهي النماذج بـ "$" لتشير
إلى نهاية اسمًًا.

لإزالة كافة الصفحات تحت دليل
معين (على سبيل المثال، lemurs)، يجب أن تستخدم قيد robots.txt
التالي:

وكيل مستخدم: برنامج Googlebot
Disallow: /lemurs

لإزالة كافة الملفات الخاصة بنوع ملف محدد (على سبيل المثال،
.gif)، يجب أن تستخدم قيد robots.txt التالي:

User-agent:
Googlebot
Disallow: /*.gif$

لإزالة الصفحات المنشأة
بطريقة ديناميكية، يجب أن تستخدم القيد robots.txt:

User-agent:
Googlebot
Disallow: /*?


الخيار الثاني :
Meta tags

فهناك معيار أخر، والذي من الممكن أن يكون أكثر تلائمًا لاستخدام
صفحة بصفحة، حيث يشتمل على إضافة ******** tag لصفحة HTML
لإخبار برامج الروبوت بعدم فهرسة تلك الصفحة. يتم وصف هذا المعيار في http://www.robotstxt.org/wc/exclusion.html#meta (وصلات
لموقع إنجليزي).


لمنع جميع برامج الروبوت من فهرسة
صفحة على موقعك، يجب وضع العلامة الوصفية التالية في قسم الخاص
بصفحتك:




للسماح لبرامج الروبوت الأخرى بفهرسة
الصفحة على موقعك، ومنع برامج الروبوت الخاصة بـ Google فقط من فهرسة
الصفحة، يجب استخدام العلامة التالية:

<FONT color=royalblue>