قائمة ببرامج الزحف الشائعة من Google

تُستخدم برامج الزحف الشائعة من Google للعثور على المعلومات اللازمة لإنشاء فهارس "بحث Google" ولتنفيذ عمليات زحف أخرى خاصة بالمنتجات، ولأغراض التحليل. وتتبّع هذه البرامج دائمًا قواعد robots.txt عند الزحف التلقائي. تسري السمات الفنية العامة الخاصة ببرامج الزحف من Google على برامج الزحف الشائعة أيضًا.

تزحف برامج الزحف الشائعة عمومًا من نطاقات عناوين IP المنشورة في كائن googlebot.json، ويطابق قناع نظام أسماء النطاقات العكسي لاسم المضيف الصيغة crawl-***-***-***-***.googlebot.com أو geo-crawl-***-***-***-***.geo.googlebot.com.

تعرض القائمة التالية برامج الزحف الشائعة، وسلاسل وكيل المستخدم الخاصة بها كما تظهر في طلبات HTTP، والرموز المميزة لوكيل المستخدم الخاصة بالسطر User-agent: في ملف robots.txt، والمنتجات المتأثرة بإعدادات الزحف المفضّلة الخاصة ببرنامج الزحف. تملك بعض برامج الزحف أكثر من رمز مميّز واحد لوكيل المستخدم، وما عليك سوى مطابقة رمز مميّز واحد للزاحف كي يتم تطبيق القاعدة. وهذه القائمة ليست شاملة، بل تتضمّن فقط برامج الزحف الأكثر شيوعًا التي تزداد احتمالية ظهورها ضمن ملفات السجلّ والتي تلقّينا أسئلة بشأنها.

‫User-Agent في طلبات HTTP
‫Googlebot للهواتف الذكية 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
‫Googlebot للكمبيوتر المكتبي 
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

نادرًا:

  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Googlebot/2.1 (+http://www.google.com/bot.html)
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Googlebot
مثال على مجموعة robots.txt 
user-agent: Googlebot
allow: /archive/1Q84
disallow: /archive
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Googlebot تؤثر في "بحث Google" (بما في ذلك ميزة "اقتراحات" وجميع ميزات نتائج البحث على Google)، بالإضافة إلى منتجات أخرى مثل "صور بحث Google" والفيديوهات على Google و"أخبار Google" وميزة "اقتراحات".
وكيل المستخدم في طلبات HTTP 
Googlebot-Image/1.0
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Googlebot-Image
Googlebot
مثال على مجموعة robots.txt 
user-agent: Googlebot-Image
allow: /archive/1Q84
disallow: /archive/moons.jpg
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Googlebot-Image تؤثر في "صور بحث Google" وميزة "اقتراحات" والفيديوهات على Google وجميع ميزات نتائج البحث على Google التي تشمل عرض صور وشعارات ورموز مفضّلة.
وكيل المستخدم في طلبات HTTP 
Googlebot-Video/1.0
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Googlebot-Video
Googlebot
مثال على مجموعة robots.txt 
user-agent: Googlebot-Video
allow: /archive/1Q84
disallow: /archive/
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Googlebot-Video تؤثر في ميزات نتائج البحث على Google المرتبطة بالفيديوهات وفي منتجات أخرى مستندة إلى الفيديوهات.
وكيل المستخدم في طلبات HTTP لا يتضمّن "Googlebot للأخبار" سلسلة منفصلة لوكيل المستخدم خاصة بطلب HTTP. وتتم عملية الزحف من خلال سلاسل متعددة لوكيل المستخدم Googlebot.
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Googlebot-News
Googlebot
مثال على مجموعة robots.txt 
user-agent: Googlebot-News
allow: /archive/1Q84
disallow: /archive/
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Googlebot-News تؤثر في جميع مساحات عرض "أخبار Google" (مثل علامة التبويب "أخبار" على "بحث Google" وتطبيق "أخبار Google").
وكيل المستخدم في طلبات HTTP
وكيل أجهزة الكمبيوتر المكتبي 
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36
وكيل الأجهزة الجوّالة 
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Storebot-Google
مثال على مجموعة robots.txt 
user-agent: Storebot-Google
allow: /archive/1Q84
disallow: /archive/konbini
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Storebot-Google تؤثر في جميع مساحات عرض Google Shopping (مثل علامة التبويب "التسوّق" في "بحث Google" وGoogle Shopping).
وكيل المستخدم في طلبات HTTP
وكيل أجهزة الكمبيوتر المكتبي 
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)
وكيل الأجهزة الجوّالة 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Google-InspectionTool
Googlebot
مثال على مجموعة robots.txt 
user-agent: Google-InspectionTool
allow: /archive/1Q84
disallow: /archive/
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Storebot-Google تؤثر في أدوات الاختبار في "بحث Google"، مثل اختبار النتائج الغنية بصريًا وفحص عنوان URL في Search Console. ولا تؤثر في "بحث Google" أو غيره من المنتجات.
وكيل المستخدم في طلبات HTTP 
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt GoogleOther
مثال على مجموعة robots.txt 
user-agent: GoogleOther
allow: /archive/1Q84
disallow: /archive/
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم GoogleOther لا تؤثر في أي منتجات محددة. ‫GoogleOther هو الزاحف العام الذي يمكن أن تستخدمه فِرق خاصة بمنتجات متعددة لجلب محتوى متاح للجميع من المواقع الإلكترونية. على سبيل المثال، يمكن استخدامه للزحف مرة واحدة لإجراء عمليات تطوير وأبحاث داخلية. ولا يؤثر في "بحث Google" أو غيره من المنتجات.
وكيل المستخدم في طلبات HTTP 
GoogleOther-Image/1.0
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt GoogleOther-Image
GoogleOther
مثال على مجموعة robots.txt 
user-agent: GoogleOther-Image
allow: /archive/1Q84
disallow: /archive/moon.jpg
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم GoogleOther-Image لا تؤثر في أي منتجات محددة، على غرار GoogleOther. ‫GoogleOther-Image هو نسخة GoogleOther التي تم تحسينها بغرض جلب عناوين URL الخاصة بالصور المتاحة للجميع.
وكيل المستخدم في طلبات HTTP 
GoogleOther-Video/1.0
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt GoogleOther-Video
GoogleOther
مثال على مجموعة robots.txt 
user-agent: GoogleOther-Video
allow: /archive/1Q84
disallow: /archive
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم GoogleOther-Video لا تؤثر في أي منتجات محددة، على غرار GoogleOther. ‫GoogleOther-Video هو نسخة GoogleOther التي تم تحسينها بغرض جلب عناوين URL الخاصة بالفيديوهات المتاحة للجميع.
السلسلة الفرعية لوكيل المستخدم في طلبات HTTP 
Google-CloudVertexBot
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Google-CloudVertexBot
Googlebot
مثال على مجموعة robots.txt 
user-agent: Google-CloudVertexBot
allow: /archive/1Q84
disallow: /archive/
المنتجات المتأثرة إنّ إعدادات الزحف المفضّلة الموجّهة إلى وكيل المستخدم Google-CloudVertexBot تؤثر في طلبات الزحف التي يوجهّها مالكو المواقع الإلكترونية لإنشاء وكلاء مستندين إلى الذكاء الاصطناعي عن طريق Vertex AI. ولا تؤثر في "بحث Google" أو غيره من المنتجات.
وكيل المستخدم في طلبات HTTP لا يتضمّن Google-Extended سلسلة منفصلة لوكيل المستخدم خاصة بطلب HTTP. تتم عملية الزحف من خلال السلاسل الحالية لوكيل المستخدم على حساب Google. ويُستخدم الرمز المميز لوكيل المستخدم في ملف robots.txt للتحكم.
robots.txt
الرمز المميّز لوكيل المستخدم في ملف robots.txt Google-Extended
مثال على مجموعة robots.txt 
user-agent: Google-Extended
allow: /archive/1Q84
disallow: /archive/
المنتجات المتأثرة ‫Google-Extended هو عبارة عن رمز مميّز مستقل خاص بالمنتج يمكن أن يستخدمه الناشرون على الويب لتحديد ما إذا كانت مواقعهم الإلكترونية تساعد في تحسين واجهتَي برمجة تطبيقات Gemini وVertex المستنِدتين إلى الذكاء الاصطناعي التوليدي، بما في ذلك الإصدارات المستقبلية من النماذج التي تعمل على تشغيل هذين المنتجَين. لا يؤثّر Google-Extended في ظهور موقع إلكتروني معيّن في نتائج "بحث Google" أو ترتيبه.

ملاحظة عن Chrome/W.X.Y.Z‎ في برامج وكيل المستخدم

أينما ترِد سلسلة Chrome/W.X.Y.Z‎ ضمن سلاسل برامج وكيل المستخدم في الجدول، تكون W.X.Y.Z عبارة عن عنصر نائب يمثّل إصدار متصفّح Chrome الذي يستخدمه وكيل المستخدم هذا، مثلاً، 41.0.2272.96. سيزداد رقم الإصدار هذا بمرور الوقت ليطابق أحدث نسخة من إصدارات Chromium يستخدمها Googlebot.

إذا كنت تبحث في سجلّاتك أو تجري فلترة للخادم للعثور على وكيل مستخدم بهذا النمط، استخدِم أحرف بدلٍ لرقم الإصدار بدلاً من تحديد رقم إصدار معيّن.