URLs and Hashing
تنظيم صفحاتك في مجموعات
يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.
يحتوي هذا القسم على مواصفات تفصيلية حول كيفية التحقّق من عناوين URL من قِبل العملاء.
تحديد عناوين URL الأساسية
قبل التحقّق من أي عناوين URL، من المتوقّع أن يُجري العميل بعض عمليات تحديد عنوان URL الأساسي على عنوان URL هذا.
في البداية، نفترض أنّ العميل قد عالج عنوان URL وجعله صالحًا وفقًا لمعيار RFC 2396. إذا كان عنوان URL يستخدم اسم نطاق دوليًا (IDN)، على العميل تحويل عنوان URL إلى تمثيل ASCII Punycode. يجب أن يتضمّن عنوان URL مكوّن مسار، أي أنّه يجب أن يتضمّن شرطة واحدة على الأقل بعد النطاق (http://google.com/ بدلاً من http://google.com).
أولاً، عليك إزالة أحرف علامة التبويب (0x09) وحرف الرجوع إلى أول السطر (0x0d) وحرف LF (0x0a) من عنوان URL. لا تزيل تسلسلات إلغاء العلامات لهذه الأحرف (مثل %0a).
ثانيًا، إذا كان عنوان URL ينتهي بجزء، أزِل الجزء. على سبيل المثال، اختصر http://google.com/#frag إلى http://google.com/.
ثالثًا، عليك إزالة ترميز النسبة المئوية لعنوان URL بشكل متكرّر إلى أن لا يتبقّى أي ترميز. (قد يؤدي ذلك إلى جعل عنوان URL غير صالح).
لتوحيد اسم المضيف:
استخرِج اسم المضيف من عنوان URL، ثم اتّبِع الخطوات التالية:
- أزِل جميع النقاط البادئة واللاحقة.
- استبدِل النقاط المتتالية بنقطة واحدة.
- إذا كان بالإمكان تحليل اسم المضيف كعنوان IPv4، عليك تسويته إلى 4 قيم عشرية مفصولة بنقاط. يجب أن يعالج العميل أي ترميز قانوني لعنوان IP، بما في ذلك الترميز الثماني والسادس عشر وأقل من أربعة مكوّنات.
- إذا كان بالإمكان تحليل اسم المضيف كعنوان IPv6 بين قوسين، عليك تسويته عن طريق إزالة الأصفار البادئة غير الضرورية في المكوّنات وتجميع مكوّنات الصفر باستخدام بنية النقطتَين المزدوجتَين. على سبيل المثال، يجب تحويل
[2001:0db8:0000::1] إلى [2001:db8::1]. إذا كان اسم المضيف أحد نوعَي عناوين IPv6 الخاصَّين التاليَين، عليك تحويله إلى IPv4:
- عنوان IPv6 تم ربطه بعنوان IPv4، مثل
[::ffff:1.2.3.4]، والذي يجب تحويله إلى 1.2.3.4
- عنوان NAT64 يستخدم البادئة المعروفة 64:ff9b::/96، مثل
[64:ff9b::1.2.3.4]، والذي يجب تحويله إلى 1.2.3.4.
- اكتب السلسلة بأحرف صغيرة.
لتحديد المسار الأساسي:
- حلّ التسلسلَين
/../ و/./ في المسار من خلال استبدال /./ بـ /، وإزالة /../ مع مكوّن المسار السابق
- استبدِل سلاسل الشُرط المتتالية بشرطة واحدة.
لا تطبِّق عمليات تحديد عناوين URL الأساسية هذه على مَعلمات طلب البحث.
في عنوان URL، أضِف رمز الإلغاء بالمئة إلى جميع الأحرف التي تقلّ عن أو تساوي 32 ASCII أو تزيد عن أو تساوي 127 أو # أو %. يجب أن تستخدم عمليات الهروب أحرفًا سداسية عشرية كبيرة.
تعبيرات بادئة المسار واللاحقة للمضيف
بعد توحيد عنوان URL، تكون الخطوة التالية هي إنشاء تعبيرات اللاحقة/البادئة. يتألّف كل تعبير لاحقة/بادئة من لاحقة مضيف (أو مضيف كامل) وبادئة مسار (أو مسار كامل).
سيُنشئ العميل ما يصل إلى 30 مجموعة مختلفة من لاحقة المضيف وبادئة المسار. لا تستخدِم هذه التركيبات سوى مكوّنات المضيف والمسار في عنوان URL. يتم تجاهل المخطط واسم المستخدم وكلمة المرور والمنفذ. إذا كان عنوان URL يتضمّن مَعلمات طلب بحث، ستتضمّن مجموعة واحدة على الأقلّ المسار الكامل ومَعلمات طلب البحث.
بالنسبة إلى المضيف، سيحاول العميل استخدام خمس سلاسل مختلفة بحد أقصى. وهذه الأنواع الفرعية هي:
- إذا لم يكن اسم المضيف حرفيًا لعنوان IPv4 أو IPv6، يمكن إنشاء ما يصل إلى أربعة أسماء مضيفين من خلال البدء بنطاق eTLD+1 وإضافة مكوّنات رئيسية متتالية. يجب أن يستند تحديد eTLD+1 إلى قائمة اللواحق العامة. على سبيل المثال، سيؤدي
a.b.example.com إلى نطاق eTLD+1 example.com بالإضافة إلى المضيف الذي يتضمّن مكوّن مضيف إضافيًا b.example.com.
- اسم المضيف الدقيق في عنوان URL استنادًا إلى المثال السابق، سيتم وضع علامة في المربّع
a.b.example.com.
بالنسبة إلى المسار، سيحاول العميل ست سلاسل مختلفة بحد أقصى. وهذه الأنواع الفرعية هي:
- المسار الدقيق لعنوان URL، بما في ذلك مَعلمات طلب البحث
- المسار الدقيق لعنوان URL، بدون مَعلمات طلب البحث
- المسارات الأربعة التي يتم إنشاؤها من خلال البدء من الجذر (/) وإلحاق مكوّنات المسار بشكلٍ متسلسل، بما في ذلك الشرطة المائلة للخلف
توضِّح الأمثلة التالية سلوك التحقّق:
بالنسبة إلى عنوان URL http://a.b.com/1/2.html?param=1، سيحاول العميل استخدام سلاسل النصوص المحتملة التالية:
a.b.com/1/2.html?param=1
a.b.com/1/2.html
a.b.com/
a.b.com/1/
b.com/1/2.html?param=1
b.com/1/2.html
b.com/
b.com/1/
بالنسبة إلى عنوان URL http://a.b.c.d.e.f.com/1.html، سيحاول العميل استخدام سلاسل النصوص المحتملة التالية:
a.b.c.d.e.f.com/1.html
a.b.c.d.e.f.com/
c.d.e.f.com/1.html
c.d.e.f.com/
d.e.f.com/1.html
d.e.f.com/
e.f.com/1.html
e.f.com/
f.com/1.html
f.com/
(ملاحظة: تخطّى b.c.d.e.f.com، لأنّنا سنأخذ فقط المكوّنات الخمسة الأخيرة لاسم المضيف واسم المضيف الكامل).
بالنسبة إلى عنوان URL http://1.2.3.4/1/، سيحاول العميل استخدام سلاسل النصوص المحتملة التالية:
1.2.3.4/1/
1.2.3.4/
بالنسبة إلى عنوان URL http://example.co.uk/1، سيحاول العميل استخدام سلاسل النصوص المحتملة التالية:
example.co.uk/1
example.co.uk/
التجزئة
تستخدِم ميزة "التصفّح الآمن من Google" حصريًا دالة SHA256 كدالة التجزئة. يجب تطبيق دالة التجزئة هذه على التعبيرات أعلاه.
سيتم اقتطاع التجزئة الكاملة التي تبلغ 32 بايت إلى 4 بايت أو 8 بايت أو 16 بايت، وذلك حسب الظروف:
عند استخدام طريقة hashes.search، نطلب حاليًا اقتطاع التجزئات في الطلب إلى 4 بايت بالضبط. سيؤدي إرسال وحدات بايت إضافية في هذا الطلب إلى تعريض خصوصية المستخدم للخطر.
عند تنزيل القوائم لقاعدة البيانات المحلية باستخدام طريقة hashList.get أو طريقة hashLists.batchGet، يتم ترميز طول التجزئات التي يرسلها الخادم ضمن اصطلاح التسمية للقوائم التي تحتوي على لاحقة تشير إلى طول التجزئة. اطّلِع على قسم القوائم المتاحة للحصول على مزيد من التفاصيل.
إنّ محتوى هذه الصفحة مرخّص بموجب ترخيص Creative Commons Attribution 4.0 ما لم يُنصّ على خلاف ذلك، ونماذج الرموز مرخّصة بموجب ترخيص Apache 2.0. للاطّلاع على التفاصيل، يُرجى مراجعة سياسات موقع Google Developers. إنّ Java هي علامة تجارية مسجَّلة لشركة Oracle و/أو شركائها التابعين.
تاريخ التعديل الأخير: 2025-07-25 (حسب التوقيت العالمي المتفَّق عليه)
[null,null,["تاريخ التعديل الأخير: 2025-07-25 (حسب التوقيت العالمي المتفَّق عليه)"],[],[],null,["# URLs and Hashing\n\nThis section contains detailed specifications of how clients check URLs.\n\n### Canonicalization of URLs\n\nBefore any URLs are checked, the client is expected to perform some canonicalization on that URL.\n\nTo begin, we assume that the client has parsed the URL and made it valid according to RFC 2396. If the URL uses an internationalized domain name (IDN), the client should convert the URL to the ASCII Punycode representation. The URL must include a path component; that is, it must have at least one slash following the domain (`http://google.com/` instead of `http://google.com`).\n\nFirst, remove tab (0x09), CR (0x0d), and LF (0x0a) characters from the URL. Do not remove escape sequences for these characters (e.g. `%0a`).\n\nSecond, if the URL ends in a fragment, remove the fragment. For example, shorten `http://google.com/#frag` to `http://google.com/`.\n\nThird, repeatedly percent-unescape the URL until it has no more percent-escapes. (This may render the URL invalid.)\n\n**To canonicalize the hostname:**\n\nExtract the hostname from the URL and then:\n\n1. Remove all leading and trailing dots.\n2. Replace consecutive dots with a single dot.\n3. If the hostname can be parsed as an IPv4 address, normalize it to 4 dot-separated decimal values. The client should handle any legal IP-address encoding, including octal, hex, and fewer than four components.\n4. If the hostname can be parsed as a bracketed IPv6 address, normalize it by removing unnecessary leading zeroes in the components and collapsing zero components by using the double-colon syntax. For example `[2001:0db8:0000::1]` should be transformed into `[2001:db8::1]`. If the hostname is one of the two following special IPv6 address types, transform them into IPv4:\n - An IPv4-mapped IPv6 address, such as `[::ffff:1.2.3.4]`, which should be transformed into `1.2.3.4`;\n - A NAT64 address using [the well-known prefix 64:ff9b::/96](https://datatracker.ietf.org/doc/html/rfc6052#section-2.1), such as `[64:ff9b::1.2.3.4]`, which should be transformed into `1.2.3.4`.\n5. Lowercase the whole string.\n\n**To canonicalize the path:**\n\n1. Resolve the sequences `/../` and `/./` in the path by replacing `/./` with `/`, and removing `/../` along with the preceding path component.\n2. Replace runs of consecutive slashes with a single slash character.\n\nDo not apply these path canonicalizations to the query parameters.\n\nIn the URL, percent-escape all characters that are \\\u003c= ASCII 32, \\\u003e= 127, `#`, or `%`. The escapes should use uppercase hex characters.\n\n### Host-Suffix Path-Prefix Expressions\n\nOnce the URL is canonicalized, the next step is to create the suffix/prefix expressions. Each suffix/prefix expression consists of a host suffix (or full host) and a path prefix (or full path).\n\nThe client will form up to 30 different possible host suffix and path prefix combinations. These combinations use only the host and path components of the URL. The scheme, username, password, and port are discarded. If the URL includes query parameters, then at least one combination will include the full path and query parameters.\n\n**For the host**, the client will try at most five different strings. They are:\n\n- If the hostname is not an IPv4 or IPv6 literal, up to four hostnames formed by starting with the eTLD+1 domain and adding successive leading components. The determination of eTLD+1 should be based on the [Public Suffix List](https://publicsuffix.org/). For example, `a.b.example.com` would result in the eTLD+1 domain of `example.com` as well as the host with one additional host component `b.example.com`.\n- The exact hostname in the URL. Following the previous example, `a.b.example.com` would be checked.\n\n**For the path**, the client will try at most six different strings. They are:\n\n- The exact path of the URL, including query parameters.\n- The exact path of the URL, without query parameters.\n- The four paths formed by starting at the root (/) and successively appending path components, including a trailing slash.\n\nThe following examples illustrate the check behavior:\n\nFor the URL `http://a.b.com/1/2.html?param=1`, the client will try these possible strings: \n\n a.b.com/1/2.html?param=1\n a.b.com/1/2.html\n a.b.com/\n a.b.com/1/\n b.com/1/2.html?param=1\n b.com/1/2.html\n b.com/\n b.com/1/\n\nFor the URL `http://a.b.c.d.e.f.com/1.html`, the client will try these possible strings: \n\n a.b.c.d.e.f.com/1.html\n a.b.c.d.e.f.com/\n c.d.e.f.com/1.html\n c.d.e.f.com/\n d.e.f.com/1.html\n d.e.f.com/\n e.f.com/1.html\n e.f.com/\n f.com/1.html\n f.com/\n\n(Note: skip `b.c.d.e.f.com`, since we'll take only the last five hostname components, and the full hostname.)\n\nFor the URL `http://1.2.3.4/1/`, the client will try these possible strings: \n\n 1.2.3.4/1/\n 1.2.3.4/\n\nFor the URL `http://example.co.uk/1`, the client will try these possible strings: \n\n example.co.uk/1\n example.co.uk/\n\n### Hashing\n\nGoogle Safe Browsing exclusively uses SHA256 as the hash function. This hash function should be applied to the above expressions.\n\nThe full 32-byte hash will, depending on the circumstances, be truncated to 4 bytes, 8 bytes, or 16 bytes:\n\n- When using the [hashes.search method](/safe-browsing/reference/rest/v5/hashes/search), we currently require the hashes in the request to be truncated to exactly 4 bytes. Sending additional bytes in this request will compromise user privacy.\n\n- When downloading the lists for the local database using the [hashList.get method](/safe-browsing/reference/rest/v5/hashList/get) or the [hashLists.batchGet method](/safe-browsing/reference/rest/v5/hashLists/batchGet), the length of the hashes sent by the server is encoded within the naming convention of the lists that contain suffix indicating hash length. See [Available Lists](/safe-browsing/reference/Local.Database#available-lists) section for more details."]]
