URLs and Hashing
Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Questa sezione contiene le specifiche dettagliate su come i client controllano gli URL.
Canonizzazione degli URL
Prima che gli URL vengano controllati, il client deve eseguire una certa canonicalizzazione sull'URL.
Per iniziare, assumiamo che il client abbia analizzato l'URL e lo abbia reso valido in base a RFC 2396. Se l'URL utilizza un nome di dominio internazionalizzato (IDN), il client deve convertirlo nella rappresentazione ASCII Punycode. L'URL deve includere un componente del percorso, ovvero deve avere almeno una barra dopo il dominio (http://google.com/ anziché http://google.com).
Innanzitutto, rimuovi i caratteri tabulazione (0x09), CR (0x0d) e LF (0x0a) dall'URL. Non rimuovere le sequenze di escape per questi caratteri (ad es. %0a).
In secondo luogo, se l'URL termina con un frammento, rimuovilo. Ad esempio, abbrevia http://google.com/#frag in http://google.com/.
In terzo luogo, rimuovi ripetutamente l'escape percentuale dall'URL finché non sono presenti più escape percentuali. (L'URL potrebbe risultare non valido).
Per eseguire la standardizzazione del nome host:
Estrai il nome host dall'URL e poi:
- Rimuovi tutti i punti iniziali e finali.
- Sostituisci i punti consecutivi con un solo punto.
- Se il nome host può essere analizzato come indirizzo IPv4, normalizzalo in 4 valori decimali separati da punti. Il client deve gestire qualsiasi codifica dell'indirizzo IP valida, inclusi ottali, esadecimali e meno di quattro componenti.
- Se il nome host può essere analizzato come indirizzo IPv6 tra parentesi, normalizzalo rimuovendo gli zeri iniziali non necessari nei componenti e comprimendo i componenti zero utilizzando la sintassi dei due punti. Ad esempio,
[2001:0db8:0000::1] deve essere trasformato in [2001:db8::1]. Se il nome host è uno dei due seguenti tipi di indirizzi IPv6 speciali, trasformalo in IPv4:
- Un indirizzo IPv6 mappato su IPv4, ad esempio
[::ffff:1.2.3.4], che deve essere trasformato in 1.2.3.4.
- Un indirizzo NAT64 che utilizza il prefisso noto 64:ff9b::/96, ad esempio
[64:ff9b::1.2.3.4], che deve essere trasformato in 1.2.3.4.
- Scrivi tutta la stringa in minuscolo.
Per eseguire la canonizzazione del percorso:
- Risolvi le sequenze
/../ e /./ nel percorso sostituendo /./ con / e rimuovendo /../ insieme al componente del percorso precedente.
- Sostituisci le serie di barre consecutive con un singolo carattere barra.
Non applicare queste canonizzazioni dei percorsi ai parametri di query.
Nell'URL, inserisci un codice di escape per tutti i caratteri <= ASCII 32, >= 127, # o %. Gli escape devono utilizzare caratteri esadecimali maiuscoli.
Espressioni di prefisso percorso con suffisso host
Una volta canonizzato l'URL, il passaggio successivo consiste nel creare le espressioni di suffisso/prefisso. Ogni espressione di suffisso/prefisso è composta da un suffisso host (o host completo) e da un prefisso percorso (o percorso completo).
Il client formerà fino a 30 possibili combinazioni di suffisso host e prefisso percorso. Queste combinazioni utilizzano solo i componenti host e path dell'URL. Lo schema, il nome utente, la password e la porta vengono ignorati. Se l'URL include parametri di query, almeno una combinazione includerà il percorso completo e i parametri di query.
Per l'host, il client proverà al massimo cinque stringhe diverse. Sono:
- Se il nome host non è un valore letterale IPv4 o IPv6, fino a quattro nomi host formati iniziando con il dominio eTLD+1 e aggiungendo componenti iniziali successivi. La determinazione di eTLD+1 deve essere basata sull'elenco dei suffissi pubblici. Ad esempio,
a.b.example.com restituirà il dominio eTLD+1 di example.com, nonché l'host con un componente host aggiuntivo b.example.com.
- Il nome host esatto nell'URL. Seguendo l'esempio precedente, verrà selezionato
a.b.example.com.
Per il percorso, il client proverà al massimo sei stringhe diverse. Sono:
- Il percorso esatto dell'URL, inclusi i parametri di query.
- Il percorso esatto dell'URL, senza parametri di query.
- I quattro percorsi formati iniziando dalla radice (/) e aggiungendo successivamente i componenti del percorso, inclusa una barra finale.
Gli esempi riportati di seguito illustrano il comportamento del controllo:
Per l'URL http://a.b.com/1/2.html?param=1, il client proverà queste possibili stringhe:
a.b.com/1/2.html?param=1
a.b.com/1/2.html
a.b.com/
a.b.com/1/
b.com/1/2.html?param=1
b.com/1/2.html
b.com/
b.com/1/
Per l'URL http://a.b.c.d.e.f.com/1.html, il client proverà queste possibili stringhe:
a.b.c.d.e.f.com/1.html
a.b.c.d.e.f.com/
c.d.e.f.com/1.html
c.d.e.f.com/
d.e.f.com/1.html
d.e.f.com/
e.f.com/1.html
e.f.com/
f.com/1.html
f.com/
(Nota: salta b.c.d.e.f.com, poiché prenderemo solo gli ultimi cinque componenti del nome host e il nome host completo.)
Per l'URL http://1.2.3.4/1/, il client proverà queste possibili stringhe:
1.2.3.4/1/
1.2.3.4/
Per l'URL http://example.co.uk/1, il client proverà queste possibili stringhe:
example.co.uk/1
example.co.uk/
Hashing
Google Navigazione sicura utilizza esclusivamente SHA256 come funzione di hash. Questa funzione hash deve essere applicata alle espressioni precedenti.
L'hash completo di 32 byte verrà troncato a 4, 8 o 16 byte, a seconda delle circostanze:
Quando utilizzi il metodo hashes.search, al momento è necessario che gli hash nella richiesta vengano troncati a esattamente 4 byte. L'invio di altri byte in questa richiesta comprometterà la privacy dell'utente.
Quando scarichi gli elenchi per il database locale utilizzando il metodo hashList.get o il metodo hashLists.batchGet, la lunghezza degli hash inviati dal server è codificata nella convenzione di denominazione degli elenchi che contengono il suffisso che indica la lunghezza dell'hash. Per ulteriori dettagli, consulta la sezione Elenchi disponibili.
Salvo quando diversamente specificato, i contenuti di questa pagina sono concessi in base alla licenza Creative Commons Attribution 4.0, mentre gli esempi di codice sono concessi in base alla licenza Apache 2.0. Per ulteriori dettagli, consulta le norme del sito di Google Developers. Java è un marchio registrato di Oracle e/o delle sue consociate.
Ultimo aggiornamento 2025-07-25 UTC.
[null,null,["Ultimo aggiornamento 2025-07-25 UTC."],[],[],null,["# URLs and Hashing\n\nThis section contains detailed specifications of how clients check URLs.\n\n### Canonicalization of URLs\n\nBefore any URLs are checked, the client is expected to perform some canonicalization on that URL.\n\nTo begin, we assume that the client has parsed the URL and made it valid according to RFC 2396. If the URL uses an internationalized domain name (IDN), the client should convert the URL to the ASCII Punycode representation. The URL must include a path component; that is, it must have at least one slash following the domain (`http://google.com/` instead of `http://google.com`).\n\nFirst, remove tab (0x09), CR (0x0d), and LF (0x0a) characters from the URL. Do not remove escape sequences for these characters (e.g. `%0a`).\n\nSecond, if the URL ends in a fragment, remove the fragment. For example, shorten `http://google.com/#frag` to `http://google.com/`.\n\nThird, repeatedly percent-unescape the URL until it has no more percent-escapes. (This may render the URL invalid.)\n\n**To canonicalize the hostname:**\n\nExtract the hostname from the URL and then:\n\n1. Remove all leading and trailing dots.\n2. Replace consecutive dots with a single dot.\n3. If the hostname can be parsed as an IPv4 address, normalize it to 4 dot-separated decimal values. The client should handle any legal IP-address encoding, including octal, hex, and fewer than four components.\n4. If the hostname can be parsed as a bracketed IPv6 address, normalize it by removing unnecessary leading zeroes in the components and collapsing zero components by using the double-colon syntax. For example `[2001:0db8:0000::1]` should be transformed into `[2001:db8::1]`. If the hostname is one of the two following special IPv6 address types, transform them into IPv4:\n - An IPv4-mapped IPv6 address, such as `[::ffff:1.2.3.4]`, which should be transformed into `1.2.3.4`;\n - A NAT64 address using [the well-known prefix 64:ff9b::/96](https://datatracker.ietf.org/doc/html/rfc6052#section-2.1), such as `[64:ff9b::1.2.3.4]`, which should be transformed into `1.2.3.4`.\n5. Lowercase the whole string.\n\n**To canonicalize the path:**\n\n1. Resolve the sequences `/../` and `/./` in the path by replacing `/./` with `/`, and removing `/../` along with the preceding path component.\n2. Replace runs of consecutive slashes with a single slash character.\n\nDo not apply these path canonicalizations to the query parameters.\n\nIn the URL, percent-escape all characters that are \\\u003c= ASCII 32, \\\u003e= 127, `#`, or `%`. The escapes should use uppercase hex characters.\n\n### Host-Suffix Path-Prefix Expressions\n\nOnce the URL is canonicalized, the next step is to create the suffix/prefix expressions. Each suffix/prefix expression consists of a host suffix (or full host) and a path prefix (or full path).\n\nThe client will form up to 30 different possible host suffix and path prefix combinations. These combinations use only the host and path components of the URL. The scheme, username, password, and port are discarded. If the URL includes query parameters, then at least one combination will include the full path and query parameters.\n\n**For the host**, the client will try at most five different strings. They are:\n\n- If the hostname is not an IPv4 or IPv6 literal, up to four hostnames formed by starting with the eTLD+1 domain and adding successive leading components. The determination of eTLD+1 should be based on the [Public Suffix List](https://publicsuffix.org/). For example, `a.b.example.com` would result in the eTLD+1 domain of `example.com` as well as the host with one additional host component `b.example.com`.\n- The exact hostname in the URL. Following the previous example, `a.b.example.com` would be checked.\n\n**For the path**, the client will try at most six different strings. They are:\n\n- The exact path of the URL, including query parameters.\n- The exact path of the URL, without query parameters.\n- The four paths formed by starting at the root (/) and successively appending path components, including a trailing slash.\n\nThe following examples illustrate the check behavior:\n\nFor the URL `http://a.b.com/1/2.html?param=1`, the client will try these possible strings: \n\n a.b.com/1/2.html?param=1\n a.b.com/1/2.html\n a.b.com/\n a.b.com/1/\n b.com/1/2.html?param=1\n b.com/1/2.html\n b.com/\n b.com/1/\n\nFor the URL `http://a.b.c.d.e.f.com/1.html`, the client will try these possible strings: \n\n a.b.c.d.e.f.com/1.html\n a.b.c.d.e.f.com/\n c.d.e.f.com/1.html\n c.d.e.f.com/\n d.e.f.com/1.html\n d.e.f.com/\n e.f.com/1.html\n e.f.com/\n f.com/1.html\n f.com/\n\n(Note: skip `b.c.d.e.f.com`, since we'll take only the last five hostname components, and the full hostname.)\n\nFor the URL `http://1.2.3.4/1/`, the client will try these possible strings: \n\n 1.2.3.4/1/\n 1.2.3.4/\n\nFor the URL `http://example.co.uk/1`, the client will try these possible strings: \n\n example.co.uk/1\n example.co.uk/\n\n### Hashing\n\nGoogle Safe Browsing exclusively uses SHA256 as the hash function. This hash function should be applied to the above expressions.\n\nThe full 32-byte hash will, depending on the circumstances, be truncated to 4 bytes, 8 bytes, or 16 bytes:\n\n- When using the [hashes.search method](/safe-browsing/reference/rest/v5/hashes/search), we currently require the hashes in the request to be truncated to exactly 4 bytes. Sending additional bytes in this request will compromise user privacy.\n\n- When downloading the lists for the local database using the [hashList.get method](/safe-browsing/reference/rest/v5/hashList/get) or the [hashLists.batchGet method](/safe-browsing/reference/rest/v5/hashLists/batchGet), the length of the hashes sent by the server is encoded within the naming convention of the lists that contain suffix indicating hash length. See [Available Lists](/safe-browsing/reference/Local.Database#available-lists) section for more details."]]
