此页面由 Cloud Translation API 翻译。

网址和哈希处理

本文档适用于以下方法：Update API (v4)： fullHashes.find。

概览

安全浏览列表包含长度不一的 SHA256 哈希值（请参阅列表内容）。如要根据本地或服务器上的安全浏览列表检查网址，客户端必须先计算该网址的哈希前缀。

如要计算网址的哈希前缀，请按以下步骤操作：

对网址进行规范化（请参阅规范化）。
为网址创建后缀/前缀表达式（请参阅后缀/前缀表达式）。
计算每个后缀/前缀表达式的完整哈希（请参阅哈希计算）。
计算每个全长哈希的哈希前缀（请参阅哈希前缀计算）。

请注意，这些步骤与“安全浏览”服务器用于维护“安全浏览”功能的流程完全相同。浏览列表。

规范化

首先，我们假设客户端已解析该网址，并根据 RFC 2396 将其设为有效。如果网址使用国际化域名 (IDN)，则客户端应将网址转换为 ASCII Punycode 表示法。该网址必须包含路径组成部分；也就是说，它必须具有尾随斜杠（“http://google.com/”）。

首先，将制表符 (0x09)、CR (0x0d) 和 LF (0x0a) 字符从网址。请勿删除这些字符的转义序列（例如“%0a”）。

其次，如果网址以片段结尾，请移除片段。例如，将 "http://google.com/#frag"访问“http://google.com/”。

第三，反复对网址进行百分比转义，直到它不再有百分比转义。

如需规范化主机名，请执行以下操作：

从网址中提取主机名，然后：

移除所有前导和尾随的点。
用单点替换连续的点。
如果主机名可以解析为 IP 地址，请将其标准化到 4 个以点分隔的十进制值。客户端应处理所有合法的 IP 地址编码，包括八进制、十六进制以及少于四个分量。
将整个字符串小写。

如需规范化路径，请执行以下操作：

解析序列“/../”和“/./”在路径中替换“/./”包含“/”，并移除“/../”以及前面的路径组件。
将连续斜杠替换成单个斜杠字符。

请勿将这些路径规范化应用于查询参数。

在网址中对所有字符进行百分号转义 <= ASCII 32、>= 127、“#”或“%”。转义应使用大写十六进制字符。

以下是有助于验证规范化实施的测试。

Canonicalize("http://host/%25%32%35") = "http://host/%25";
Canonicalize("http://host/%25%32%35%25%32%35") = "http://host/%25%25";
Canonicalize("http://host/%2525252525252525") = "http://host/%25";
Canonicalize("http://host/asdf%25%32%35asd") = "http://host/asdf%25asd";
Canonicalize("http://host/%%%25%32%35asd%%") = "http://host/%25%25%25asd%25%25";
Canonicalize("http://www.google.com/") = "http://www.google.com/";
Canonicalize("http://%31%36%38%2e%31%38%38%2e%39%39%2e%32%36/%2E%73%65%63%75%72%65/%77%77%77%2E%65%62%61%79%2E%63%6F%6D/") = "http://168.188.99.26/.secure/www.ebay.com/";
Canonicalize("http://195.127.0.11/uploads/%20%20%20%20/.verify/.eBaysecure=updateuserdataxplimnbqmn-xplmvalidateinfoswqpcmlx=hgplmcx/") = "http://195.127.0.11/uploads/%20%20%20%20/.verify/.eBaysecure=updateuserdataxplimnbqmn-xplmvalidateinfoswqpcmlx=hgplmcx/";
Canonicalize("http://host%23.com/%257Ea%2521b%2540c%2523d%2524e%25f%255E00%252611%252A22%252833%252944_55%252B") = "http://host%23.com/~a!b@c%23d$e%25f^00&11*22(33)44_55+";
Canonicalize("http://3279880203/blah") = "http://195.127.0.11/blah";
Canonicalize("http://www.google.com/blah/..") = "http://www.google.com/";
Canonicalize("www.google.com/") = "http://www.google.com/";
Canonicalize("www.google.com") = "http://www.google.com/";
Canonicalize("http://www.evil.com/blah#frag") = "http://www.evil.com/blah";
Canonicalize("http://www.GOOgle.com/") = "http://www.google.com/";
Canonicalize("http://www.google.com.../") = "http://www.google.com/";
Canonicalize("http://www.google.com/foo\tbar\rbaz\n2") ="http://www.google.com/foobarbaz2";
Canonicalize("http://www.google.com/q?") = "http://www.google.com/q?";
Canonicalize("http://www.google.com/q?r?") = "http://www.google.com/q?r?";
Canonicalize("http://www.google.com/q?r?s") = "http://www.google.com/q?r?s";
Canonicalize("http://evil.com/foo#bar#baz") = "http://evil.com/foo";
Canonicalize("http://evil.com/foo;") = "http://evil.com/foo;";
Canonicalize("http://evil.com/foo?bar;") = "http://evil.com/foo?bar;";
Canonicalize("http://\x01\x80.com/") = "http://%01%80.com/";
Canonicalize("http://notrailingslash.com") = "http://notrailingslash.com/";
Canonicalize("http://www.gotaport.com:1234/") = "http://www.gotaport.com/";
Canonicalize("  http://www.google.com/  ") = "http://www.google.com/";
Canonicalize("http:// leadingspace.com/") = "http://%20leadingspace.com/";
Canonicalize("http://%20leadingspace.com/") = "http://%20leadingspace.com/";
Canonicalize("%20leadingspace.com/") = "http://%20leadingspace.com/";
Canonicalize("https://www.securesite.com/") = "https://www.securesite.com/";
Canonicalize("http://host.com/ab%23cd") = "http://host.com/ab%23cd";
Canonicalize("http://host.com//twoslashes?more//slashes") = "http://host.com/twoslashes?more//slashes";

后缀/前缀表达式

规范化网址后，下一步是创建后缀/前缀表达式。每个后缀/前缀表达式都包含一个主机后缀（或完整主机）以及一个路径前缀（或完整路径），如以下示例所示。

后缀/前缀表达式	等效正则表达式
a.b/mypath/	http\:\/\/.\.a\.b\/mypath\/.
c.d/full/path.html?myparam=a	http\:\/\/.*.c\.d\/full\/path\.html?myparam=a

客户端将形成多达 30 种不同的主机后缀和路径前缀组合。这些组合仅使用网址的主机和路径部分。架构、用户名密码和端口将被舍弃。如果网址包含查询参数，则至少有一个组合会包含完整路径和查询参数。

对于主机，客户端最多可尝试 5 个不同的字符串。他们分别是：

网址中的确切主机名。
最多四个主机名，方法是从最后五个组件开始，然后依次移除前导组件。可以跳过顶级域名。这些如果主机是 IP 地址，则不应检查其他主机名。

对于路径，客户端最多可尝试 6 个不同的字符串。它们分别是：

网址的确切路径包括查询参数。
网址的确切路径不包含查询参数。
从根 (/) 开始并依次附加路径组件（包括尾部斜杠）形成的四个路径。

以下示例演示了检查行为：

对于网址 http://a.b.c/1/2.html?param=1，客户端将尝试这些可能的字符串：

a.b.c/1/2.html?param=1
a.b.c/1/2.html
a.b.c/
a.b.c/1/
b.c/1/2.html?param=1
b.c/1/2.html
b.c/
b.c/1/

对于网址 http://a.b.c.d.e.f.g/1.html，客户端将尝试以下可能的操作： strings:

a.b.c.d.e.f.g/1.html
a.b.c.d.e.f.g/
(Note: skip b.c.d.e.f.g, since we'll take only the last five hostname components, and the full hostname)
c.d.e.f.g/1.html
c.d.e.f.g/
d.e.f.g/1.html
d.e.f.g/
e.f.g/1.html
e.f.g/
f.g/1.html
f.g/

对于网址 http://1.2.3.4/1/，客户端将尝试以下可能的字符串：

1.2.3.4/1/
1.2.3.4/

哈希计算

创建一组后缀/前缀表达式后，下一步是计算每个表达式的全长 SHA256 哈希值。单元测试（采用伪 C），可用于验证哈希计算。

来自 FIPS-180-2 的示例：

Unit Test (in pseudo-C)

// Example B1 from FIPS-180-2
string input1 = "abc";
string output1 = TruncatedSha256Prefix(input1, 32);
int expected1[] = { 0xba, 0x78, 0x16, 0xbf };
assert(output1.size() == 4);  // 4 bytes == 32 bits
for (int i = 0; i < output1.size(); i++) assert(output1[i] == expected1[i]);

// Example B2 from FIPS-180-2
string input2 = "abcdbcdecdefdefgefghfghighijhijkijkljklmklmnlmnomnopnopq";
string output2 = TruncatedSha256Prefix(input2, 48);
int expected2[] = { 0x24, 0x8d, 0x6a, 0x61, 0xd2, 0x06 };
assert(output2.size() == 6);
for (int i = 0; i < output2.size(); i++) assert(output2[i] == expected2[i]);

// Example B3 from FIPS-180-2
string input3(1000000, 'a');  // 'a' repeated a million times
string output3 = TruncatedSha256Prefix(input3, 96);
int expected3[] = { 0xcd, 0xc7, 0x6e, 0x5c, 0x99, 0x14, 0xfb, 0x92,
                    0x81, 0xa1, 0xc7, 0xe2 };
assert(output3.size() == 12);
for (int i = 0; i < output3.size(); i++) assert(output3[i] == expected3[i]);

哈希前缀计算

最后，客户端需要为每个完整长度的 SHA256 哈希计算哈希前缀。安全哈希前缀由 SHA256 哈希的最有效 4-32 个字节组成。

来自 FIPS-180-2 的示例：

来自 FIPS-180-2 的示例 B1
- 输入为“abc”。
- SHA256 摘要为 ba7816bf 8f01cfea 414140de 5dae2223 b00361a3 96177a9c b410ff61 f20015ad。
- 32 位哈希前缀为 ba7816bf。
FIPS-180-2 中的示例 B2
- 输入为 “abcdbcdecdefdefgefghfghighijhijkijkljklmklmnlmnomnopnopq”。
- SHA256 摘要为 248d6a61 d20638b8 e5c02693 0c3e6039 a33ce459 64ff2167 f6ecedd4 19db06c1。
- 48 位哈希前缀为 248d6a61 d206。