百度提供了一个站长服务,通过认证后,可以干预一些百度爬虫的行为,同时也可以检测链接对百度的可见性。
服务地址:百度搜索资源平台
在更新本站的验证信息的时候,发现无法通过文件验证,研究下来发现是链接与Cloudflare的机制有冲突。
验证的详细说明可以参考:站点验证图文详解
Cloudflare会自动把test.html转换为test,因此百度按原url访问时会找不到。
这里选择在正常文件后再加一个.html,形成test.html.html的结构,这样经过转换后仍能有一个后缀。
百度提供了一个站长服务,通过认证后,可以干预一些百度爬虫的行为,同时也可以检测链接对百度的可见性。
服务地址:百度搜索资源平台
在更新本站的验证信息的时候,发现无法通过文件验证,研究下来发现是链接与Cloudflare的机制有冲突。
验证的详细说明可以参考:站点验证图文详解
Cloudflare会自动把test.html转换为test,因此百度按原url访问时会找不到。
这里选择在正常文件后再加一个.html,形成test.html.html的结构,这样经过转换后仍能有一个后缀。
加载中...