必应的Spider无法识别没有urlencode的链接

By lincanbin at 2014-02-16 23:17:07 • 666次点击

访问日志出现了大量“锟斤拷”
可见支持不好,因为在@ 人的时候
member/ 后对应的参数需要进行urlencode处理,否则Bing会捕捉到404,影响收录

spider, urlencode


含中文参数需要urlencode,不知道是不是个例,我反正访问日志(我补充的一个记录Spider爬行的程序,当返回404时会记录)出现了大量的404返回

lincanbin at 2014-02-16 23:23:48
1


海量含中文路径无法爬行,BING DDOS式地爬了一天,出现了四千多个404,第二天就只爬了几百页

lincanbin at 2014-02-16 23:27:00
2
登录 后发表评论