百度推出了很多自己的产品,仔细想想,他自己也是利用这些产品数据来更好的解决搜索服务的,百度统计,百度收藏,博客等,
下面说下如何用百度收藏来解决网站的收录问题
一个网站有很多的页面,有些页面Baiduspider可能抓取不到,这个时候怎么办呢?让这个url出现在网络上(免费发外链论坛),尽可能快得呗蜘蛛发现
如何去做?
我们可以申请一批百度账号,然后把这些页面url添加到每个账号下的百度收藏里面(如果是大量页面,百万级别的,可以开发工具来做,期待有人解决,呵呵)
用一批百度账号做收藏,是为了增加爬虫发现的几率和到达网站的几率,用百度的收藏夹,是为了解决百度爬虫的发现页面的速度和时间
做百度收藏的测试结果如下:看日志
220.181.51.210 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"
61.135.190.72 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"
ps:百度搜藏 的蜘蛛为 Baiduspider-favo
我们可以吧这个测试拓展,通过百度收藏添加更多的url,那么蜘蛛获得你网站的url的几率和数量是不是很加大很多的,增加了页面在spider的曝光率,那么收录也有可能呗解决。以上思路仅供参考,欢迎提出新方法!