python有个爬虫框架叫做
scrapy,这个框架做得很好, 你只需要写抓取链接的提取方法,以及页面内容的抽取方法
一共两个自定义的部分,其他都是框架完成,包括定时,传输介质可以自定义
那你做爬虫效率就高了,
爬虫一般来说就是进行网络资源抓取,因为python脚本特性,python容易配置,对字符处理十分灵活,python有着丰富网络抓取模板,让两者可以很好的连接在一起。具体优势如下:
1、对比其他静态编程语言来说,如Java、C#、C++,python抓取网页文档接口更加简洁;对比其他动态语言Perl、shell,Python的urllib2包提供了非常完整的访问网页文档API。抓住网页有时候需要模拟浏览器的行为,而python具有很多第三方包,比如说Requests、mechanize。
2、对于抓取之后的网页需要进行处理,过滤标签、提取文本等。python提供了简洁的文档处理功能,可以用很短的代码完成大部分文档处理。
python有个bai爬虫框架叫做
scrapy,这个du框架做得很好,zhi 你只需要写抓取链dao接的提取方法,以zhuan及页面内容的抽取方法
一共两个自定义的部分,其他都是框架完成,包括定时,传输介质可以自定义
那你做爬虫效率就高了,