学习Python编程 有哪些爬虫技术需要掌握

2024-11-22 05:36:24
推荐回答(2个)
回答1:

想学爬虫,首先你得熟悉tcp、http协议,这是理论基础。其次,python常用的爬虫库urllib、urllib2、requests等得熟悉,碰到反爬网站强的可以用phontomjs+selenium等模拟浏览器等爬取方式,信息提取这块常用的是beautifulsoup或xpath等工具,正则匹配也要熟,爬虫量比较大得用分布式,常用的爬虫框架scrapy-redis你得熟,代理ip这块你也得了解该怎么用,碰到棘手的例如加密内容,你得懂js代码,因为加密过程一般在js代码中,暂时你要学的大致就是这么多了,爬虫这条路也不简单,后面涉及到APP爬虫还有数据存储分析这款

回答2:

很多方法,以及很多方式基本上一搜就搜出来很多
什么618爬虫代理服务器
其实都是差不多的,可能价格方面有不同,还有有的节点可能不一样
你可以对比一下,选个最适合自己的