python 爬虫入门问题Crawler?Scrapy?模块urlib?requests?

2025-03-21 23:06:50

推荐回答（5个）

回答1：

因为urllib 是python自带的库，requests是第三方的，功能类似urllib。scrapy 是个爬虫框架，如果你是入门爬化建议还是先学点python基础。至于爬虫requests可以，scrapy也可以。主要还是懂原理，http 协议和ajax，反扒的机制等等

回答2：

不是，只要是实现了http协议的库都可以用，这样的库有很多款，核心功能都是差不多的。
Scrapy是框架，框架是半成品，可以让你用很小的代码量做更多的事情。

回答3：

你可以看一下python的爬虫框架scrapy，这里面已经包含了写爬虫的大部分功能，自己只需要编写两三个模块，就可以完成一个爬虫。如果解决了您的问题请采纳！如果未解决请继续追问！

回答4：

所谓爬虫，就是将网页下载到本地，然后进行分析提取数据。

知乎有个不错的答案
http://www.zhihu.com/question/20899988
关于爬虫入门的回答很详细了~~~~

回答5：

一般都是可以的。不过大多初学会用urlib。