首先，你去爬取一个网站，
你会清楚这个网站是属于什么类型的网站（新闻，论坛，贴吧等等）。
你会清楚你需要哪部分的数据。
你需要去想需要的数据你将如何编写表达式去解析。
你会碰到各种反爬措施，无非就是各种百度各种解决。当爬取成本高于数据成本，你会选择放弃。
你会利用你所学各种语言去解决你将要碰到的问题，利用各种语言的client组件去请求你想要爬取的URL，获取到HTML，利用正则，XPATH去解析你想要的数据，然后利用sql存储各类数据库。
首先,你去爬取一个网站, 你会清楚这个网站是属于什么类型的网站(新闻,论坛,贴吧等等)。 你会清楚你需要哪部分的数据。告诉你scrapy框架了，这是python最受欢迎的爬虫框架，有了这个框架，多线程爬取不需要你控制，你只需要完成数据的属性类item，网页爬虫类spider，数据保存类pipelines，网页去重类等等就可以了，世界是那么的美好，膜拜作者的想法在你心里油然而生。
如果你爬取数据量不大，只是单机爬取，上面就坐等结果了，如果你说“我手头有几台电脑，一起爬快点”，那么是时候告诉你scrapy-redis了。
首先要了解http知识。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024