如何用python抓取网页特定内容

2024-11-16 13:54:26
推荐回答(3个)
回答1:

最简单可以用urllib,python2.x和python3.x的用法不同,以python2.x为例:


import urllib
html = urllib.open(url)
text = html.read()

复杂些可以用requests库,支持各种请求类型,支持cookies,header等

再复杂些的可以用selenium,支持抓取javascript产生的文本


我设计了简单的爬虫闯关网站 www.heibanke.com/lesson/crawler_ex00/

新手如果能自己把三关闯过,相信一定会有所收获。

题解在课程里有提到http://study.163.com/course/courseMain.htm?courseId=1000035

回答2:

用urllib2读取通过httpserver传递request,获取html文件。
用正则表达式规定那个价格附近的格式内容,查找整个html,找到价格。
关键在于网站html文件并不规范,可能经常有变化导致失败。

定时运行脚本发现价格变化就报告。

回答3:

这个需要借用网站的api,自己去找找看,还有可以用解析网页的模块自己抓取