博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧
阅读量:6654 次
发布时间:2019-06-25

本文共 1683 字,大约阅读时间需要 5 分钟。

hot3.png

之前写的一些爬虫都是用的正则、bs4、xpath做为解析库来实现,如果你对web有所涉及,并且比较喜欢css选择器,那么就有一个更适合的解析库—— PyQuery。我们就用一个非常简单的小例子来看看css选择器做爬虫是怎么样的!

安装

直接pip安装即可:pip install pyquery

安装完成后,运行 pip show pyquery,如果出现相关信息即为安装完成!

如果pip安装失败,可以去官网https://pypi.org/project/pyquery/#downloads下载wheel文件,然后用pip安装即可,注意文件名字要写全,比如:pip install pyquery-1.2.17-py2.py3-none-any.whl ,该命令请在同一目录下使用。

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

使用

确保安装成功后就可以开始使用了,它和其他库一样,PyQuery 初始化的时候也需要传入 HTML 数据源来初始化一个操作对象,它的初始化方式有多种,比如直接传入字符串,传入 URL,传文件名。

我们用requests库搭配来写个简单的抓取凤凰新闻的小爬虫,方便理解:

打开凤凰网——资讯——即时新闻,我们就以抓取这个页面的所有新闻为例吧!

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

这里没有反爬,页数也不是很多(4页),非常方便用来讲解!分析下网页结构后发现,所有的新闻目录都存在于网页源代码中,每页大概有60多条,我们先来抓取一页的标题和url试试

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

可以看到,标题和url都在class=newsList的div下的ul->li->a标签下(用a标签的target属性匹配的话太多,不好清洗),我们可以直接写如代码去获取相关内容了,如下图:

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

前面是常规的requests库获取源代码html,然后用PyQuery解析网页源代码,重点是后面的定位到a标签和取出内容。

doc('.newsList ul a') 的意思是定位class属性为newsList的标签下面的ul下面的a标签,注意newsList前面有个点,代表class属性,ul和a标签之间有个li标签,因为ul下的a标签是唯一,所以省略了(ul标签没有省略是因为最下面翻页部分也在这个div下,省略会有其他内容出现,下面会单独提取)!然后定位到a标签后,用items()方法将所有的a标签取出,然后遍历取出里面的内容。

这里提取标签的内容用了2个方法text()和attr():

text()方法,可以提取出标签下的所有文本内容,注意是所有!!!

attr()方法,取出标签的某属性,2中写法都可以:new.attr.href 和new.attr('href')

然后在看翻页,我们只需要判断是否存在下一页,存在时,查找所有的标题和url,然后获取下一页的url,继续查找,直到不存在下一页,所有的页面就都遍历过了!为了方便,直接做成了一个函数,来看代码

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

这里同样的用class属性来定位,找到它下的a标签,然后判断‘下一页’是否存在a标签的文本中,存在则取出下一页的url,然后再次调用函数,不存在则退出!

这样,我们就得到了4页所有的title和url的内容,在来看看新闻详情页的情况,所有的网页文本内容都在id="main_content"的div下的好多p标签中,那么就用到了text()方法了!来看图

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

这样,我们就取到了所有内容,整合下,最后代码如下:

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

随手写的代码,就不写入文本或者数据库什么了,主要是学习css选择器的使用!

最后

​到这里PyQuery 的用法就介绍完了,当然只是用到了很少一部分,还有好多功能没有在这里使用,大家有兴趣可以去看看官方文档或者教程,而且css选择器也可以使用在scrapy框架!是非常方便的一种方式!

现在学习python的人越来越多,很多人还在找资料,或者疑问哪本书是否有用,或者想找个可以指导的老师,或者在寻找一起学习的小伙伴,如果你也是需要资料或者需要帮助的话,可以关注我,私信一起来交流学习!

转载于:https://my.oschina.net/u/3873244/blog/1836467

你可能感兴趣的文章
软件测试工程师必备技能,纯干货分享!
查看>>
国外一个牛人写好的VIM配置方案spf13
查看>>
Python 单向循环链表
查看>>
Redis 客户端安装与远程连接图解
查看>>
BZOJ3328: PYXFIB(单位根反演?)
查看>>
使用EasyUI的treegrid犯的个低级错误
查看>>
jmeter 登录并发 (此文章有待修改)
查看>>
spring事务测试2,为了解决spring事务测试1
查看>>
扩展卡特兰数
查看>>
ajax对象。同步与异步及ajax发送请求
查看>>
event.stopPropagation 阻止触发父元素的绑定事件
查看>>
[开源] KJFramework.Message 智能二进制消息框架
查看>>
appcan本地数据库,uexDataBaseMgr插件
查看>>
HTML学习笔记一基本标签
查看>>
Mac、nvm、node/npm
查看>>
【转载】随机函数rand()
查看>>
二分查找 BestCoder Round #36 ($) Gunner
查看>>
PowerShell【Do While、Do Until篇】
查看>>
试验添加RAC(ORA10G)节点
查看>>
面试题编程题04-python sort和sorted用法与区别
查看>>