用Ruby编写爬虫抓取拉钩的职位信息

2021-08-17

Ruby是非常优雅高效的编程语言,这次我们用Ruby演示如何编写爬虫程序抓取拉钩的职位信息。

通过爬虫技术抓取数据违法吗?

2021-07-27

通过爬虫技术获取数据是互联网普遍的行为,也是网络安全非常敏感的话题,那么到底爬虫抓取数据违法吗?

Scrapy进阶之ItemLoader

2021-07-16

ItemLoader是Scrapy框架中非常有用,非常灵活的设计之一。也是容易被大家忽略的爬虫好帮手。

数据抽取:CSS选择器还是XPath?

2021-07-12

编写爬虫的过程,数据抽取是我们完成目标的重要一环,一般可以用CSS选择器语法或者XPath语法来实现数据的定位和抽取,那到底那个更好呢?

用JavaScript和Node.js编写爬虫

2021-07-01

Node.js是目前非常流行,非常成熟的JavaScript运行环境。基于谷歌的V8引擎,Node.js的性能也十分优秀。这使得非常适合基于Node.js环境,使用JavaScript语言来编写爬虫程序。

使用Scrapy框架抓取豆瓣电影数据

2021-06-28

Scrapy框架是最成熟,使用很广泛的Python爬虫框架。本文将带领大家用Scrapy框架编写简单的爬虫来采集豆瓣电影的数据。

利用爬虫抓取数据避免被封的几个小技巧

2021-06-25

现在利用爬虫抓取数据越来越困难,各类网站都加上了各种反爬手段来侦测封杀爬虫。有几个小技巧可以帮助你不被反爬机制干扰。