通过爬虫技术抓取数据违法吗?

2021-07-27

通过爬虫技术获取数据是互联网普遍的行为,也是网络安全非常敏感的话题,那么到底爬虫抓取数据违法吗?

自互联网诞生,网络开始普及,利用爬虫技术获取数据就一直存在,每天整个互联网上有成千上万的爬虫程序正在采集数据。对于爬虫,也是让人又爱又恨,有人利用爬虫技术抓取数据开创了自己的一番事业,有人却为了防止爬虫程序抓取自己的数据费劲心思。不管你是怎么看待爬虫,始终有个问题是无法回避的:

通过爬虫技术抓取数据违法吗?

近年来,也有不少涉及数据采集的案件公开审理,也让越来越多相关的从业人员关注起来。我们尝试根据以往的案件梳理出涉及爬虫或数据采集的相关边界,试图回答什么时候爬虫抓取数据是合法的,什么时候是非法的。

申明:我们不是专业的律师,这篇博文仅仅是根据我们自有的经验和理解的解答。如果你对自己业务有任何法律风险上的疑问,请咨询专业的律师。

爬虫抓取数据违法吗?

有些人会很武断的回复违法或者合法,这都是不正确的。事实上,利用爬虫获取数据是否违法的边界很不清晰,涉及到很多方面的考量。首先我们要了解的是,爬虫技术本身不是判断是否违法的主要点,有很多公司利用技术手段采集互联网内容是其开展业务的基础,比如搜索引擎巨头就是依赖网络爬虫抓取数据建立索引,提供服务给用户。

爬虫抓取数据是否违法,主要考察一下几个关键点:

  1. 爬虫抓取的数据类型
  2. 抓取后的数据用于什么用途
  3. 抓取数据的过程

抓取什么样的数据是违法的?

判断爬虫抓取数据是否合法,很大程度上依赖于抓取数据的类型和抓取数据后如何使用数据。有时候爬虫采集数据是合法的,但是你准备如何使用该数据的时候,会使得整个过程是非法的。

有两类数据,我们需要特别注意:

  1. 个人隐私数据
  2. 受知识产权保护的数据

如果你抓取的数据不属于这两类数据,一般情况下,是合法的。

个人隐私数据

个人隐私数据有称个人识别信息(Personally Identifiable Information, PII),是指可以直接或间接识别个体的数据。2018年加州通过了加州消费者隐私保护法,个人隐私数据受到了更多的关注。基本上来看,世界各个地区都开始重视个人隐私数据的保护,整体来看,牵涉到个人隐私的数据都需要获得用户的授权同意才行。

个人隐私数据包括(但不限于):

  • 姓名
  • 电子邮件地址
  • 电话号码
  • 居住地址
  • IP地址
  • 生日
  • 职业信息
  • 银行金融信息
  • 医疗信息
  • 生物识别信息(人脸,指纹等)

因为爬虫抓取数据不太可能得到个人的授权或者同意,所以擅自抓取个人隐私数据是非常铭感的,很容易踩到红线。

受知识产权保护的数据

第二类需要特别注意的数据是受知识产权保护的数据,知识产权保护的内容的权益归所有人,受保护的内容不能擅自复制和传播。像有版权的歌曲或者图片,虽然可以通过网络获取到,但是不能随意复制传播。基于此,如果想要抓取这类数据,原则上也是需要获取权益所有人的授权或同意的。这在绝大情况下是做不到的。

一般受知识产权保护的内容包括:

  • 歌曲
  • 视频
  • 图片
  • 文章
  • 数据库

一般来说,抓取这类数据但是不做二次传播可能不会触犯法律,但是一旦你想公开或者传播这类数据,甚至利用这些盈利,基本上都是非法的。

爬虫本身是违法的吗?

如果爬虫采集数据牵涉到个人隐私数据或者受知识产权保护的数据,一般来说违法的风险就很大了。在这方面各国的法律都是朝着保护这两类数据出发的。但是如果不是这两类数据呢?这里就很难判断了。

原则上来说,爬虫技术本身并不受限制,也没有法律条文限制使用爬虫技术去自动采集数据。根据之前的相关的案件审理来看,除了数据本身的敏感度,还会考察数据是否是公开数据,是否是平台受限访问的数据。

这里只的公开数据不仅是属于直接访问的数据,也包括从理解上不属于平台业务特有的数据,举个例子,淘宝网上的商品名称就不属于平台特有,因为其他平台也有同类产品。但是淘宝上的商品评价或者交易量这种数据就属于淘宝平台业务强相关的数据了。

另外一个需要注意的是访问数据是否是受限的,这里主要是指是不是需要登录或者通过某种认证方式才能查看的数据。一般来说,抓取不需要登录就能访问的数据是安全的。

同时,你如何使用抓取来的数据也是判断的一个关键点,在百度vs大众点评的案例中来看,百度使用抓取的数据直接提供给网络用户,构成了不正当竞争。

风险自查

通过上面的理解,我们一般可以通过以下问题来自查风险:

  1. 我是不是在抓取个人隐私数据?
  2. 我是不是在抓取受知识产权保护的数据?
  3. 我是不是在抓取需要登录才能访问的数据?

如果上面的问题回答都是“否”的话,基本上来说你爬取的数据是安全的。

如果以上问题有是的回答,你就需要非常谨慎的衡量你的行为了。最好找专业律师进行咨询。

相关案件