问答
抓取社交媒体上的公开数据合法吗?
简短回答
很多情况下可以,但取决于你在哪里、怎么采、拿数据做什么,下面只是一般信息,具体项目请咨询律师。美国法院认为抓取公开页面一般不算黑客行为,但合同、版权和个人信息方面的法律照样适用。okdata 这样的数据接口只提供公开数据(X 搜索每页 $0.006),但不会替你承担使用数据的法律责任。
本页只是一般信息,不是法律意见。各国法律不同,也在变化,你的项目具体怎么判断,要看只有你和律师才掌握的事实。下面把这个问题通常怎么拆开讲清楚,方便你去问律师时问得更准。
决定大多数情况的四个问题
- 数据是不是公开的? 不登录就能看到的内容,和登录后、付费墙后、私密账号里的内容,处境完全不同。
- 怎么采的? 绕过技术限制、用假账号、给网站造成很大压力,不管采的是什么,风险都会上升。
- 有没有个人信息? 用户名、人脸以及任何能识别到具体个人的信息,公开发出来也依然是个人信息。
- 拿去做什么? 做汇总分析,和整篇转载、出售个人画像、针对具体个人,在法律上的待遇差别很大。
法院和法律怎么说过
- 美国第九巡回法院在 hiQ 诉 LinkedIn 案(2022 年)中认为,抓取公开可访问的个人主页,一般不构成联邦反黑客法意义上的未经授权访问。但在法院就 LinkedIn 的合同主张作出裁决之后,这场纠纷以 hiQ 同意停止抓取并删除数据告终。
- 2024 年 1 月,美国联邦法院认定 Meta 的用户条款不覆盖 Bright Data 在未登录状态下抓取公开数据。评论普遍强调,这个判决高度依赖个案事实。
- 在国内,新浪微博诉脉脉案(北京知识产权法院终审认定脉脉构成不正当竞争)常被引用:法院认为,平台可以对经用户同意、基于自身经营收集的用户数据主张权益。
- 个人信息法律并不豁免公开内容。《个人信息保护法》允许在合理的范围内处理个人自行公开的信息,对个人权益有重大影响的,仍需取得同意。欧盟 GDPR 同样要求处理个人数据有合法依据,公开与否不影响这一点。
- 帖子正文、图片和视频的著作权属于作者。
少采一点,并且写清楚
数据最小化是成本最低的降风险办法。分析大家说了什么,通常不需要知道是谁说的:
curl -G "https://api.okdata.online/v1/youtube/videos/comments/list" \
-H "Authorization: Bearer $OKDATA_API_KEY" \
--data-urlencode 'id=dQw4w9WgXcQ' \
--data-urlencode 'fields=text,likes,published_at'
这样只返回评论内容、点赞和时间,不带作者。
数据接口处在什么位置
okdata 只提供公开数据,双方都不涉及登录、Cookie 或账号,比如 X 帖子搜索、TikTok 视频搜索、YouTube 视频评论。这解决了你这一侧怎么采的问题,但后两个问题仍然要你自己决定,并和法务确认:保留哪些个人信息、拿数据做什么。以分析为先、尽量不留个人信息的做法,可以参考口碑研究。
更新于