问答
爬抖音、TikTok 一定要买代理 IP 吗?要花多少钱?
简短回答
如果是自己爬抖音或 TikTok,量稍微大一点,基本都要:服务器 IP 很快会被封,住宅代理按 GB 卖流量。用 okdata 则完全不需要代理:TikTok 搜索 1000 条视频 $0.068,抖音搜索 1000 条 $1.00,抖音评论 1000 条 $0.10,失败的调用不收费。
各个论坛上的剧情都差不多:爬虫在笔记本上跑得好好的,一搬到云服务器,几个小时内就开始出验证码、返回空数据、被封。机房 IP 段平台一眼就能认出来。下一步通常是买住宅代理池,然后就会出现 V2EX 上这种帖子:请教爬虫代理方案,成本太高了。
代理价格怎么折算成每条数据的成本
住宅代理大多按流量卖,大的代理网络都是按 GB 标价。要和接口比,先算这个:
每 1000 条的成本 =(每 1000 条消耗的流量 ÷ 成功率)× 每 GB 价格
实际数字通常比第一次估的更难看,原因有三个:
- 页面重量。 无头浏览器打开视频流页面,会把用不上的图片和预览一起拉下来,这些流量都要付钱。
- 失败。 被拦截、出验证码的页面照样消耗流量。成功率 70% 的话,每个页面大约要付 1.4 次的钱。
- IP 轮换。 跑到一半代理过期,需要重试逻辑;MediaCrawler 的用户就问过代理过期后没有重试机制这个问题。
再加上服务器、账号,以及调这些东西花掉的时间。
不用代理,拿同样的数据
| 数据 | 接口 | 每次 | 每 1000 条 |
|---|---|---|---|
| TikTok 关键词视频 | TikTok 视频搜索 | $0.002 | $0.068 |
| TikTok 评论 | TikTok 视频评论 | $0.002 | $0.04 |
| 抖音关键词视频 | 抖音视频搜索 | $0.02 | $1.00 |
| 抖音评论 | 抖音视频评论 | $0.002 | $0.10 |
你的服务器只需要带着 key 访问一个 HTTPS 地址。封禁、验证码、IP 轮换都发生在上游,调用失败不扣费。
curl -G "https://api.okdata.online/v1/tiktok/videos/search" \
-H "Authorization: Bearer $OKDATA_API_KEY" \
--data-urlencode 'query=露营装备' --data-urlencode 'sort=latest'
什么时候自建代理池还是划算
每月采几百万页、需要的页面不在这份目录里,或者本来就有采集团队,自己的代理池摊到每页可能更便宜。决定之前,先把一周的成功率测出来,这个数对总价影响最大。规模小、节奏稳定的任务,比如趋势研究,按次付费、什么都不用轮换,通常更省。
更新于