采集大批量数据不被屏蔽IP?

发布时间:2020-11-24 15:17

从2个方面

  1. 爬虫要选择适当的时间,时间太慢,工作时间长,时间太快 容易被所爬网站当成攻击,降低爬虫的速度,还有就是时间不要规律,经常做一些改变.

  2. 要使用多线程配合代理Ip使用,既是单个线程速度慢,还有其他可以弥补.

    image.png