This topic created in 1613 days ago, the information mentioned may be changed or developed.
我用 scrapy 写了一个爬虫，爬一些国外公共网站的内容，之前工作正常，但这周一发现页面返回内容出错，状态码是 200 ，但是返回的内容是错误的，怀疑是爬虫被识别了
这类的公共网站一般没有什么反爬，之前做的反爬手段只有模拟浏览器头，设置一下 delay 之类的，没有使用代理，这种可以确定是反爬手段吗，大家有什么好的解决方式吗
 |
1
xiao109 Nov 29, 2021
那就上代理呗，反正反爬和反反爬大家来来回回也就那三板斧
|
Select Language