为什么使用了代理 ip 依然被封?

2017 年 10 月 10 日
 aragakiiyui

目前在抓一个站,抓多会被封 ip,然后我用了代理 ip 去抓,每次请求都换一个 ip。但是依然被封了!报 429 这个错误,不知道原因是啥?

13459 次点击
所在节点    Python
30 条回复
yunkchen
2017 年 10 月 10 日
代理 IP 确定是有效的么?
Soar360
2017 年 10 月 10 日
Cookie ?
aragakiiyui
2017 年 10 月 10 日
@yunkchen 确定有效哦,都是过滤好了的。
mrzys
2017 年 10 月 10 日
cookie,还有代理是高匿的吗?
aragakiiyui
2017 年 10 月 10 日
@Soar360 @mrzys 好像不是高匿的,cookie 要怎么处理?
won
2017 年 10 月 10 日
现在黑名单规则通常用 IP+MAC 两管齐下
aragakiiyui
2017 年 10 月 10 日
@won 那这个有什么办法处理吗?!
won
2017 年 10 月 10 日
USB 网卡+代理 IP
LGA1150
2017 年 10 月 10 日
@won 对方服务器只能看到它网关的 MAC 地址
15399905591
2017 年 10 月 10 日
你用的代理是什么类型的?是高匿名的吗?如果不是高匿的,对方是可以获取到你的本机 IP 的
julyclyde
2017 年 10 月 10 日
@won 为啥总有人连基本原理都不懂就理直气壮的啊
Soar360
2017 年 10 月 10 日
Cookie 当然是每换一次 IP 清理一下咯。
高匿代理附上:
https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/highanonymous.aspx?from=v2ex
SoulGem
2017 年 10 月 10 日
随机高匿+随机 UA
另外检查好 Request 是否正确,可能会有别的防爬处理
aragakiiyui
2017 年 10 月 10 日
@Soar360 3q,下午把抓代理代码的重写了一下,加入了高匿和透明的分类,明天再试试看。
aragakiiyui
2017 年 10 月 10 日
@SoulGem 这个站就是会限制访问次数,我换了高匿的 ip 还是被发现了原始 ip....
afeicool
2017 年 10 月 10 日
@Soar360 我去,屌爆,怎么来的?
tbag781623489
2017 年 10 月 10 日
@Soar360 刚需啊,thx
ji4ozhu
2017 年 10 月 10 日
百度搜 掘金网 就是 高匿的
mansur
2017 年 10 月 10 日
你确定 ip 有效吗?你访问 http://ip.chinaz.com/ 看下放回的 ip 地址是代理的地址还是你服务器的地址
4BVL25L90W260T9U
2017 年 10 月 10 日
@Soar360 请问 post 代理是什么意思, 支持 post 么, 还有不支持 post 的代理?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/396421

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX