关于并发爬虫的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2794 days ago, the information mentioned may be changed or developed.

最近写了一个小爬虫，设置 200 进程。不知道为啥经常出现

cURL error 28: Resolving timed out after 2511 milliseconds (see http://curl.haxx.se/libcurl/c/libcurl-errors.html) 而且概率很大。我服务器内存 cup 足够，带宽测速 speedtest-cli 下行 100M 上行 10M。

怀疑是 dns 但是跟换后依旧不行。

求大神指教。

爬虫

curl

DNS

resolving

2 replies • 2018-09-04 10:20:39 +08:00

dengtongcai

Sep 4, 2018 via Android

对方带宽不够？

hobbyliu

Sep 4, 2018

@dengtongcai 不应该啊，据说这网站能同时在线 300 万人，而且本地单个进程当时能请求成功
查了下说是 dns 问题，打算绑定于强制对方 ip 域名试试。