请问代理池配合 python 爬虫是怎么实现的？什么 lib 能实现切换代理 IP？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3467 days ago, the information mentioned may be changed or developed.

看论坛里有人提到代理池，准备自己在 pyspider 上实现。有没有付费的代理池服务？

代理池

lib

Python

pyspider

8 replies • 2016-11-06 03:02:59 +08:00

howeroc

Nov 4, 2016

linux 装上 Tor 服务，然后使用 stem 自动切换即可

songdezu

Nov 5, 2016

@howeroc 谢谢我原以为买几十个代理 ip 然后滚动更换

kohnv

Nov 5, 2016 via iPhone

@songdezu 买 ip 是最好用的方法，速度快，缺点是太贵了。 tor 虽然不要钱但是卡得很

binux

Nov 5, 2016

https://scrapinghub.com/crawlera/
https://proxybonanza.com/en
https://shader.io/

songdezu

Nov 5, 2016

@binux 感谢老大希望您持续更新 code 和 docker

howeroc

Nov 5, 2016 via Android

我在 vultr 日本节点 tor 抓 play store 的数据，是有些慢

dearmymy

Nov 5, 2016

用 socks5 得比较多把，去买点吧，或者去快代理买。这种代理一大堆黑产用

cszhiyue

Nov 6, 2016

squid