python 3 种爬取方式对比

地址 ： https://github.com/daxia4444/djangospider

提供了 3 种抓取页面的方式：
（ 1 ）多线程下载。
（ 2 ） tornado 异步下载
（ 3 ） twisted 异步下载

只是一个雏型。希望以后能改进，这是个轻型的框架，代码非常少，可以很容易明白异步抓取和多线程抓取的方式，让后 custom 你自己的需求。