Python 爬虫改成 go，性能提高 5 倍？

别问问就是 python 牛逼

萌新不懂，我也看了这篇文章，我记得 python 好像也可以并行处理吧~

没加代理，无所谓性能

首先静态语言应该会好点，但是没专门对比过。
然后他这个有筛选的爬应该会用到正则或者字符串匹配。
正则这个对时间影响很大具体语言自带的都不一样。

爬虫瓶颈不是应该在网络这块么？
感觉预期应该是 go 和 python 差不多速度才对呀。。

python 代码质量不高，同步写数据库，能快就怪了

爬虫很大时候性能瓶颈在网络

就像如果不换固态硬盘，cpu 在一定范围内， 整体性能是差不多的。

别问，问就是人生苦短，我用 python

我曾经也以为爬虫的瓶颈在 io，直到我用了 scrapy，CPU 常年某个核心 100%。单核异步，没法优化。

python 单核异步一条道走到黑，gvr 老爷子们以为大家都只写 web 后端呢？ python 要死在这条道上

他数据库存储是同步的呀...说实话 我还没见过 scrapy 存数据库 这个步骤是写在 spider 里的....

爬虫的性能.....难道不是看代理速度么?

别问 问就是你这个 python 水平不行

2008 年到现在，也就 asyncio 亮眼点，JIT、GIL 毫无改进，一点诚意都没有（不要跟我说 pypy，cffi 烦死人）。人家 ruby2.6 都有官方 jit 了。

在知乎的评论不堪入目

瓶颈在被爬取网站的反扒机制，你爬虫性能再好都没屌用，甚至适得其反。

@memorycancel 适得其反 精髓了

是的,用 C 多线程写 速度更快.
但是你们追求的采集快 还是开发快呢?
场景不同 不能一概而论

网络 io 觉得 python 并不虚

知乎核心业务 python 转 go: https://zhuanlan.zhihu.com/p/48039838

@memorycancel 爬的越快，封的越快