数据库连接(只有一个)频繁开关消耗大吗?

2015 年 2 月 15 日
 dddd

例如一个爬虫,获取信息的平均速度是 4条/秒,信息存入数据库。我想问的是,这个数据库连接一直保持开着好,还是频繁开关好?

5738 次点击
所在节点    Python
16 条回复
SR1
2015 年 2 月 15 日
其实,这种问题,写个脚本测一下就知道了。
yangff
2015 年 2 月 15 日
反正瓶颈是带宽..
lujiajing1126
2015 年 2 月 15 日
。。4条每秒。。没必要考虑这么多。。
wanjun
2015 年 2 月 15 日
当然大了,要不然就不会用连接池了
omegaga
2015 年 2 月 15 日
有一種東西叫連接池…
dddd
2015 年 2 月 15 日
@lujiajing1126 没见过世面孩子伤不起……
loading
2015 年 2 月 15 日
优化 sql 语句和数据结构效果更显著些,这个问题请交给连接池,或用 sqlalchemy 等帮你搞定(能吗)
9hills
2015 年 2 月 15 日
每秒4次基本感觉不到性能损失
john737
2015 年 2 月 15 日
内存不够了,估计最低配的用mongo有点吃力,或者爬虫还有优化的空间
fising
2015 年 2 月 15 日
保持连接和每次断开的差异非常大。楼主可以试试写1W纪录看看时间差
clino
2015 年 2 月 15 日
积累多一些然后用事务模式批量写入效率更高
msg7086
2015 年 2 月 16 日
我们论坛每秒100请求以上,每次都开新连接,压力不大。
min
2015 年 2 月 16 日
开销很大
但在你这个超低负载下感觉不到
liuhaotian
2015 年 2 月 16 日
呵呵哒。瓶颈是带宽。
aru
2015 年 2 月 16 日
512M 内存跑mongodb + 爬虫,必须萌萌哒
换个大内存vps 舒服很多
tolerious
2015 年 3 月 2 日
目测512M内存做爬虫吃不消,程序要吃一部分,数据库要吃一部分,爬数据量大了,512肯定挡不住的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/171203

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX