V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4093 days ago, the information mentioned may be changed or developed.
例如一个爬虫，获取信息的平均速度是 4条/秒，信息存入数据库。我想问的是，这个数据库连接一直保持开着好，还是频繁开关好？
Supplement 1 · Feb 15, 2015
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
 |
1
SR1 Feb 15, 2015
其实，这种问题，写个脚本测一下就知道了。
|
 |
2
yangff Feb 15, 2015
反正瓶颈是带宽..
|
 |
3
lujiajing1126 Feb 15, 2015
。。4条每秒。。没必要考虑这么多。。
|
 |
4
wanjun Feb 15, 2015
当然大了，要不然就不会用连接池了
|
 |
5
omegaga Feb 15, 2015 via Android
有一種東西叫連接池…
|
 |
6
dddd OP @lujiajing1126 没见过世面孩子伤不起……
|
 |
7
loading Feb 15, 2015 via Android
优化 sql 语句和数据结构效果更显著些，这个问题请交给连接池，或用 sqlalchemy 等帮你搞定（能吗）
|
 |
8
9hills Feb 15, 2015 via iPad
每秒4次基本感觉不到性能损失
|
 |
9
john737 Feb 15, 2015
内存不够了，估计最低配的用mongo有点吃力，或者爬虫还有优化的空间
|
 |
10
fising Feb 15, 2015 via iPhone
保持连接和每次断开的差异非常大。楼主可以试试写1W纪录看看时间差
|
 |
11
clino Feb 15, 2015 via Android
积累多一些然后用事务模式批量写入效率更高
|
 |
12
msg7086 Feb 16, 2015 via iPhone
我们论坛每秒100请求以上，每次都开新连接，压力不大。
|
 |
13
min Feb 16, 2015 via iPhone
开销很大
但在你这个超低负载下感觉不到 |
 |
14
liuhaotian Feb 16, 2015  3
呵呵哒。瓶颈是带宽。
|
 |
15
aru Feb 16, 2015
512M 内存跑mongodb + 爬虫，必须萌萌哒
换个大内存vps 舒服很多 |
 |
16
tolerious Mar 2, 2015 via iPhone
目测512M内存做爬虫吃不消，程序要吃一部分，数据库要吃一部分，爬数据量大了，512肯定挡不住的
|
Select Language