mongodb 遇到 i/o 瓶颈，老哥们有没有什么办法？

2020 年 11 月 19 日
 QuinceyWu

小弟我用的 Crawlab 平台管理爬虫任务，基本上在跑的有 12 个爬虫，之前是 1s 一条，现在 1min 一条，有没有老哥有好的办法解决下。

2071 次点击
所在节点    程序员
15 条回复
faaaa
2020 年 11 月 19 日
1s 一条你确定瓶颈在数据库读写,不是网络 io
teddy2725
2020 年 11 月 19 日
合并批量
QuinceyWu
2020 年 11 月 19 日
@jasonyaoff 我确定了 公司专线 不是网络问题
QuinceyWu
2020 年 11 月 19 日
@teddy2725 好 我去了解下
qq316107934
2020 年 11 月 19 日
设置了其他索引吧？数据越多插入效率越低
Pythoner666666
2020 年 11 月 19 日
1min ennnnnn 你可以贴下表结构和索引
fasionchan
2020 年 11 月 19 日
之前是 1s 一条，也惨不忍睹呀~~~
theOneMe
2020 年 11 月 19 日
大概率方向不太对，插入都需要秒级别，那这个数据库早就没人用了。
sadfQED2
2020 年 11 月 19 日
1s 一条？？？你插入的数据得有多大？你是把图片啥的都存进去了吗
sadfQED2
2020 年 11 月 19 日
看下服务器监控，是磁盘 io 还是网络 io 跑满了。讲道理，搞个树莓派加 sd 卡也不至于 1 分钟一条啊，1 分钟一条我拿笔手写可能都比他快
52coder
2020 年 11 月 19 日
1s 一条本身就有问题
QuinceyWu
2020 年 11 月 19 日
@theOneMe 我设置 sleep 为 1s
QuinceyWu
2020 年 11 月 19 日
@sadfQED2 网页源码
QuinceyWu
2020 年 11 月 19 日
@Pythoner666666 就默认 id 索引
QuinceyWu
2020 年 11 月 19 日
@qq316107934 就默认 id 索引

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/727220

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX