V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1989 days ago, the information mentioned may be changed or developed.
小弟我用的 Crawlab 平台管理爬虫任务，基本上在跑的有 12 个爬虫，之前是 1s 一条，现在 1min 一条，有没有老哥有好的办法解决下。
 |
1
faaaa Nov 19, 2020
1s 一条你确定瓶颈在数据库读写,不是网络 io
|
 |
2
teddy2725 Nov 19, 2020
合并批量
|
 |
3
QuinceyWu OP @jasonyaoff 我确定了 公司专线 不是网络问题
|
 |
5
qq316107934 Nov 19, 2020
设置了其他索引吧？数据越多插入效率越低
|
 |
6
Pythoner666666 Nov 19, 2020
1min ennnnnn 你可以贴下表结构和索引
|
 |
7
fasionchan Nov 19, 2020
之前是 1s 一条，也惨不忍睹呀~~~
|
 |
8
theOneMe Nov 19, 2020
大概率方向不太对，插入都需要秒级别，那这个数据库早就没人用了。
|
 |
9
sadfQED2 Nov 19, 2020 via Android
1s 一条？？？你插入的数据得有多大？你是把图片啥的都存进去了吗
|
|
10
sadfQED2 Nov 19, 2020 via Android
看下服务器监控，是磁盘 io 还是网络 io 跑满了。讲道理，搞个树莓派加 sd 卡也不至于 1 分钟一条啊，1 分钟一条我拿笔手写可能都比他快
|
 |
11
52coder Nov 19, 2020
1s 一条本身就有问题
|
|
14
QuinceyWu OP @Pythoner666666 就默认 id 索引
|
|
15
QuinceyWu OP @qq316107934 就默认 id 索引
|
Select Language