数据量较大,数据库选型问题

2024 年 1 月 11 日
 afeiche

接了个新项目,数据量大概上亿,业务类型主要是订单数据,插入为主,简单的查询和统计,按公司传统的方案要不就是上 mycat,或者用 Sharding-JDBC,这些在公司内部都有一定的使用量的,不过个人想看看其他方案,简单做了一下调研,有几个备选: 1.GreenPlum ,开源,支持 OLTP 和 OLAP ,分布式数据库, 2.TiDB,公司其他项目有使用,据说对磁盘有一定的要求。 3.Oceanbase ,开源 不知道各位有没有相关的建议和使用经验。

18820 次点击
所在节点    数据库
146 条回复
chunworkhard
2024 年 1 月 12 日
可以存 mysql 里,来控制事务, 并将业务实时同步到 Clickhouse 中进行查询分析,Clickhouse 开发学习成本很低, 只要会 mysql 轻松应用
ShinichiYao
2024 年 1 月 12 日
MySQL 跑了十几年了,最大的表 15 亿多数据,稳定性就一句话:操作系统崩了它都没崩
avalon8
2024 年 1 月 12 日
doris
miniliuke
2024 年 1 月 12 日
简单查询加插入用 PG 库,统计分析数据导到 Doris 里面分析
ydpro
2024 年 1 月 12 日
现在阿里云的 RDS MySql 无法支撑单表上亿吗?
huguang3320
2024 年 1 月 12 日
@ydpro 我们原单位用的就是阿里云的 RDS ,DRDS 还有 ADS ,还挺好用的
15342
2024 年 1 月 12 日
@RangerWolf 你们怎么保证 2 边数据一致的?
nothingistrue
2024 年 1 月 12 日
@liuhan907 #57
@ManjusakaL #63

https://zh.wikipedia.org/wiki/TiDB

本来二开也没啥丢脸的,你们非要让他往 阿里云 OS 、鸿蒙这一类上面靠。
QlanQ
2024 年 1 月 12 日
上亿数据用 MySQL 一点问题都不会有
bruce0
2024 年 1 月 12 日
看是否有 ACID 的事务要求, 如果没有, 并且数据可以支持 KV 类型的话, 感觉 基于 rocksdb 开发的很多数据库挺合适的, rocksdb 天生 对于写入友好. 推荐一下 pika, 今年社区发展挺快的, 而且有大公司在用,(360, 微博, 喜马拉雅等) 稳定性相对有保证. 支持集群部署, 几个亿的数据完全不在话下, 现在支持内置内存级别的缓存了, 读性能有了很大的提高, 可以看一下

https://github.com/OpenAtomFoundation/pika

@daiv 老哥 pika 群友吗
luobingit
2024 年 1 月 12 日
经历过 20 多亿数据用 MySQL 复杂查询用的 ES 没啥压力 就是要注意一下内存
luobingit
2024 年 1 月 12 日
TiDB 当时技术选型也讨论过 确实很吃资源 而已有些地方跟 MySQL 有冲突 具体看官网文档 后面我们在测试环境试过后 没上生产 生产还是 MySQL 你们场景跟我们当时情况很像 应该没有我们数据多 MySQL 能撑住 再整个读写分离
Desdemor
2024 年 1 月 12 日
我们是七楼的方案,同步的时候是批量插入的,ck 好好搞一下,巨快无比的
digitv
2024 年 1 月 12 日
@afeiche #27 polardb 支持 idc 部署的,可以找阿里云的谈
jowan
2024 年 1 月 12 日
我们 MySQL 单表 15 亿 轻轻松松
因为还有复杂的查询 现在改成垂直分表了
lbunderway
2024 年 1 月 12 日
mysql 就个主从都没问题,表要分好 我们之前几亿数据量都没什么问题
huangzhe8263
2024 年 1 月 12 日
@nothingistrue #88

作为看过 MySQL 和 TiDB 代码的来说,TiDB 只是兼容 MySQL 协议,分布式是基于 Google 的 Planner 思想 + Raft 协议去做的,基本可以认为是从头写起的

你要说 PolarDB / TDSQL 那些是二开还差不多
aeoic
2024 年 1 月 12 日
@afeiche #6 额,我们一般单表 1 亿挺正常的. 就算归档保留半年都有 5 亿左右数据
weijancc
2024 年 1 月 12 日
@luobingit #91 这么多数据, 运行 MySQL 的机器资源要多少
bthulu
2024 年 1 月 12 日
才上亿数据, mysql 分区表+主从轻松搞定.
单表一万亿以上, 你再考虑其他方案.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1007852

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX