elasticsearch 可以处理多大量的服务

2015 年 5 月 14 日
 wenbinwu
举个例子,每条数据是一条产品信息
索引100个每秒
查询10k每秒

这种量级(应该不算大)的要求可以满足吗

如果有配置和优化elasticsearch的文章推荐就更好了
9507 次点击
所在节点    Elasticsearch
19 条回复
cloudzhou
2015 年 5 月 14 日
elasticsearch 背后就是 lucene,索引的话 100/s 可以做到的,查询看起来不小。
里面的优化主要针对 lucene。
yeasy
2015 年 5 月 14 日
10k/s的查询得优化下
多份,系统配置等……
Phant0m
2015 年 5 月 14 日
你这都不叫事。。。我们线上每天好几十G的日志都没压力(五台集群服务器)
yyw
2015 年 5 月 14 日
搜索本身其实是很容易平行扩展的东西。所以你说的能处理多大的量,主要是看机器有多少。
wenbinwu
2015 年 5 月 14 日
@yeasy 请问有没有优化方面的文章

@Phant0m 请问你是怎么配置的?几个index,几个replicates?
wenbinwu
2015 年 5 月 14 日
@yyw 很多机器的时候,负载均衡是怎么做的?我搜了一下,貌似elasticsearch不需要负载均衡,因为其自带了。不过client如何配置es的ip呢?如果所有client指向同一个es,也是有问题的啊
BlueWolf
2015 年 5 月 14 日
@wenbinwu 应该是指向集群的master
BlueWolf
2015 年 5 月 14 日
@wenbinwu 貌似我没确定你说的client是输送数据的client还是向es请求搜索内容的client
wenbinwu
2015 年 5 月 14 日
@BlueWolf 我是想说请求搜索的client,不过挺你一说,我也想知道两种client各应该如何配置
hebwjb
2015 年 5 月 14 日
我们现在用8台设备组的es集群,每天导入上亿条数据完全不叫事
wenbinwu
2015 年 5 月 14 日
@hebwjb 你是怎么配置集群的啊?几个master,数据是在8个上都有存?
andyhu
2015 年 5 月 15 日
github上的搜索就采用了elasticsearch,楼主不必担心
BlueWolf
2015 年 5 月 15 日
@wenbinwu 其实我也想知道,目前测试的都是单台es,还没上集群……

@hebwjb
@Phant0m
求教两位,输送数据到es的client和向es请求搜索内容的client应如何配置目标es,是master的ip吗?
fxxkgw
2015 年 5 月 15 日
@BlueWolf 一般都是elk一起用的吧 logstash收集日志发到es中,然后kibana连接es展示。网上这种配置说明很多的。
wenbinwu
2015 年 5 月 15 日
@fxxkgw 你说的是把es当作收集日志用的,如果我就是要做搜索服务呢
hebwjb
2015 年 5 月 16 日
@BlueWolf
@wenbinwu
配制成master的ip就可以了
zxc337
2016 年 8 月 23 日
@BlueWolf es 对外是去中心化的, 集群有自身的 master 选举机制, 在主节点丢失那段时间, 集群是不能正常工作的, 不过这一短暂时间的选中几乎是瞬时完成的
zxc337
2016 年 8 月 23 日
@wenbinwu 要做全文检索也很简单, es 默认支持很多分词方式, 也可以自定义分词插件集成在 es 里面;
es 对外 api 有很多这方面的查询支持, 比如 DSL,相关性(relevance)查询,matchPhraseQuery 等接口
asuraa
2016 年 11 月 2 日
我们现在一台服务器 每天平均 50G 的日志 没问题

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/191110

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX