有个高并发接口,需要即时获取访问者的 ip 信息

2018 年 9 月 17 日
 caiem

目前解决方案是查 ip 地址 mysql 数据库,然后即时返回.目前发现压力有点大. 还有啥更简单靠谱快速的解决方法. 目前考虑即再开启单独长驻内存的服务,将 ip 数据一次性读取内存,调用 rpc 方式供各个公司内部服务获取

4852 次点击
所在节点    程序员
19 条回复
opengps
2018 年 9 月 17 日
应用层使用内存读取方法没错

看起来你的需求只是需要读取数据库,你可以多台机器,多台一模一样的数据库(数据库直接在机器内部也行,单独实例连接也行)
lhy360121
2018 年 9 月 17 日
缓存。 比如用 redis
lshero
2018 年 9 月 17 日
如果单纯为了返回 IP 归属地之类的信息不如参考使用 https://caddyserver.com/docs/http.geoip
caiem
2018 年 9 月 17 日
@lshero 这个 ip 数据库我们内部有一定的维护及修改,没法直接用第三方
hosaos
2018 年 9 月 17 日
直接读到内存里 或者 redis 里
PazuLee
2018 年 9 月 17 日
@caiem 是不是得分析下调用场景是否适合缓存?如果每次查询都不一样那还得考虑内存大小的问题。
tempdban
2018 年 9 月 17 日
ip 这种不是写个最长匹配表?参考路由查找下一跳 mac
sampeng
2018 年 9 月 17 日
你自己有 ip 库。。分分钟写一个 ip 查询的 rpc 服务就完事了。算法都很简单二分查找就足够快了(加载的时候排好序)。
用动态语言,每访问一次查一次肯定慢死。
redis 可以是可以。但也很奇怪。因为 ip 库一般是 ip 段。没法真正的 hash 查询。还是走了一圈前缀匹配。
likuku
2018 年 9 月 17 日
mysql 也不是不可以,有个好东西叫 memcache 很早以前就有了
xuanbg
2018 年 9 月 17 日
@sampeng 掩码了解一下
rrfeng
2018 年 9 月 17 日
IP 库只有几兆大,可以加到内存里去。起个服务 RPC 也行。

参考 ipip 的数据结构
wb14123
2018 年 9 月 17 日
字典树了解一下
gaoyulong
2018 年 9 月 17 日
我们也有这个需求,早期的时候直接调用外部服务,峰值高的时候直接把对方网站拖垮了
Raymon111111
2018 年 9 月 17 日
可以内存+ redis

内存用 lru 类似的算法就行了
Cbdy
2018 年 9 月 18 日
MySQL 放内存里跑
opengps
2018 年 9 月 18 日
换个思路,给题主提个优化建议,存 ip 用数字 ip
collinswang
2018 年 9 月 18 日
难道不是和产品怼一下,要求把功能下放到二级菜单吗?
reus
2018 年 9 月 18 日
mysql 一样会把数据放内存。
byteli
2018 年 9 月 18 日
看你们多大的 ip 数据,我之前有一千六百万行的 ip 数据大概不到 2 个 G,自己把信息预处理下抽出来写成个 raw 文件压缩成 200M 以方便程序载入。然后就是载入数据到 stl map 里内存直接查。因为与预处理过所以载入时间 5s 内,内存占用记不清了大概不到 500M。

上面是资源消耗,还要看 qps 要求,因为我需要至少 3W 的 qps 所以直接把逻辑集成到调用者进程了。因为查询逻辑简单,所以如果做成 rpc 服务的话,准备几个核+不到 1G 内存应该就能逼近单机 RPC 框架的上限了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/490090

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX