团队日志要存几年，怎么找一个便宜又能查的地方？

grafana 可视化+promtail 收集+loki 日志聚合+任意对象存储，k8s helm chart 一个 loki-stack 全搞定了，只要调调 yaml 配置，相当不折腾

阿里云或者腾讯云的日志服务?

@chesha1 你这相当复杂了

试试阿里云 maxcompute ？内部叫 odps ，挺好用

duckdb+s3

买个 10T 硬盘

@c00WKmdje2wZLrSI 有点贵，1TB 一年 2700 左右。有点恐怖了

presto 非常吃内存的，而且也不太推荐用于块存储查询，要不看看 ck ？

@COW 感谢建议，避坑了

没有银弹... 最简单就是存文件，grep 查

我前几天刚搭了一套 ELK, filebeat 收集,logstash 分析处理,ES 存, kibana 展示. 除了 filebeat 都是 docker(podman) 跑的, 现在只收集程序运行 log.每天 2G 左右,保存 14 天,原始 log 永久保存(gov 规定的)

前几天想把玩家行为 log 也写入 ES,每天可能在 10G 左右,打算保存 1 年+, 算了一下,硬盘需求太大,还是用原来的吧(原来有一套程序+脚本能通过原始 log 文件查找分析玩家行为) 就没必要把行为 log 再写入 ES 了

aws Athena? 虽然成本也不低

aws s3

买冷存储块，3 天后就放入冷库，要查在捞出来

quickwit+s3 ，完美符合你的要求，支持全文搜索。

https://github.com/openobserve/openobserve

🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces).

OpenObserve (O2 for short) is a cloud-native observability platform built specifically for logs, metrics, traces, analytics, RUM (Real User Monitoring - Performance, Errors, Session Replay) designed to work at petabyte scale.

云上直接用云平台的日志服务，想降低成本就设置把历史日志扔到归档存储里

我有一技：
你去 steam 上买个 wallpaper engine
然后使用 SteamCMD 命令行向 wallpaper engine 创意工坊上传作品，在这个作品里把你的日志文件加密丢进去，然后随便整个图片包装下上传，描述或者标题就写你的日志备份日期
一次传十几个 G 的文件没太大问题，还能免费用到 steam 的 CDN 下载服务
而且完全可以自动化进行，因为 steam 有 SteamCMD 功能可以命令行运行，可以部署在 linux 或者 docker 上

看看 InfluxDB ？ https://www.influxdata.com/influxdb-pricing/

我也给我们项目写过

- 日志每天 gzip 上传到阿里云 oss 、AWS S3 这种地方，存储路径、文件名都有规律的
- 配置好归档冷存储策略
- 等需要搜索的时候，大批量开按量计费的虚拟机，然后用分布式、多进程、管道化的方式来 gunzip | grep 想要搜索的内容
* 机器都开在了同 region ，访问走内网域名，不会收取 egress 流量费
- 上面的工作是一个异步的任务，开跑了就可以挂着了
- 跑完会给企业微信群里发条消息，说最终 grep 匹配出来的结果放在了什么路径下。然后把跑任务的机器自动关机。