V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
nodesolar
V2EX  ›  程序员

有人试过 AWS s3 + Athena 做数仓么

  •  
  •   nodesolar · Nov 19, 2025 · 1612 views
    This topic created in 161 days ago, the information mentioned may be changed or developed.

    话说 V 友们中有人试过 AWS s3 + Athena 做数仓么?

    5 replies    2025-11-20 09:59:17 +08:00
    defunct9
        1
    defunct9  
       Nov 19, 2025
    干嘛不用,AWS Redshift ,或者 flink 、spark 之流
    skallz
        2
    skallz  
       Nov 19, 2025
    我之前写过一个数据采集加数据分析,就靠它,当时预设的数据量太大了,如果直接走服务器并发量会把服务器打爆,然后发现了这么个东西,只需要前端上传数据文件到 s3 ,然后 athena 对接 s3 就够了,不过 athena 速度有点慢,得看业务场景
    rockxsj
        3
    rockxsj  
       Nov 19, 2025
    athena 我记得就是 presto(trino)。 我们之前的方案的确长期就是对象存储+trino ,不过现在换成了对象存储+starrocks ,性能比 trino 要高不少。
    lxdlam
        4
    lxdlam  
       Nov 19, 2025
    我们是 Iceberg on S3 + Athena/Glue(Serverless Spark) 的架构,中间用 dbt 做数据建模 + dagster 做 ETL flow 的管理,整体体验不错,下游支撑了大部分离线应用,比如 Superset 看板 etc 。
    nodesolar
        5
    nodesolar  
    OP
       Nov 20, 2025
    @lxdlam

    学习了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1212 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 23:23 · PVG 07:23 · LAX 16:23 · JFK 19:23
    ♥ Do have faith in what you're doing.