k8s1.12 获取 pod 的 gpu mertics

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

Recommended Services

› Amazon Web Services

› LeanCloud

› New Relic

› ClearDB

This topic created in 2506 days ago, the information mentioned may be changed or developed.

目前找到的版本实现是 1.13pod-gpu-metrics-exporter,寻求支持 1.12 的采集的开源方案。我好菜，别喷我^_^。

12 replies

richzhu

Jun 20, 2019 via iPhone

高级，我用的 Prometheus 省事🤪

vaniot

Jun 20, 2019

@richzhu 大佬 prometheus 可以采集到 pod 的 goux 信息吗？

choury

Jun 20, 2019 via Android

用 cadvisor

vaniot

Jun 20, 2019

@choury 我用了 cadvisor 的得到 mertic:`container_accelerator_memory_used_bytes`,每一个的 value 都是一样的数据，目前只有一个 node 上有 nvidia gpu，这是统计总的信息？

choury

Jun 20, 2019 via Android

@vaniot 看 label 啊

vaniot

Jun 20, 2019

@choury 从 label 可以区分,但 pod 的 used 的值是一样，没区分开每个 pod 各自的值

choury

Jun 20, 2019 via Android

@vaniot 你有几张卡？ pod 是怎么分配的？

vaniot

Jun 20, 2019

@choury 一张卡，每个 gpu 切分 200 份，按 200 来分配

choury

Jun 20, 2019 via Android

@vaniot 怎么分配的呢？ mps ？ grid ？当前的监控都只能做到卡的粒度，如果你只有一张卡那看到的都是这改卡的使用率

vaniot

Jun 20, 2019

@choury 这两个没用到，获取的 value 似乎是卡的使用率，所以来 V2EX 问下，有没有更细的粒度

menyakun

Jun 20, 2019

NVIDA 官方提供的 exporter 没有的话，应该也不会有了吧。你用的是 NVIDA GRID ？我记得是要买许可的吧，不知道会不会有闭源的解决方案。

vaniot

Jun 20, 2019

@menyakun Nvidia 提供收费的方案，360 实现了容器的 gpu 监控