V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
villivateur
1.57D

人生第一次用显卡炼丹,特来发个贴

  •  
  •   villivateur · Mar 30, 2022 · 5616 views
    This topic created in 1501 days ago, the information mentioned may be changed or developed.

    今天在 GitHub 上看到了 faceswap 这个换脸项目,兴致大发,在自己的 1070 Ti 显卡上试了一番。这个项目不错,感觉真的是把机器学习做到了开箱即用了。

    于是我尝试把女朋友常跟着跳舞的 UP 主视频,那个 UP 主的脸换成我的脸,丧心病狂地准备让她看着我跳舞,哈哈。

    现在还在跑模型训练,预计要……两三天,1070 Ti 这么拉垮了吗?我都闻到糊味了,话说搞机器学习的人都经常要等这么久吗?

    19 replies    2022-05-21 14:50:45 +08:00
    Merlini
        1
    Merlini  
       Mar 30, 2022 via Android
    深度学习实验室都用的 tesla v100 那种比较贵的卡吧,关键贵的卡可能也得跑几天,或者 google 的 tpu 。
    不是 1070ti 拉,是算力要求太高了。
    villivateur
        2
    villivateur  
    OP
       Mar 30, 2022 via Android
    @Merlini 话说如果不求质量的话,模型训练到一半停下来也能用?
    vopin
        3
    vopin  
       Mar 30, 2022 via iPhone
    不清楚具体,一般用别人训练好的模型 inference 很快的吧,你这个必须从头训练吗
    Merlini
        4
    Merlini  
       Mar 30, 2022   ❤️ 1
    @villivateur #2 对的,处理好 keyboardinterruptexception 能保存下来就能用。其实一开始的模型里面的 vector 全随机也能用,只是效果不好而已,训练的过程就是让模型里面的 vector 更逼近理想的结果。现在单纯用的话都是 fine-tuning 多,不需要训练那么长时间了,有些是完全不需要再训练直接开箱即用。
    hertzry
        5
    hertzry  
       Mar 31, 2022 via Android
    找找有没有预训练好的模型参数,直接下载下来。
    ekidona
        6
    ekidona  
       Mar 31, 2022 via iPhone
    我这边做真正的 training 一般是提交一个 kubeflow pipeline 到 aws 上,然后通常会拉起几十个 worker ,几百个 GPU 啥的。
    ekidona
        7
    ekidona  
       Mar 31, 2022 via iPhone
    当然 train 一次都是几万刀的电费
    netnr
        8
    netnr  
       Mar 31, 2022 via Android   ❤️ 1
    源动力实足
    yaphets666
        9
    yaphets666  
       Mar 31, 2022
    我们是 5 张 3080
    vicalloy
        10
    vicalloy  
       Mar 31, 2022
    机器学习很大程度上是算力的比拼,就是烧钱。
    个人玩一般都是用预训练好的模型吧,为啥要自己从头训。
    对 faceswap 不熟,你应当只是用预训练好的模型做推理吧。
    villivateur
        11
    villivateur  
    OP
       Mar 31, 2022 via Android
    @vicalloy
    @hertzry
    这个项目,如果你用自己的脸,就得重新训练,因为他的模型就是脸 A 到脸 B 的转换
    lizytalk
        12
    lizytalk  
       Mar 31, 2022 via iPhone
    小数据测通模型,再跑大数据,等大数据结果的时间干别的
    pydiff
        13
    pydiff  
       Mar 31, 2022 via iPhone
    用了 4 张 v100 ,所有卡都是吃满状态,算了 17 天了都还没完,这玩意太耗性能了
    necomancer
        14
    necomancer  
       Apr 1, 2022
    1920x1080 是不行的,你试试 64x36 ,缩小 G 和 D 的 filter 个数,把 64 ,128 ,256 ,512 换成 8 ,16 ,32 ,64 ,训练起来就快多啦~无非是糊得抽象些,加油~
    necomancer
        15
    necomancer  
       Apr 1, 2022
    卧槽我看了一下难道 faceswap 本来就是 64x64.....上 32x32 ?糊成头像( ̄▽ ̄)
    RatioPattern
        16
    RatioPattern  
       Apr 4, 2022   ❤️ 1
    1070 系列当时镁光显存有质量问题,炼丹可能失败或者偏离太大可以往这方面考虑,已经踩坑..............
    shm7
        17
    shm7  
       May 20, 2022
    所以,糊了没?
    villivateur
        18
    villivateur  
    OP
       May 21, 2022 via Android
    @shm7 糊了,满地狼藉
    shm7
        19
    shm7  
       May 21, 2022
    @villivateur 允悲。用 gpustat 或者 nvidia-smi 监测下使用率和温度,真的很考验散热。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1452 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 1411ms · UTC 17:09 · PVG 01:09 · LAX 10:09 · JFK 13:09
    ♥ Do have faith in what you're doing.