基于光流的开源视频未来帧预测算法

2023 年 3 月 21 日
 hzwer
欢迎大家来为我们的项目建设提供宝贵意见和 star：
https://github.com/megvii-research/CVPR2023-DMVFN
论文在做正式发表前的处理，模型也将会按照实用反馈进行更新
当前模型输入两个 RGB 帧，输出未来一帧的预测，类似于插帧的外插版本



<amp-youtube data-videoid="rlghCGbAqUo" layout="responsive" width="480" height="270"></amp-youtube>
4039 次点击
所在节点    分享创造
11 条回复
ac23
2023 年 3 月 21 日
流批
whi147
2023 年 3 月 21 日
这么做的目的是为了提前渲染？
hzwer
2023 年 3 月 22 日
@whi147 可能可以做 或者以压缩方式做 但是我们不太熟悉相关应用 🧐
Hansah
2023 年 3 月 22 日
这能拿来给视频补帧吧？
hzwer
2023 年 3 月 22 日
@siknet 补帧有另外一些项目，有些技术上的小区别
deorth
2023 年 3 月 23 日
我能想到的用处是，插帧算法得出来的视频最后会少一帧（相对于原视频的两倍帧而言），然后可以用这个补上? 233
devliu1
2023 年 3 月 23 日
强啊
iloveoovx
2023 年 3 月 23 日
应用的话，研究下 meta 在 asw 相关的一些工作？因为 VR 对帧数和延迟在所有应用中是最敏感的，所以补帧方面他们花了很多工夫
huxiaotao
2023 年 3 月 23 日
@iloveoovx 确实可以
xing7673
2023 年 3 月 23 日
这个应该是用来压缩的。
补帧是内插
kop1989smurf
2023 年 3 月 24 日
类似 DLSS3 吧。既通过预测插帧，来降低传统补帧内插帧导致的延时效应。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/925871

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX