基于光流的开源视频未来帧预测算法

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

爱意满满的作品展示区。

This topic created in 1143 days ago, the information mentioned may be changed or developed.

欢迎大家来为我们的项目建设提供宝贵意见和 star：
https://github.com/megvii-research/CVPR2023-DMVFN
论文在做正式发表前的处理，模型也将会按照实用反馈进行更新
当前模型输入两个 RGB 帧，输出未来一帧的预测，类似于插帧的外插版本

11 replies • 2023-03-24 10:42:02 +08:00

ac23

Mar 21, 2023

流批

whi147

Mar 21, 2023 via iPhone

这么做的目的是为了提前渲染？

hzwer

Mar 22, 2023 via iPhone

@whi147 可能可以做或者以压缩方式做但是我们不太熟悉相关应用 🧐

Hansah

Mar 22, 2023

这能拿来给视频补帧吧？

hzwer

Mar 22, 2023

@siknet 补帧有另外一些项目，有些技术上的小区别

deorth

Mar 23, 2023 via Android

我能想到的用处是，插帧算法得出来的视频最后会少一帧（相对于原视频的两倍帧而言），然后可以用这个补上? 233

devliu1

Mar 23, 2023

强啊

iloveoovx

Mar 23, 2023

应用的话，研究下 meta 在 asw 相关的一些工作？因为 VR 对帧数和延迟在所有应用中是最敏感的，所以补帧方面他们花了很多工夫

huxiaotao

Mar 23, 2023

@iloveoovx 确实可以

xing7673

Mar 23, 2023 via iPhone

这个应该是用来压缩的。
补帧是内插

kop1989smurf

Mar 24, 2023

类似 DLSS3 吧。既通过预测插帧，来降低传统补帧内插帧导致的延时效应。