bilibili 弹幕蒙版技术

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2891 days ago, the information mentioned may be changed or developed.

昨天 bilibili 微博上发布了弹幕蒙版效果图，感觉非常非常炫酷啊，抠图技术和弹幕的完美结合，大家对此有什么看法呢

从技术上来说如何实现的呢

我的猜测：根据视频帧信息动态识别到人物的范围，在弹幕"图层"隐藏人物范围的弹幕

弹幕

弹幕蒙版

bilibili

图层

19 replies • 2018-06-04 15:52:44 +08:00

kindjeff

Jun 1, 2018

电脑怕是带不动了？

haohaozaici

Jun 1, 2018 via Android

@kindjeff 哈哈感觉没这么夸张，精读要求不高

ynyounuo

Jun 1, 2018

精度很低啊 - - 看雷军那张

Zzdex

Jun 1, 2018 via iPhone

帅啊

Fatenana

Jun 1, 2018

类似实现的话 niconico 静画对漫画文字的处理就是这样的，弹幕不会遮住文字，不过这个肯定技术厉害的多

Foolt

Jun 1, 2018

对我来说没什么用，我心中早已无码

Phariel

Jun 1, 2018 via iPhone

额视觉上不在一个平面总感觉怪怪的。。。

haohaozaici

Jun 1, 2018 via Android

@Foolt 哈哈，不过这种蒙版技术会造成一种人物在弹幕上方的假象，更加真实
@Fatenana 有机会我去看看

ETiV

Jun 1, 2018

应该是预先用 OpenCV 检测视频内人物骨骼，再填肉，生成矢量数据

浏览器能看到生成 SVG 的 data: 请求

johnyu

Jun 1, 2018

像素级的应用。不错不错不错。

dobelee

Jun 1, 2018 via Android

什麼意思？人物動來動去的話，字也會跟著動來動去？那還能看到嗎？

KingBillSame

Jun 1, 2018 via Android

想到時候了一個場景。看恐怖片的時候，突然一個鬼臉冒出來，本來有彈幕護體的，結果有了蒙版......想想就

haohaozaici

Jun 2, 2018 via Android

@dobelee 弹幕在经过人物区域的时候会，经过人物区域的部分会自动隐藏，超出的部分正常显示，可以找到原博看看

@KingBillSame 哈哈这就尴尬了

PerFectTime

Jun 2, 2018

@KingBillSame #12 hhh 弹幕护体药丸

Sylv

Jun 2, 2018 via iPhone

感觉是预先抠出动态的人的影像，叠加在原视频和弹幕层上，现在只支持宅舞区，这类视频的特点就是背景相对固定变化不大，比较容易自动提取出前景动态的人的影像。

elgae

Jun 2, 2018 via Android

开发者解释了:
哇，没想到在推上这么透明的我居然都能被抓出来，诚惶诚恐
那就作为福利集中回答几个上一推出现的两个问题

Q1. 原理是什么？基于机器学习的视频主体区域识别，离线生产，前端渲染，无人工修正，再具体点是机密就不透露了（
Q2. 纸片人也能识别吗？是的但是人外，奇怪画风的就不行了

frozenthrone

Jun 2, 2018 via iPhone

哇，裸眼 3D

cocang

Jun 3, 2018

就没有和我一样很讨厌看弹幕的吗？

MrFireAwayH

Jun 4, 2018

然而这个开发者已经离职了 @flv.js