前段时间收拾屋子的时候找到了大学时的电脑硬盘,它被遗落在书架角落里已有14年,心怀忐忑地接上硬盘盒,再小心翼翼成功打开的瞬间,我只想高喊一句“爷青回!”在硬盘里不仅找到了很多当年的学习资料,也翻到了很多用DV和诺基亚手机拍摄的视频——既有铁哥们儿身材清瘦颜值巅峰的影记,也有青涩校园生活的点点滴滴。但那是民用数码摄像机刚刚起步的时代,什么全高清、4K、高码率通通不存在,画面模糊不说,白平衡也经常出现问题,连编码和封包格式都是千奇百怪,我就遇到了好几条视频甚至都无法正常播放的窘境……
修复青春记忆,火山引擎免费方案靠谱么?作为在大学时期就多次给女同学P照片,且在《电脑报》摸爬滚打十几年的技术老编辑,找到这些视频的第一反应就是能不能想点法子,让这些480P甚至320P的老视频清晰度更高一点,噪点少一点呢?正好年底计划搞一场大学同学会,如果能把这些足以让全部人当场“社死”的好东西修复到4K的水平,岂不是美事一桩?说干就干,我首先想到的是利用PR、格式工厂等软件来直接硬调分辨率,但结果也毫无意外:算法插值只是拉伸并填充中间色而已,能做到的就是把模糊放大,并不能真正地改变视频的观感。
但好在目前的视频AI算法多如牛毛,我找一个免费的试试不就完了?正好今天看了字节跳动的发布会,西瓜视频和火山引擎在会上公布了“经典中视频4k修复计划”,他们计划在一年内修复百部经典电影,首批已经完成了《葫芦兄弟》《黑猫警长》等六部经典动画的4K修复。而且,他们还免费开放了比较基础的自动修复功能,在西瓜创作平台的视频剪辑功能里就能直接调用,这新鲜出炉的羊毛岂能不薅?-费修复
于是我在西瓜视频创作平台上找到了“老片修复”功能,目前普通用户每天可以修复5条30分钟以内的视频,于是我上传了一段拍摄于2010年,体积97MB的720P MP4文件进行测试,从上传、修复到下载,整个过程耗时约50分钟。-满回忆
上图为原片截图,下图为修复后截图▼
从测试结果来看,目前火山引擎的老片修复功能主要针对两种情况进行优化,第一是降噪,特别是磁带转数字保存的视频,很容易在影片中闪现各种白色噪点,而老片修复功能可以很好地纠正这个问题,同时针对我们数码相机拍摄出现的噪点也能有效抑制,表现还不错。-费修复
第二是提升清晰度,720P的低码率视频在通过修复之后,码率得到了提升,而且从画面观感来看的确是有效提升,清晰度相较原片有了一定幅度的增强。
客观地说,这个免费工具使用简单、效果也比较明显,但是修复能力只集成了基础的超分和降噪算法,与西瓜视频上线的经典老片精修效果是无法相提并论的,但对于普通个人用户来说也完全够用了。
简单易用的水面之下,蕴藏三大优势沉淀的冰山很明显,火山引擎主导的修复技术是靠谱的,视频的清晰度得到了质的提升,降噪效果也很好。特别考虑到这是一个免费的技术,就更是难能可贵了,毕竟视频修复有几个比较大的难点,比如工作量大、不可控因素多,电影,尤其是老胶片电影的修复非常麻烦,需要经历对胶片的物理清洁和修补、模拟信号转数字信号,并结合AI和人工进行数字化修复、最后再艺术修复,还原艺术风格。-满回忆
在今年第十一届北京国际电影节上就有“修复经典”的展映单元,其中包括《永不消逝的电波》《忠烈图》《夜叉池》《秋天的童话》《胭脂扣》《教父3》《穆赫兰道》等一系列上世纪50~90年代的经典作品。
一部老电影的修复不仅需要花费1年以上的时间,也需要百万级别的经费支撑,所以,对经典电影的修复不亚于对文物的修复,需要有技术、懂艺术,以及付诸于每一帧修复内容的耐心与热爱,才能完成这样工作量庞大的修复工程。那么,火山引擎是有怎样的金刚钻,才敢揽下“技术免费开放”这样大胆的瓷器活,我们认为主要有三个优势。-费修复
第一是算法优势:抖音、西瓜视频作为国内最大的UGC创作平台,每天都能收到大量的用户创作投稿的视频,不少视频由于拍摄设备性能有限,存在着各种各样的画质问题。火山引擎作为抖音、西瓜视频的技术支撑方,每天都在修复“老片”,增强画质的算法能力可以说是经过千锤百炼了,这也算是“赢在起跑线”吧。-满回忆
算法的优势也体现在4K HDR能力上。在2019年年底举办的首届全国人工智能大赛上,主办方设立了AI+4K HDR赛项,要求将低质量540P SDR视频重建为高质量且调色的4K HDR视频,火山引擎在参赛的企业中综合排名最高,也证明了其修复老片的算法能力在业界是比较领先的。-费修复
第二是多媒体实验室的技术优势:从发布会上可以看到,承担经典老片4K修复任务的是火山引擎多媒体实验室。这个实验室不仅支持着字节跳动的内部业务,还在对外提供服务。球迷朋友们非常熟悉的懂球帝APP,就使用了火山引擎多媒体实验室提供的技术,包括直播、点播和图片处理等场景。公开数据显示,在点播层面,火山引擎为懂球帝服务端首帧时间降低了30%+,弱网播放卡顿率降低了10%+;在直播层面,多轮画质调优和推流码率自适应,画面质量得到提升;此外,图片类内容通过HEIF压缩,降低了大图传输延迟;动图类内容在优化后,用户可以边下边播。-满回忆
在全球最具影响力视频编码器比赛MSU2020上,火山引擎多媒体实验室研发的BVC系列编码器参加了17个项目,全部都获得了第一。
▷MSU2020大赛上,字节跳动BVC系列编码器夺得17项第一
第三是对硬科技的持续探索。标准化工作一直被视为技术高地,视频领域的编解码国际标准更是全球科技巨头争相参与的领域。在新一代国际视频编解码标准H.266/VCC的制定中,火山引擎多媒体实验室做出的技术贡献排名全球前三,仅次于高通和华为。对于一家年轻的公司和团队来说,这个成绩得来颇为不易。技术探索和业务发展往往是相辅相成的,抖音、西瓜视频有海量用户的使用场景和真实需求,比如提升画质的需求就带动了火山引擎老片修复技术的发展,驱动着算法持续迭代优化,所以在未来火山视频还能拿出怎样神乎的技术大家也别惊讶,真的是基操勿6……-费修复
总结:人工智能视觉处理仍在快速发展当中事实上,火山引擎为西瓜创作平台打造的“老片修复”,免费开放的功能主要是提升清晰度和降噪的部分,对于大多数个人使用来说是绰绰有余了,但修复经典影片还需要大量人力支持。正如西瓜视频和火山引擎发布会上所介绍的,算法虽然能大幅提升效率,但无法解决所有问题。还原老片的艺术本色,也需要专业人员的艺术指导,并不仅仅是增强画质。所以,西瓜创作平台的老片修复功能开放了专业精修服务报名通道,针对有史料价值的老视频版权方,火山引擎将提供免费高清修复。。-满回忆
从整个行业来看,视频高清修复其实有很多厂商都在研发,但能直接免费放开让所有人使用的,火山引擎还是第一个,这是一件很有魄力的事情,希望还能再接再厉,让羊毛飞起来吧!