火山引擎4K修复影片入选北影节 相关技术在CVPR2024夺冠
来源:机器之心
时间:2024-04-23 16:24:31 204浏览 收藏
有志者,事竟成!如果你在学习科技周边,那么本文《火山引擎4K修复影片入选北影节 相关技术在CVPR2024夺冠》,就很适合你!文章讲解的知识点主要包括,若是你对本文感兴趣,或者是想搞懂其中某个知识点,就请你继续往下看吧~
4月18日,第十四届北京国际电影节正式开幕。由中国电影资料馆、抖音和火山引擎联合修复版的港片《A 计划》与《卖身契》入选“致敬·修复”单元,并于4月18日、19日进行放映。
4K版《A计划》《卖身契》电影海报
《A计划》《卖身契》分别上映于1983年和1978年,距今已四十多年。2023年8月,中国电影资料馆、抖音和火山引擎共同发起了“经典香港电影修复计划”,宣布修复100部香港电影。此次放映的这两部影片就来自上述项目,影片的原始拍摄底片在香港完成4K格式扫描,整个修复流程包括中国电影资料馆的物理和数字修复,火山引擎的AI技术修复,以及双方合作的艺术修复等环节。
火山引擎是字节跳动旗下的云服务平台,曾分别携手西瓜视频和抖音,完成100部国产经典动画和Beyond经典演唱会的4K修复。
在“经典香港电影修复计划”中,火山引擎首次将AIGC技术应用于老片修复场景,借助视觉大模型强大的生成能力和丰富的先验知识,实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升,字数:78。
一方面,大模型生成能力强,借助Stable Diffusion大模型的生成能力,修复效果优于之前的算法,画面细节更自然;另一方面,大模型具有非常强的信息结构化能力,在学习了海量数据对后,可以在其中提炼出大量的知识并“存储”在模型参数之中,其生成空间更丰富,能够应对更多的修复场景。火山引擎视频云技术架构总监王悦介绍。
目前,火山引擎已针对视觉大模型在某些场景下容易生成伪影或虚假纹理,以及视频多帧场景的稳定性等问题,在算法和工程上进行了一系列优化,提升了大模型场景下的处理效率和兼顾算力成本。
根据修复工作的深入,火山引擎多媒体实验室通过引入自适应特征加权模块、无监督学习与有监督学习相结合、文字语义先验等训练手段,对视觉大模型进行一步的调优。在极低画质人像重建、褪色胶片颜色调整和文字缺失笔画生成等几个方面取得了较好效果。
修复前vs修复后
褪色胶片颜色调整前后对比
为保持“修旧如旧”的原片胶片质感,技术团队在提升受损图像纹理的平滑度、夜景噪声去除等效果的同时,还特意研发了自适应质感增强方案,添加模拟胶片噪声的颗粒。
与此同时,解决老片修复中的各项实际问题,也为火山引擎多媒体实验室的学术研究提供了价值。在计算机视觉顶级会议CVPR 2024中,火山引擎多媒体实验室一举夺得了NTIRE( 图像恢复与增强的新趋势New Trends in Image Restoration and Enhancement)赛道的冠军,其夺冠方案是基于提示学习(Prompt Learning)的图像增强恢复,主要解决的问题,就是修复类似于老片中大量存在的不可预知的复杂损害(未知复杂退化)。
“老片修复这件事情,其实我们每天都在做。”王悦说,老片中常见的清晰度低、流畅度低、色彩失真、有瑕疵等画质问题,在抖音的海量投稿里也广泛存在。通过服务抖音,火山引擎在老片修复方面已经形成了一套较为完整的智能处理技术方案。
公开资料显示,电影修复工艺繁杂琐碎,一位经验丰富的修复师需要1个月才可以修复完成一部影片。近些年,通过深度学习等AI技术,大幅提升老片修复的质量和效率成为可能。
香港城市大学计算机系助理教授马柯德表示,当前人工智能技术的快速发展显现出巨大的潜力,未来不仅一些老电影中音画不同步的问题将借由AIGC得到更有效的解决,甚至有望让AI学会自动评判修复效果。
老港片承载着许多观众的青春记忆,成龙在《A计划》中的精湛演技与惊险动作场面,以及许冠文在《卖身契》中幽默诙谐的表演,都曾给观众带来无数惊喜,伴随修复技术的提升,这些旧时光里的经典将重新焕发生机。
在《A计划》的映前活动环节,曾任成龙中国副总裁的资深电影制片人孙嵘现场与影迷分享,成龙此前认为《飞鹰计划》里隧道的光不够亮,“经典香港电影修复计划”团队根据意见调整,弥补了他当年创作的遗憾。
恐龙影业创始人,前成龙中国副总裁、耀莱影视副总裁孙嵘在映前分享
目前,观众在抖音、西瓜视频,可线上观看“经典香港电影修复计划”已修复完成的电影,其余电影的4K修复版也将陆续上线。
理论要掌握,实操不能落!以上关于《火山引擎4K修复影片入选北影节 相关技术在CVPR2024夺冠》的详细介绍,大家都掌握了吧!如果想要继续提升自己的能力,那么就来关注golang学习网公众号吧!
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
501 收藏
-
306 收藏
-
100 收藏
-
207 收藏
-
118 收藏
-
252 收藏
-
380 收藏
-
397 收藏
-
299 收藏
-
204 收藏
-
203 收藏
-
159 收藏
-
221 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 立即学习 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 立即学习 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 立即学习 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 立即学习 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 立即学习 484次学习