西瓜影院网 科技冬奥:陈宝权牵头征战的交互式多维度赛事转播技能让不雅众体验“看得真”
西瓜影院网
2022年3月5日是北京2022年冬残奥会首个比赛日,残奥冰球项目在国度体育馆拉开战幕。在中国对战斯洛伐克的首秀中,电视机前的不雅众看到了不同以往的转播画面——比赛精彩俄顷的解放视点(也叫“枪弹时期”)回放。这一电影殊效镜头在比赛直播中得以及时杀青,而且出目下了随后的每场比赛转播中,让全球不雅众大长主意。而这恰是北京大学智能学院陈宝权教师教导国度重心研发谋划“科技冬奥”重心专项“冰雪项目交互式多维度不雅赛体验技能与系统”项目团队完成的研发效果,该项目团队围聚了关联领域地上风力量,成员来傲气校(北大、北航、清华)、国度实验室(鹏城实验室)和企业(优酷、联通、歌华、创维)。
北京冬残奥冰球比赛转播“枪弹时期”视频制作
行为初次在我国举办的冬季奥运会,举世细心标2022年北京冬奥会也成为了新视频技能的绝佳展示机遇。针对冰雪畅通的特色,陈宝权教师交流重心专项团队冲突解放视角视频和虚构执行(VR)视频节目拍摄、本色生成、高效编解码、自妥贴传输和交互式呈现等要道技能,研制节目网络系统、本色生成系统、及时编解码器、自妥贴传输系统和交互式末端,最终杀青一套端到端交互式多维度不雅赛转播与体验系统,转换了以往不雅众只可被迫不雅看电视导播画面的局限,使末端用户不错聘用猖狂位置和角度不雅看比赛,立异性擢升了用户的不雅赛体验,让视频技能从“看得见”、“看得清”参加“看得真”的交互不雅赛期间。
项目认真东说念主陈宝权教师
项目效果在北京冬奥会测试赛中先后愚弄于国度体育馆冰球项目、国度速滑馆速滑项目、王人门体育馆名堂溜冰项目和五棵松体育馆冰球项目。该系统将精彩回放视频的生成与传输所需要的时期支出从现时外洋主流系统的几分钟裁汰到只是几秒,从而极地面提高了奥运转播的时效性和不雅赏性。
测试行动——国度体育馆冰球比赛项目(2021年4月)
测试行动——王人门体育馆名堂溜冰项目(2021年10月)
陈宝权教师经受央视采访
该项新技能从冬奥测试赛运行便受到了庸俗饶恕。“解放视点”不雅赛的惊艳效果受到了包括央视、东说念主民网、新华网、科技日报、北京2022年冬奥会官方频说念、凤凰网等国表里数十家媒体的采访报说念,被称为“科技冬奥”的黑科技。
在测试赛期间,这些技能冲突取得了外洋奥林匹克播送管事公司(OBS)工程技能总监的饶恕和高度招供。在冬残奥会期间,项目团队受到OBS的终点邀请入驻国度体育馆,全程参与冬残奥冰球项目正赛的转播。到冬残奥会扫尾,项目组计算管事16场比赛,累计提供了200余段精彩俄顷的回放。而其中17段被OBS环球转播信号接收,通过播送电视和汇集直播传播至全世界。
OBS工程技能总监Isidoro Moreno经受央视采访对该项技能高度评价
北京冬奥会期间,“冰雪项目交互式多维度不雅赛体验技能与系统”项目效果行为科技冬奥项目代表性效果之一,在北京冬奥村“北京小屋”展出,取得近千东说念主次国表里畅通员、教师及赛事组织官员的参不雅与体验。交互式多维度不雅赛系统行为科技冬奥的代表性效果入选国度“十三五”科技创新树立展。
冬奥村“北京小屋”(冬奥期间)
陈宝权教师积极参与该项技能的科普责任。他受北大团委邀请,给北大600多名冬奥学生志愿者证明科技助力冬奥,他还受北京冬奥组委的录用,制作科技教程,给来自寰球各地的冬奥志愿者作念培训。2021年12月31日,陈宝权教师受邀参加北京播送电视台科教频说念“2022科学跨年之夜”节目,向不雅众先容该项技能的历史布景和研发历程,证明怎么将需要数千台诡计机破耗一年时期才能制作出几十秒钟视频的电影殊效变成及时技能,给不雅众展现了交互式解放视点视频技能怎么让不雅赛将胸比肚,让不雅众体会从“看得清”到“看得真”的视频转播技能立异。
左:2022科学跨年之夜;右:北京2022年冬奥会冬残奥会北京大学转头犒赏大会
基于项目团队在北京冬奥中的隆起孝敬,北京冬奥组委和科技部折柳给项目团队发来效果愚弄证明注解和感谢信。2022年4月,“北京2022年冬奥会冬残奥会北京大学转头犒赏大会”中,陈宝权教师行为北大科技助力冬奥的代表在大会上作念了共享演讲。而在2022年12月“北京大学2023年新年联欢晚会”中,陈宝权教师将行为《这十年》北京大学为国度发展作出孝敬的三个方面代表之一,为同学们证明科技冬奥的故事。
科技部和北京冬奥组委发来感谢信和效果愚弄证明注解
足球尤物陈宝权教师简介:
陈宝权教师恒久从事诡计机图形学、诡计机视觉与可视化方针的探求,终点是在大规模三维场景的获取与重建方面始创了一系列前沿探求并取得了具外洋影响力的病笃探求效果。此前,关联效果“基于中层几何结构的三维重建表面与模范”取得2020年度中国诡计机学会当然科学一等奖, “复杂三维阵势的高效生成、分析与制造”取得2020年度山东省当然科学一等奖。因为在可视化领域的孝敬,他于2020年当选 IEEE Fellow,2021年入选IEEE Visualization Academy(可视假名东说念主堂),他同期亦然中国诡计机学会会士和中国图像图形学会会士。
项目主要技能创新:
端到端解放视角视频系统。酿成了总共自主知产权的端到端技能,杀青了完善的现场拍摄-云霄处置-客户端交互的端到端技能链路;在云霄重建方面,杀青了基于三维重建技能的解放视角视频,以及基于相机阵列网络图像进行高精度大范围的场景三维深度重建;在解放视角视频抒发和压缩方面,提倡了基于寥落纹理和深度的解放视角抒发和压缩算法,极地面裁汰解放视角视频的压缩码率,使用户不错在浅近汇集带宽下也不错体验解放视角;而在用户交互方面,经过深度优化的末详察点重建算法援救及时重建虚构视点,而且在主流手机上即可进行绽放的解放视角互动体验。
五棵松体育中心竞赛馆内环廊吊装和国度体育馆铺轨架设的相机
比赛场馆相机拍摄画面
冬奥赛事孪生推演与VR视听话语创意遐想。针对冬奥热门赛事项目,项目团队遐想VR直播决策并构建了冬奥场馆的三维数字孪生环境。在VR直播方面,使用更明晰、更全面、更多感官体验的VR全景直播系统,以“新视角”、“镜头智能追踪”、冰球的重心镜头和氛围镜头为侧重,营造冰球赛事特有的魔力。在冬奥赛事的三维数字孪生方面,基于该数字孪生杀青动态对象个性化部署、多相机高信得过感模拟、多相机快速拼接、创意VR本色生成等功能,完成创意遐想的修正反应和传神推演。
以“新视角”“镜头智能追踪”、冰球的重心镜头和氛围镜头为侧重,营造冰球赛事特有的魔力
AVS3 8K及时视频编码器与自妥贴传输系统。基于我国主导制定的面向8K视频愚弄的新一代视频编码模范AVS3,项目团队发明一系列快速编码步地决策技能和并行编码技能,研发得手8K视频及时编码器,编码遵循外洋领跑,不错被庸俗愚弄在5G 8K电视播送、8K VR直播妥协放视角视频直播等领域。面向VR视频的高效抒发和动态传输,项目团队提倡等角金字塔等非均匀映射模子,并基于东说念主工智能技能提倡用户感兴趣区域瞻望,大幅度擢升了VR视频的明晰度,并不错从简70%以上的传输带宽。
首套基于AVS3模范的8K编解码器与端到端系统、比H.265从简30%码率
8K机顶盒。针对各人对畅通赛事的极高清不雅看需求,项目团队征战了援救8K/60帧视频解码的极高清8K机顶盒,机顶盒援救国产AVS3 8K解码模范,援救 8K VR/360全景节方针超高清直播和点播才略,冲突了传统电视的愚弄范围和需求的局限性,为用户传达具有齐全性、千里浸感、现场感、时空感及互动交互性等多维度体验感的视频信息,全面升级用户体验不错最大铁心的归附畅通赛事画面的明晰度和绽放看。
VR与解放视角视频暗意、编码与传输模范。基于上述效果,项目团队整合中枢技能酿成自主VR与解放视角视频模范西瓜影院网,目下一经被立项为 20192086-T-469,《信息技能 虚构执行本色抒发 第 2 部分:视 频》国度模范,并在外洋IEEE模范立项:IEEE 1857.9:Immersive Visual Content Coding。引颈缔造我国自主VR与解放视角视频生态,并放射外洋。