第两百六十七章 概念(第 4/4 页)
如果采取人工修复的方式,每人每天只能修复4、 5分钟影片。而基于腾讯云音视频的智能修复方案,修复一部影片只需要几个小时。
再来看看沉浸媒体(也就是vr)的关键技术和解决方案。
vr是元宇宙和全真互联的核心技术,也是音视频最具挑战的领域。
企鹅云音视频,基于企鹅多媒体实验室研发的vr全景技术,可以实现vr360超高清点播和vr360高清实时通信两大核心能力,提供端到端一站式全景导览方案,包括vr园区街景导航、vr360全景景区慢直播、vr数字沙盘、vr360全景会议会展直播,等等。
提升编解码压缩能力,是应用vr的关键。
vr视频因为含有三维的时间和空间信息,所以冗余高,数据体积大,对带宽的要求高。如果不进行适当压缩处理,很难存储、传输和计算,占用的资源会很多。
当前有一种压缩方式,是处理后去除25%的冗余点,但渲染cube边界明显,无传输方面的处理。腾讯多媒体实验室的方案,比这种更接近原片,播放时无明显边界。而且腾讯的方案增加了传输的处理,对可视区域进行切块、渲染播放,能够节省50%的带宽。
在“一部手机游云南·vr全景点播”项目中,基于腾讯云的云渲染paas解决方案,将南头古城以1:1的比例,超精细化还原到了云端,任何人都可以通过小程序畅游古城。
在同等网络条件下,传统4k无切块方案带宽需求大于 9 mbps,而采用了腾讯的8k切块方案后,带宽需求小于 8 mbps。
全景导览方案的四大核心技术,分别是全景拼接、点云空间重建、图像增强、点云数据压缩。
全景拼接,可以通过算法将单张照片拼接为全景照片,算法效果极佳,有效减少了画面变形、畸变。
图像增强,则是通过图像降噪、ai色彩增强技术,增强画面色彩和细节,提升人眼的主观效果。
点云空间重建,是以一个实用性很强的技术。
它可以通过全景图景深估计,重建空间点云模型,展示空间结构。因为算法经过优化,数据可以压缩至原来的六分之一,同时保持主观视觉一致,非常适配移动端展示。
基于点云重建的物体数字化技术,通过非接触式的数据采集,能够重建物体的数字模型,形成数字档案。这一技术,非常适合文物的数据采集、存档和展示,降低文物损坏风险。在零售行业,这些技术也可用于商品信息的采集、归档。
还是前面提到的敦煌研究院合作项目,沉浸式vr远程会诊,基于多媒体实验室的高性能编解码直播引擎,用4k超清画质的360度沉浸式画面,无死角展示洞窟内的景象和文物的细节。
企鹅云音视频解决方案涵盖了智能采集、数据处理和渲染展示等多个环节,具备全景漫游、热点交互、多模式切换、沉浸式展示等多种实用功能。对用户来说,使用过程非常简单。
正如前面所说,音视频技术的研发,是对解决方案提供商综合能力的考验,离不开长期的资源投入和能力沉淀。
说白了,先进的数据压缩算法,强悍的算力硬件,对5g、ai等技术的掌握和运用,是一个优秀音视频解决方案企业的必备条件。