12月19至20日，由腾讯主办的2020TECHO PARK开发者大会在北京时髦规划广场举行。在大会主论坛上，腾讯出色科学家、多媒体实验室负责人刘杉带来了主题为《从视频编解码到互动沉溺式媒体》的讲演，要点剖析了视频编解码技能的演进迭代以及腾讯在新媒体及互动沉溺式媒体方向所进行的探究和测验。
刘杉表明，国际性的疫情让许多范畴的活动从线下转为线上，而如安在坚持高质量服务的一同下降网络数据带宽的压力，向多媒体技能提出更高要求。腾讯作为一家互联网科技公司，旗下的许多事务和多媒体技能密切相关，因此视频编解码技能是腾讯所必备的重要中心才能。
在多媒体技能革新方面，腾讯在不断寻求打破。自2018年参加H.266/VVC规范拟定以来，腾讯多媒体实验室约有100项技能被规范选用，数量位居全球抢先；为活跃推进AV1商业化，腾讯云于2019年11月首先成为我国第一家支撑AV1转码的云服务商；本年10月，腾讯在规范截稿3个月内涵国内首先发布了H.266高清/超高清实时播放器。
在新媒体和沉溺式互动媒体方面，刘杉以为，跟着5G年代的降临，深度沉溺式媒体宽广的使用场景和商业空间将被全面激活，而沉溺式媒体技能与实时媒体传输技能结合，能够生成更多沉溺式使用。现在腾讯已上线多个沉溺式媒体解决方案，以满意不搭档务的开发需求。
在展区，腾讯多媒体实验室5G+VR直播解决方案露脸，招引许多观众体会。观众经过现场大屏，就能够看到展区、会场360度实时直播，一同支撑恣意转化视点，无需戴上眼镜，经过大屏便可置身其间，带来感同身受的沉溺式体会。
在讲演终究，刘杉表明，未来腾讯将持续活跃投入多媒体技能的研制，拥抱开源生态建造，为开发者和合作伙伴供给有用的服务和支撑。
各位领导，各位搭档，各位嘉宾，咱们好。我是刘杉，来自腾讯多媒体实验室。十分惋惜今日不能够到现场，那么我就经过视频这个方法和咱们做一个共享。今日共享的标题是“从视频编解码到互动沉溺媒体”。
上一年的techo我做了一个“视频编解码技能与使用”的共享。那么今日共享的第一个首要内容，我会和咱们简略介绍一下在这一年傍边视频编解码技能的一些演进和迭代。在这之后，我会介绍腾讯多媒体实验室和腾讯云，在新媒体及互动沉溺式媒体方向的一些探究和测验。
本年是特别和具有挑战性的一年。国际性的疫情为咱们的日子带来了巨大的改动，教育、工作、文娱、出售等范畴的许多活动都由于疫情的联系从线下变为线上，多媒体技能则为这些云服务供给了必不行少的支撑。自三月以来全球视频流量激增，网络带宽面对巨大压力，国际各地多次出现因网络压力过大而导致的区域性断网。欧盟委员会不得不约谈netflix等网络影音服务商，要求在高峰期下降画质，将名贵的数据带宽留给居家工作和学习。有调查结果显现，流媒体软件商场加快增加19%，如安在坚持高质量服务的一同下降网络数据带宽的压力也为各项多媒体技能提出更高要求。
而与此一同，人们对视频观看质量的要求也在持续攀升。更高的分辨率，更高的亮度和色度动态规模，和更高的帧率等技能指标，合作VR360， Freeview等新媒体方法，在提高视频观感质量的一同，也对数据带宽提出更高的要求。互联网流量数据显现，在2017年标清和高清视频内容大约各占一半，到了2019年标清内容占比下降到大约1/3， 高清内容成为干流，超高清内容占比开端攀升；估计到2022年超高清内容占比会进一步提高到约总流量的1/4。一同，依据我国工业信息网，我国VR内容商场自2016年以来持续以每年2-3倍的速度增加。这些都使得视频编解码（即视频紧缩）这一个现已存在了许多年的技能范畴，即便在今日也仍然具有其重要性和必要性。
而腾讯作为一家互联网科技公司，旗下的许多事务都和视频这一媒体方法密切相关，例如：腾讯视频，微视，微信，QQ，教育，泛文娱等等，还有在这次疫情中为在线教育和长途工作做出巨大奉献的腾讯会议和腾讯讲堂等产品。因此抢先高效的视频编解码技能也是腾讯公司所需求和必备的一项重要中心才能。
简略回忆一下，在曩昔三十多年里，全球许多企业和研究机构投入巨大资源，研制了许多视频编解码技能，并形成了几代视频编解码规范。其间干流的规范有： ISO/IEC和ITU 拟定的国际规范，像咱们熟知的 MPEG-2， H.264/AVC， H.265/HEVC 和本年七月结稿的H.266/VVC. 腾讯于2018年头开端参加H.266/VVC规范拟定，在历时两年多时间里，向规范安排提交几百个技能提案，其间约有100项技能被规范选用，数量位居全球抢先。
与此一同，自上一年正式参加AOMdia，成为进入AOMedia 董事会的第一家我国公司以来，腾讯和其他AOMedia成员公司一同活跃拓宽开源生态，推进AV1商业化，腾讯云已于上一年十一月首先成为我国第一家支撑AV1转码的云服务商。鄙人一代开源视频编解码规范AV2拟定方面，腾讯奉献了很多重要提案，包含通用测验条件，AV2需求文档等，并奉献了很多技能，涵盖了块区分，帧内猜测，改换，量化，环路滤波等多项中心技能范畴，累计奉献紧缩比提高居国际前列。腾讯专家在AOMedia安排中和Google专家一同一同担任技能孵化组主席，并和Facebook专家一同一同担任软件完成工作组主席。
咱们也大力投入国标AVS的建造，推行，和使用落地。现在腾讯云支撑AVS2和AVS3高清/超高清实时转码，咱们也为电视台等单位做了AVS私有化布置。
本年十月，在H.266/VVC规范第一版截稿仅三个月后，腾讯在国内首先发布了H.266高清/超高清实时播放器。这个播放器内置腾讯自研H.266软件解码器，能够支撑高清、超高清以及屏幕内容共享等场景的实时解码，各项功能指标国际抢先。
每套视频编解码规范拟定，都需求有一套规范测验序列，用来查验各项提案技能的功能，来协助决议该项技能是否应当被选用进入规范。
腾讯的标志性序列，一同也是对咱们事务具有代表性的内容，王者荣耀，也被VVC规范归入测验序列集。
腾讯云活跃投入开源社区的建造，一同也将腾讯先进的技能才能经过腾讯云为各个职业开发者供给服务。在产品规划上，不只针对国内商场，腾讯对海外事务也有充沛的布局与考量，针对海外OTT商场，腾讯云打造了媒体服务系列产品，为国内产品国际化以及海外开发者和服务商供给充沛的技能产品支撑，媒体服务系列产品可供给RTP/HLS/DASH等8种海外常见流媒体协议，7天24小时全天候安稳直播服务，支撑60多个国家和地区的本地化布置。
在科学技能敏捷开展的今日，人们现已不满意于仅仅观看传统二维视频，而是巴望更实在更具沉溺感的体会。而沉溺式媒体，经过完成物理国际和虚拟国际的交融共生，被以为是改动未来日子和工作方法的颠覆性趋势之一。以VR为代表的沉溺式媒体内容商场在近几年明显增加，使用工业链敏捷扩展，使用范畴也越来越广泛，渗透到例如文旅，教育，文娱，医疗和制造等职业。估计到2025年沉溺式媒体商场规模开展可到达161B usd（1611亿美元）因此更多的公司和厂家也正在加大沉溺式媒体技能研制和出产的投入。
更深度的沉溺式体会，首要表现在线DOF、更明晰和流通的内容显现、多通道交互等方面，依靠VR、AR、点云、Freeview等中心技能，合作图片、视频、文字、声响等传统媒体格式，结合紧缩、传输、显现、交互等环节，经过手机、电脑、头戴式、大屏等不同设备进行终究出现。从沉溺式使用场景来看，正在从面向个人文娱的消费类商场深化开展到企业级商场的笔直职业使用场景。未来跟着5G的大规模遍及，沉溺式媒体硬件及技能的进一步打破、制造本钱的下降以及更多优质内容的开发，将推进沉溺式媒体产品和服务被干流集体选用，深度沉溺式媒体宽广的使用场景和商业空间将被全面激活。
一个高质量高效率的互动沉溺式体系包含了从收集，处理，紧缩，传输，到解紧缩，后处理，烘托和交互等多个技能模块。里边包含的技能有例如投影，收集拼接，FOV，自适应传输等技能，触及的传输协议有HLS，DASH， RTC等。由于沉溺式媒体内容的数据量比传统高清/超高清视频更巨大，比方这儿展现的VR360演唱会，和freeview篮球比赛，那么如何将所有这些技能模块有用结合，归纳优化，对供给优质的端到端体会就更为重要和要害。
将沉溺式媒体技能与实时媒体传输技能结合，能够生成更多沉溺式使用。比方，传统的视频会议只能选用单一固定镜头，视界和互动性都具有必定局限性。经过融入沉溺式技能，能够创造出三自由度和六自由度的视听作用，结合虚拟会议室设置，为与会者供给愈加全面的会议信息和愈加丰厚的会议体会。
点云是沉溺式媒体范畴又一项具有代表性的技能，近两年也正在得到更多的重视。点云端到端体系包含点云数据的处理、紧缩、模型重建和烘托、互动等技能模块。腾讯自研的云体系能够经过视频、图片、深度等信息进行三维物体和空间重建，可用于如会议和房地产等事务场景。由于点云选用三维空间点阵的方法来表达实在物体和场景，可想而知构建一个高精度点云模型所需求的数据量是十分巨大的。因此点云数据紧缩也是点云体系中不行短少的一个环节。腾讯多媒体专家活跃参加点云紧缩国际规范拟定并有技能提案被国际规范选用，一同担任AVS点云专题组联合组长。
腾讯云现已上线多个沉溺式媒体解决方案，包含VR视频解决方案，腾讯临境沉溺式解决方案等，以满意不搭档务的开发需求。腾讯临境沉溺式解决方案能够供给完好空间建模才能，并支撑H5页面、安卓、IOS手机端、小程序端全渠道展现和共享。
咱们现已逐渐进入5G年代。5G网络供给给咱们超强的带宽，超低的推迟，使得更多的使用触手可及，也使得万物互联成为可能。在5G的影响下，媒体内容的出产，获取和传达方法都在发生变化。无论是4K/8K，仍是VR/AR/MR/点云，这些在曩昔由于受限于网络带宽的使用，在5G的推进下可能会迎来打破。腾讯将持续活跃投入多媒体技能的研制，拥抱开源生态建造，为开发者和合作伙伴供给有用的服务和支撑。
