音视频引擎是菊风推出的针对 IP 实时音视频通信所设计的移动多媒体解决方案,涵盖音视频 Qos 处理、音视频编解码、网络打包传及设备管理 4 大模块。运营商或 OTT 服务提供商可以使用音视频引擎迅速开发出优质的移动音视频通信应用(类似 Viber、Skype、微信和 FaceTime,用户可以在宽带、Wi-Fi、3G、4G LTE 等 IP 网络中享受高清的音视频通话体验),还可以基于视频通话服务通道实现丰富的视频应用(如视频监控、视频游戏、视频共享、视频商城、卡通视频等),扩大用户群,增加 ARPU 值。

轻松突破异构网络问题和终端设备
差异两大屏障,通话清晰流畅

移动网络的不稳定性、高丢包率以及终端设备的差异化一直是影响移动通信用户体验的两大障碍,也是我们设计音视频引擎时致力于解决的关键问题。菊风音视频引擎采用了独创的高精度智能算法和先进的 QoS 质量控制技术,解决了因设备和网络差异引起的音视频质量不稳定和体验无法最佳化的问题,在网络状态好的时候支持高清语音和高清视频通话、在网络状态不佳时能智能调节语音和视频的清晰度,不至于通话因网络干扰而被中断,让用户在复杂网络状态下也能享受清晰流畅的音视频通话。

音视频引擎架构图
更清晰流畅的语音

音视频引擎提供了多种语音编解码(opus、AMR-WB、 AMR-NB、G.711(PCMA/PCMU)、G.729、AAC等),采用了AEC/AES(回声消除)、ANR(噪声消除)、AGC(音频增益控制)、ARS(自动码率调整)、PLC(丢包隐藏)、FEC(前向纠错)等多种技术, 明显改善了语音的质量,无论对端的音量是30分贝还是120分贝,无论对端背景噪声是鞭炮、人声、还是工业噪音,即便在70%丢包的情况下,本端听到的语音都清晰流畅,且保持在80~100分贝的舒适音量,语音还原度高于固话。

音视频引擎架构图
智能夜视,让夜间通讯更加清晰明亮

音视频引擎采用了智能曝光及图像增强等先进的视频采集增强技术。通过模拟和数字处理方式智能调节亮度和对比度,明显改善了较暗光线环境下的视频效果,画面更清晰明亮。

音视频引擎
菊风 App 某热门视频通话 App

弱光环境下 iPhone5 手机截屏对比图

视频通话流量比同类产品节省30%~90%
视频通话流量比同类产品节省30%~90%

通过研究视频通话的特点,优化编码器(支持 H.264, VP8),我们开发了一种视频节省带宽技术。在主观视频质量基本一致的情况下,使用了这一技术的编码器在常规视频通话中可以帮用户节省30%~90%的流量。

移动终端无需手动适配

多媒体设备能力管理(MDM)收集了大量终端的语音和视频的硬件最大处理能力和通话体验时的最优参数存放在云端。视频通话时,终端能自动从云端获取该款设备的能力参数集,并智能调节最佳帧速率及传输码率,使得不同处理能力的终端互相能呈现出最舒适的视频效果。目前 MDM 已涵盖2300多款 Android 设备和系统版本及280多款 iOS 设备和系统版本的相关信息。

移动终端无需手动适配
视频通话抗丢包率达70%

技术

我们的视频编解码及传输层除了使用传统的 FIR、FEC 和 NACK 等技术外,还开发了另外两种抗丢包技术 RPSI-SLI(引用帧选择技术),通过编解码(支持 H.264, VP8)和 RTCP 反馈的深度合作,通过 RFC 4585规定的两种反馈控制机制 RPSI/SLI 来实现发送端和接收端的信息交流及控制,能够大大降低网络丢包对视频质量的损伤。

算法

另外,媒体引擎中还使用了自动帧速率控制(SFrC)、码率自适应(ARS)、分辨率自适应(resolution control)等算法,对帧速率做了非常精细的控制,使得在给定的网络条件下能够达到相对最佳的视频主观质量,即使网络丢包率较高时(最高可达70%丢包,300ms延时,700kbps带宽),仍能提供清晰流畅的通话体验。

能耗小,更省电

我们的 SDK 软件有统一的操作系统平台适配接口,集成了系统提供的针对省电优化的网络传输接口。除此以外,我们还提供了可暂停的任务接口,对于可能需要消耗较多电量的任务,可以指定运行时间。精于节能的智能设计让视频体验更加随心所欲。在设置同等码率的条件下,我们的 SDK 软件可以比 wechat 节省 30% 的能耗,比 Agora 节省 5%~18% 的能耗(软编软解);在同等能耗下,我们的 SDK 可以比 wechat 提升两个等级的分辨率(硬编硬解)。

能耗小,更省电
视频质量评估MOS分
视频质量评估 MOS 分

我们的 SDK 提供了无参考的视频质量评估方法,实时的输出视频 MOS 分,经过评测,其输出的结果跟主观 MOS 分的相关性能达到 85%~93%。

多种视频编解码方式

我们的 SDK 除了传统的 VP8、H.264-SVC、H.263 之外,还提供了H.264-AVC、 H.265 HEVC 等视频编码方式。同时,媒体引擎支持接入第三方视频编解码模块,这个编解码模块可以是纯软件的也可以是由硬件实现,比如集成电视机顶盒的硬件 h.264 编解码,可以提高视频处理的吞吐量实现 720P 甚至 1080P 的高清效果。

多种视频编解码方式
智能分屏
智能分屏

关于分屏模式,媒体引擎的内部实现有很多种,包括只有当前焦点视频、只有屏幕共享、所有视频窗口裁成正方形、使用外部自定义布局、智能分屏等。智能分屏方法设输入的视频都是矩形,长宽比不限,目标是要以特定的模式布局到一个显示区域,通过智能分屏算法,可实现自由模式、矩形模式、大小屏模式、讲台模式等等。

媒体引擎也提供了使用外部自定义布局的分屏方式,当客户需要将自己的终端画面完全同步到其它终端或CDN推流、录制等服务时,时需要用到所见即所得的分屏接口。

3rd Party系统接入

媒体引擎支持第三方通信系统接入,第三方通信系统包括 WebRTC、SIP 呼叫系统、SIP 会议系统、PSTN、CDN、H.323 呼叫系统等等。例如WebRTC是在浏览器中集成了媒体引擎,从而不需要另外安装插件或代理程序,可实现免安装使用。媒体引擎支持以 PSTN 终端方式接入,并通过 PSTN 呼入已经存在的 Jsm 会议,也支持 Jsm 反向向 PSTN 呼出。

会议录制
会议录制

Juphoon 音视频软件支持音视频录音录像及存储功能,录像有终端录制、服务器录制、服务器离线录制三种模式。

屏幕共享

屏幕共享的视频编码具有保证屏幕清晰度的需求,特别是讲 PPT 的时候屏幕的文字字体比较小,被共享端也应该能跟原屏幕一样能够清楚的看到。因此,我们设计屏幕共享的视频编码有三个基本策略,1.确保原有屏幕1:1分辨率,避免失真;2.允许刷新帧率适当降低,以便适应不同网络带宽;3.提供非常小尺寸的一份视频流,便于显示缩略视频。

屏幕共享
会议广播(Relay)功能
会议广播(Relay)功能

大容量会议主要应用在上课或者直播的场景。媒体引擎提供了集群服务器视频会议广播的能力,通过中继服务进行扩容。对于主流的千兆网卡来说,考虑到性能冗余等因素,实际可支持路数约为100~500路并发(每个会议参与方越多,支持路数约少)。中继服务的转发能力也是类似的,因此一级中继服务的总系统容量约是 100~500 的平方,即 10000~250000。而采用二级中继的方式,系统容量是 100~500 的三次方。

集成开发只需 3 天

音视频引擎提供了抽象、跨平台的开发用户接口(ANSI C API),配合用户文档和开发样例能快速完成集成开发。

集成开发只需3天

联系我们

  • 咨询电话:0574-87901227
  • 产品咨询:sales@juphoon.com
  • 广告媒体:0574-87901227
  • 周一至周五 9:30 ~ 18:00

官方微信公众号

juphoon-wechat

浙公网安备 33020902000186号

close
咨询咨询电话
0574-87287820转500
咨询邮箱:sales@juphoon.com.cn
other或留下您的信息,稍后我们会与您联系!
点击咨询