Mediawin云+管+端一站式解決方案
在設(shè)備端，Mediawin平臺(tái)針對(duì)各種嵌入式產(chǎn)品，擁有 完善的硬件解決方案 ，比如專(zhuān)業(yè)的音腔設(shè)計(jì)、音視頻器件選型、聲學(xué)場(chǎng)景優(yōu)化、音視頻模組等，能幫助企業(yè)簡(jiǎn)化6大音視頻開(kāi)發(fā)難題。另外，在云平臺(tái)方面， 不同市場(chǎng)對(duì)音視頻云平臺(tái)的需求會(huì)有所差別，比如在線教育需要一對(duì)多實(shí)時(shí)在線高并發(fā)的模式，監(jiān)控需要聲源定位、人臉識(shí)別、語(yǔ)音激活等功能，音樂(lè)需要海量在線資源與點(diǎn)播功能等。為此，在深入了解不同市場(chǎng)需求的基礎(chǔ)上， Mediawin進(jìn)行了深度優(yōu)化和定制化。孫強(qiáng)繼續(xù)向《智慧產(chǎn)品圈》記者表示：“Mediawin平臺(tái)內(nèi)部集成了監(jiān)控云、教育云、音樂(lè)云、實(shí)時(shí)通訊云等子云平臺(tái)系統(tǒng)，根據(jù)應(yīng)用行業(yè)的需求優(yōu)化子云平臺(tái)的功能和架構(gòu)，以滿足不同行業(yè)的需求。”
Mediawin的6大解決方案
就拿 常用的智能機(jī)器人多媒體部分為例 ，Mediawin平臺(tái)不僅能在設(shè)備端提供MIC陣列模組、攝像模組、機(jī)器人聲學(xué)結(jié)構(gòu)設(shè)計(jì)、聲學(xué)器件選型等硬件方案和服務(wù)，也提供回聲消除、噪聲抑制、語(yǔ)音打斷、聲源定位、人臉識(shí)別、美顏、移動(dòng)偵測(cè)、人臉識(shí)別等軟件音視頻處理算法，以及網(wǎng)絡(luò)傳輸協(xié)議、音視頻編解碼、傳輸延時(shí)監(jiān)測(cè)等多媒體傳輸技術(shù)，云端還有設(shè)備注冊(cè)管理、多方視頻會(huì)議、PSTN落地、云監(jiān)控、云錄像、云直播等功能，從設(shè)備端、傳輸管道、再到云平臺(tái)的一站式設(shè)計(jì)服務(wù)。
因此，在智能監(jiān)控、機(jī)器人等物聯(lián)網(wǎng)市場(chǎng)，Mediawin平臺(tái)已經(jīng)擁有了成熟的合作案例， 比如奇虎360的智能攝像機(jī)，北京智能管家的布丁機(jī)器人，深圳市藍(lán)機(jī)器人科技的IONE機(jī)器人 等智能產(chǎn)品。
“千里眼”“順風(fēng)耳”沒(méi)那么簡(jiǎn)單，Mediawin背后解決了哪些技術(shù)難題
音視頻傳輸延遲嚴(yán)重不同步 ：迪韻科技首席技術(shù)官彭遠(yuǎn)疆說(shuō)道：“由于網(wǎng)絡(luò)環(huán)境的影響，音視頻數(shù)據(jù)包在網(wǎng)絡(luò)上傳輸會(huì)面臨各種挑戰(zhàn)。首先， 一般實(shí)時(shí)音視頻流采用UDP傳輸協(xié)議，容易發(fā)生丟包的情況 ，導(dǎo)致接收端花屏和語(yǔ)音失真。其次， 每一個(gè)數(shù)據(jù)包從發(fā)出到被接收的時(shí)間都是不一樣的，所以需要在接收端引入緩存機(jī)制。不過(guò)緩存越長(zhǎng)，抗網(wǎng)絡(luò)抖動(dòng)的效果自然越好，但是附加延時(shí)也會(huì)越大 ，采集端和接收端的時(shí)間差越明顯，在需要音視頻互動(dòng)的場(chǎng)景中體驗(yàn)效果非常差。最后， 由于網(wǎng)絡(luò)帶寬的限制，丟包率和卡頓概率都會(huì)急劇提高。 ”
網(wǎng)絡(luò)傳輸算法是“殺手锏” ： Mediawin平臺(tái)在RTP/RTCP傳輸協(xié)議的基礎(chǔ)上，建立了適合智能設(shè)備的流媒體網(wǎng)絡(luò)傳輸算法模型 ，通過(guò)對(duì)每一幀的發(fā)射/接收時(shí)間進(jìn)行統(tǒng)計(jì)分析，實(shí)時(shí)估算出當(dāng)前網(wǎng)絡(luò)的延時(shí)、丟包、帶寬等數(shù)據(jù)，并通過(guò)實(shí)時(shí)調(diào)整編碼碼率、緩沖長(zhǎng)度、重傳策略等，確保在各種復(fù)雜網(wǎng)絡(luò)環(huán)境下的均能保持良好的音視頻傳輸質(zhì)量。另外， 由于采用了國(guó)際標(biāo)準(zhǔn)的SIP/ONVIF接入?yún)f(xié)議和TLS/SRTP安全協(xié)議 ，Mediawin平臺(tái)不僅能接入各類(lèi)音視頻硬件，同時(shí)也為最終用戶提供了金融級(jí)的安全保障。
音視頻處理效果差，產(chǎn)品體驗(yàn)不佳 ：由于受到周?chē)匀画h(huán)境的影響，比如強(qiáng)光背景、低亮度環(huán)境、汽車(chē)噪聲、聲音反射等，硬件設(shè)備端采集到音視頻流需要經(jīng)過(guò)復(fù)雜的算法處理，才可能擁有較好的畫(huà)質(zhì)和音效。彭遠(yuǎn)疆表示：“ 音頻前端如回聲和混響消除、噪聲抑制、拾音音量自動(dòng)調(diào)節(jié)等算法均是難點(diǎn)。 如若涉及多人視頻， 還需要解決多人語(yǔ)音的混音、視頻混屏和切換的問(wèn)題，并且需要保障音頻和視頻的時(shí)間差低于300ms ，否則就會(huì)出現(xiàn)唇音不同步的現(xiàn)象。”
設(shè)備+云聯(lián)動(dòng)音視頻算法“殺手锏”： 深度優(yōu)化了底層的音視頻算法 ，比如音頻回聲消除、噪聲抑制、視頻降噪、白平衡控制、曝光控制等，在提升效果的同時(shí)還能夠適應(yīng)各種不同的軟硬件平臺(tái)。
不過(guò)，在音視頻處理的過(guò)程中，不可能將所有的算法都放在設(shè)備端，而應(yīng)該根據(jù)實(shí)際應(yīng)用情況，合理的分布在設(shè)備端和云端。彭遠(yuǎn)疆表示：“Mediawin的音視頻云平臺(tái) 采用了大規(guī)模的分布式網(wǎng)絡(luò)技術(shù)，可支持多人實(shí)時(shí)在線的大容量并發(fā)和拓展，集成降噪、混音、混屏、轉(zhuǎn)碼、人臉識(shí)別等各種音視頻處理算法，同時(shí)接入第三方功能，擴(kuò)充語(yǔ)音識(shí)別、語(yǔ)義理解、人工智能等服務(wù)。”