2015年12月10-12日，由中國計(jì)算機(jī)學(xué)會(CCF)主辦，CCF大數(shù)據(jù)專家委員會承辦，中國科學(xué)院計(jì)算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦，以“數(shù)據(jù)安全、深度分析、行業(yè)應(yīng)用”為主題的2015中國大數(shù)據(jù)技術(shù)大會(Big Data Technology Conference 2015，BDTC 2015)在北京新云南皇冠假日酒店盛大開幕。
2015中國大數(shù)據(jù)技術(shù)大會首日全體會議下午場在螞蟻金融服務(wù)集團(tuán)安全智能部總監(jiān)、CCF大數(shù)據(jù)專家委員會委員陳繼東的主持下正式開始。 中國工程院院士高文帶來了名為“多媒體大數(shù)據(jù)分析與搜索”的主題演講，深度剖析媒體大數(shù)據(jù)的存不下、看不清、找不到的三大技術(shù)挑戰(zhàn)問題，以及解決方案，分別為：超高效視頻編碼解決壓縮問題，在視頻編碼工具中引入場景模型，獲取更好的編碼效率;以面向?qū)ο髾z測、跟蹤與識別解決模式識別問題，支持ROI、GPS和多攝像機(jī)關(guān)聯(lián);以大規(guī)模視覺搜索解決跨攝像頭搜索問題，制訂新視覺描述子標(biāo)準(zhǔn)來支持有效搜索。高文表示，當(dāng)前，智能城市媒體大數(shù)據(jù)方面的研究才剛起步，個人大數(shù)據(jù)方面的研究將更具挑戰(zhàn)性，我們需要在數(shù)據(jù)科學(xué)的各個方面進(jìn)一步努力，協(xié)同創(chuàng)新。
中國工程院院士 高文
以下為演講實(shí)錄
高文：
現(xiàn)代社會中，大數(shù)據(jù)來源豐富，更直接讓交通、醫(yī)療衛(wèi)生、教育、安全等發(fā)生變化，而在智慧城體系中，監(jiān)控視頻是體量最大的大數(shù)據(jù)。基于此，今天，我主要分享媒體大數(shù)據(jù)的三個挑戰(zhàn)問題。第一，存不下，24小時產(chǎn)生的數(shù)據(jù)量積累得很大。第二，看不清，用眼睛看，橫看豎看，還是看不清楚，可能有時候都要猜來猜去，還需要很有經(jīng)驗(yàn)的人才能看出來大概。為什么?存的時候做了壓縮，壓縮時不知將來作何用，為了節(jié)省存儲量，壓得太狠了，再把它解開時基本看不清。第三，找不到?，F(xiàn)在攝像頭到處都是，攝像頭拍到了，但是不是想要找的?不知道，即使看清楚了，一跨攝像頭也就找不到了。所以攝像機(jī)網(wǎng)絡(luò)跨攝像頭搜索問題也是個難題。
一、存不下：視頻壓縮率增長<<數(shù)據(jù)量增長，超高效視頻編碼解決壓縮問題。
第一個挑戰(zhàn)，我們想辦法找到最高效的編碼來應(yīng)對這個挑戰(zhàn)。視頻流是圖像序列，在每個單獨(dú)的圖像里是有冗余的，通常這個冗余我們把它叫作“空間冗余”。相鄰的像素或相鄰的圖像塊會有一些相關(guān)性，這些相關(guān)性即是“冗余”，這種冗余可以通過濾波器的算法進(jìn)行估算。如果參數(shù)對了，就可以用它去做預(yù)測，繼而找到一些更簡潔的表達(dá)方式，使得你表達(dá)信息不需要那么多比特就可以壓縮了，這就是空間冗余。
其次是時間冗余，即一個圖像序列，第一幀和第二幀有很多是連續(xù)的，背景幾乎是一樣的，它有很多東西是重復(fù)的，這個重復(fù)的就是冗余，我們管它叫“時間冗余”。第三種是感知冗余，這個是為了大眾化一點(diǎn)才這么講，行業(yè)里的人把它叫“編碼冗余”，比如26個字母要表達(dá)，怎么表達(dá)?給出8個bit或7bit，每個字母給的bit是一樣的，學(xué)計(jì)算機(jī)的人都知道這種分法是不科學(xué)的，應(yīng)該怎么分?按照它的信息熵來分，圖像也是一樣，每個像素表達(dá)的亮度、顏色在每類里分布不均勻，最好把出現(xiàn)概率高的那些單體給它比較短的碼，把出現(xiàn)概率低的給長碼，統(tǒng)計(jì)上面就會比較合理，對此我們稱之為“熵編碼”。如果這三種用好了，就有辦法把圖像或視頻完美地壓縮下去。
現(xiàn)在圖像壓縮實(shí)際達(dá)到的現(xiàn)狀和理論上到底有多大差別?很大，但同時空間也很大。到現(xiàn)在為止，不管是多好的編碼技術(shù)，離理論上限大概還有百分之八九十的空間可以改進(jìn)，因?yàn)槲覀償?shù)學(xué)上很容易證明理論上限，若干個上限中我可以取最低的上限，就很容易計(jì)算出有多大空間可以繼續(xù)改進(jìn)。這就是為什么視頻編碼領(lǐng)域這些年還在不停地發(fā)展，并且，每十年編碼效率就會提高1倍。
視頻壓縮效率“倍增定律”
在這樣每十年翻一番的情況下，到底什么東西改變了?其實(shí)是算法更復(fù)雜了，很多靠計(jì)算的復(fù)雜度換取了編碼的效率。當(dāng)然，這里有很多新的算法，以前因?yàn)橛布容^貴，不能讓編碼的器件成本太高，所以有些算法還行，只要算法太復(fù)雜就基本不用?，F(xiàn)在不在乎這個，因?yàn)榧呻娐钒l(fā)展以后，復(fù)雜點(diǎn)就復(fù)雜點(diǎn)吧，只要你想得出來，時限上不會在給定時間內(nèi)完不成，算法愈來愈多，編碼放進(jìn)去后視頻效果會越來越好。針對監(jiān)控視頻我們會有更好的方法，使得它的效率可以做得更高。