大數(shù)據(jù)加上機(jī)器學(xué)習(xí)，代表了軟件產(chǎn)業(yè)一個新時代來臨：不再是人寫軟件，而是數(shù)據(jù)加算法，在數(shù)字化之后，以計(jì)算機(jī)驅(qū)動，用光速來推進(jìn)人類社會。
微軟亞洲研究院常務(wù)副院長 馬維英
大數(shù)據(jù)不是一個單一的現(xiàn)象，在過去5～10年，借著越來越強(qiáng)大的計(jì)算能力，加上知識挖掘等算法上的突飛猛進(jìn)，我們可以構(gòu)建更大的模型。
我們都知道，其實(shí)很多的人工智能、機(jī)器智能，或者驅(qū)動一個數(shù)字世界的自動化，都需要模型。在過去的很長一段時間內(nèi)，這些模型因?yàn)閿?shù)據(jù)的不足，通常只能做一些小的模型或者淺的模型，但特別在過去的兩三年里，在機(jī)器學(xué)習(xí)領(lǐng)域有了突飛猛進(jìn)的發(fā)展，可以構(gòu)建更大、更深度的模型。
另外是知識挖掘，知識挖掘是怎樣在互聯(lián)網(wǎng)上大規(guī)模進(jìn)行的？在這些結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)中構(gòu)建人類最完整的知識表達(dá)，一旦我們掌握了這樣的表達(dá)，我們就可以對很多的數(shù)據(jù)做更深度的理解。
軟件產(chǎn)業(yè)新時代
微軟為什么看重大數(shù)據(jù)？微軟是從一家軟件企業(yè)開始的，在30年前，微軟就知道軟件會改變?nèi)澜?，軟件幾乎可以做所有的事情。但今天，軟件的時代已經(jīng)不一樣了。過去是程序員寫，接下來的軟件是靠數(shù)據(jù)，靠機(jī)器學(xué)習(xí)，自動寫出軟件。這意味著什么？當(dāng)你擁有更大的數(shù)據(jù)的時候，軟件就更強(qiáng)大，軟件的性能就更好。大數(shù)據(jù)加上機(jī)器學(xué)習(xí)，這代表了軟件產(chǎn)業(yè)一個新時代來臨：不再是人寫軟件，是數(shù)據(jù)加算法，在數(shù)字化之后，以計(jì)算機(jī)驅(qū)動，用光速來推進(jìn)我們?nèi)祟惿鐣姆椒矫婷?。因?yàn)槎际强繑?shù)據(jù)和算法，我們能夠產(chǎn)生一個非常大的一個信息量，所以我們看重下一代所有的應(yīng)用和服務(wù)。
今天，為什么各個大公司都在不斷地在人才、技術(shù)方面大量投入？就是因?yàn)槲覀円呀?jīng)在過去的幾年不斷地對這些數(shù)據(jù)進(jìn)行加工，我們已經(jīng)越來越接近從數(shù)據(jù)到信息，到知識到科技。
語音識別過去十幾年一直沒有突破，但就在這兩年實(shí)現(xiàn)了很大進(jìn)展。其中重要原因就是因?yàn)橛幸环N新的機(jī)器學(xué)習(xí)，可以從數(shù)據(jù)里面學(xué)表達(dá)方式，做很多模式識別。大家知道做影像、語音等最難的是怎么找出特征向量表示數(shù)據(jù)，過去的二三十年的研究都在研究怎么找特征，大數(shù)據(jù)來到的時候我們發(fā)現(xiàn)，特征也可以直接從數(shù)據(jù)去學(xué)。而且在這個過程中我們發(fā)現(xiàn)一個非常有趣的現(xiàn)象，就是越大的數(shù)據(jù)表達(dá)方式越好。因?yàn)閿?shù)據(jù)大，信息就增加，所以技術(shù)上的突破就是計(jì)算能力和數(shù)據(jù)大了，而且自動學(xué)出來的發(fā)現(xiàn)比過去人設(shè)計(jì)的特征向量更好。
大數(shù)據(jù)的城市應(yīng)用
今天的技術(shù)非常令人興奮，但今天很多城市里面的數(shù)據(jù)都是很低階的，這么大的數(shù)據(jù)如何表達(dá)？今天深度學(xué)習(xí)、機(jī)器學(xué)習(xí)帶來了革命性的機(jī)會。過去兩年我們也把這樣的機(jī)器學(xué)習(xí)開始應(yīng)用在城市，所以微軟有一個城市計(jì)算的項(xiàng)目。在北京，我們收集了很多方面跟城市有關(guān)的數(shù)據(jù)，例如北京交通路網(wǎng)的數(shù)據(jù)、北京商業(yè)各方面的歷年數(shù)據(jù)，我們可以發(fā)現(xiàn)很多現(xiàn)象，比如北京過去10年酒吧在哪里越來越多，電影院也在一些地方增加了，這些其實(shí)代表了這個城市的發(fā)展。還有空氣的數(shù)據(jù)、氣象的數(shù)據(jù)等。我們還搜集了北京的30000輛出租車，特別裝有定位系統(tǒng)的數(shù)據(jù)，這樣便可以用出租車當(dāng)做傳感器實(shí)時檢測城市的脈動，甚至交通的狀況，可以算出更好的開車路徑。
過去兩年，微軟與北京市政府及中國的高校合作，在城市計(jì)算這一領(lǐng)域?qū)崿F(xiàn)了很多科研成果。大數(shù)據(jù)可以分析城市問題，改善城市規(guī)劃。
空氣質(zhì)量是今天的城市居民最關(guān)注的一個話題。北京這么大規(guī)模的城市，現(xiàn)在只有15個空氣檢測站點(diǎn)，非常稀疏，每個站點(diǎn)的投入和花費(fèi)與運(yùn)營非常高。這些站點(diǎn)在任何時刻給的數(shù)據(jù)都是非常不一樣的，說明一個城市里面空氣質(zhì)量分布是不均勻的。今天我們的問題是能不能用大數(shù)據(jù)，用機(jī)器學(xué)習(xí)的方法預(yù)測那些沒有空氣站點(diǎn)的地點(diǎn)的空氣質(zhì)量。我們也利用了大數(shù)據(jù)把歷史上所有這些我們可以收集到的，關(guān)于偵測帶里的歷史的數(shù)據(jù)、氣象數(shù)據(jù)、交通數(shù)據(jù)、人員流動等數(shù)據(jù)，建一個非常大的模型，包含空間和時間的預(yù)測，能夠在有限的15個站點(diǎn)之上，進(jìn)一步預(yù)測所有的位置。這就是大數(shù)據(jù)在智能城市里的應(yīng)用，其中既有數(shù)據(jù)分析，而且是海量和一致性的數(shù)據(jù)。