比如,Google大約管理著超過50萬臺(tái)服務(wù)器和100萬塊硬盤,而且Google還在不斷的擴(kuò)大計(jì)算能力和存儲(chǔ)能力,其中很多的擴(kuò)展都是基于在廉價(jià)服務(wù)器和普通存儲(chǔ)硬盤的基礎(chǔ)上進(jìn)行的,這大大降低了其服務(wù)成本,因此可以將更多的資金投入到技術(shù)的研發(fā)當(dāng)中。
以Amazon舉例,Amazon S3 是一種面向 Internet 的存儲(chǔ)服務(wù)。該服務(wù)旨在讓開發(fā)人員能更輕松的進(jìn)行網(wǎng)絡(luò)規(guī)模計(jì)算。Amazon S3 提供一個(gè)簡(jiǎn)明的 Web 服務(wù)界面,用戶可通過它隨時(shí)在 Web 上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)。 此服務(wù)讓所有開發(fā)人員都能訪問同一個(gè)具備高擴(kuò)展性、可靠性、安全性和快速價(jià)廉的基礎(chǔ)設(shè)施,Amazon 用它來運(yùn)行其全球的網(wǎng)站網(wǎng)絡(luò)。再看看S3的設(shè)計(jì)指標(biāo):在特定年度內(nèi)為數(shù)據(jù)元提供 99.999999999% 的耐久性和 99.99% 的可用性,并能夠承受兩個(gè)設(shè)施中的數(shù)據(jù)同時(shí)丟失。
S3很成功也確實(shí)卓有成效,S3云的存儲(chǔ)對(duì)象已達(dá)到萬億級(jí)別,而且性能表現(xiàn)相當(dāng)良好。S3云已經(jīng)擁萬億跨地域存儲(chǔ)對(duì)象,同時(shí)AWS的對(duì)象執(zhí)行請(qǐng)求也達(dá)到百萬的峰值數(shù)量。目前全球范圍內(nèi)已經(jīng)有數(shù)以十萬計(jì)的企業(yè)在通過AWS運(yùn)行自己的全部或者部分日常業(yè)務(wù)。這些企業(yè)用戶遍布190多個(gè)國(guó)家,幾乎世界上的每個(gè)角落都有Amazon用戶的身影。
此外,云創(chuàng)大數(shù)據(jù)的cStor云存儲(chǔ)系統(tǒng)采用了先進(jìn)的云計(jì)算技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及分布式文件系統(tǒng)技術(shù),將硬件存儲(chǔ)節(jié)點(diǎn)組織管理起來,以提供高性能、高可靠的存儲(chǔ)?;诖耍琧Stor A8000云存儲(chǔ)系統(tǒng)一體機(jī)集中供電、集中散熱,每個(gè)機(jī)架最大可搭載總存儲(chǔ)容量高達(dá)3.8PB,但整體功耗卻比傳統(tǒng)方式節(jié)省10倍,全面展現(xiàn)了新一代高密度云存儲(chǔ)產(chǎn)品的高容量、高性能以及節(jié)能環(huán)保的綠色魅力,已經(jīng)廣泛用于電信、平安城市等多個(gè)領(lǐng)域的海量數(shù)據(jù)存儲(chǔ)與處理。
感知技術(shù)
大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù),指紋識(shí)別技術(shù),RFID技術(shù),坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設(shè)備、汽車、電表上有著無數(shù)的數(shù)碼傳感器,隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化,都會(huì)產(chǎn)生海量的數(shù)據(jù)信息。
而隨著智能手機(jī)的普及,感知技術(shù)可謂迎來了發(fā)展的高峰期,除了地理位置信息被廣泛的應(yīng)用外,一些新的感知手段也開始登上舞臺(tái),比如,最新的”iPhone 5S”在home鍵內(nèi)嵌指紋傳感器,新型手機(jī)可通過呼氣直接檢測(cè)燃燒脂肪量,用于手機(jī)的嗅覺傳感器面世可以監(jiān)測(cè)從空氣污染到危險(xiǎn)的化學(xué)藥品,微軟正在研發(fā)可感知用戶當(dāng)前心情智能手機(jī)技術(shù),谷歌眼鏡InSight新技術(shù)可通過衣著進(jìn)行人物識(shí)別。
除此之外,還有很多與感知相關(guān)的技術(shù)革新讓我們耳目一新:比如,牙齒傳感器實(shí)時(shí)監(jiān)控口腔活動(dòng)及飲食狀況,嬰兒穿戴設(shè)備可用大數(shù)據(jù)去養(yǎng)育寶寶,Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒,日本公司開發(fā)新型可監(jiān)控用戶心率的紡織材料,業(yè)界正在嘗試將生物測(cè)定技術(shù)引入支付領(lǐng)域等。
其實(shí),這些感知被逐漸捕獲的過程就是就世界被數(shù)據(jù)化的過程,一旦世界被完全數(shù)據(jù)化了,那么世界的本質(zhì)也就是信息了。
就像一句名言所說,“人類以前延續(xù)的是文明,現(xiàn)在傳承的是信息。”
大數(shù)據(jù)的實(shí)踐
互聯(lián)網(wǎng)的大數(shù)據(jù)
互聯(lián)網(wǎng)上的數(shù)據(jù)每年增長(zhǎng)50%,每?jī)赡瓯銓⒎环?,而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。據(jù)IDC預(yù)測(cè),到2020年全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量?;ヂ?lián)網(wǎng)是大數(shù)據(jù)發(fā)展的前哨陣地,隨著WEB2.0時(shí)代的發(fā)展,人們似乎都習(xí)慣了將自己的生活通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)化,方便分享以及記錄并回憶。
互聯(lián)網(wǎng)上的大數(shù)據(jù)很難清晰的界定分類界限,我們先看看BAT的大數(shù)據(jù):
百度擁有兩種類型的大數(shù)據(jù):用戶搜索表征的需求數(shù)據(jù);爬蟲和阿拉丁獲取的公共web數(shù)據(jù)。搜索巨頭百度圍繞數(shù)據(jù)而生。它對(duì)網(wǎng)頁數(shù)據(jù)的爬取、網(wǎng)頁內(nèi)容的組織和解析,通過語義分析對(duì)搜索需求的精準(zhǔn)理解進(jìn)而從海量數(shù)據(jù)中找準(zhǔn)結(jié)果,以及精準(zhǔn)的搜索引擎關(guān)鍵字廣告,實(shí)質(zhì)上就是一個(gè)數(shù)據(jù)的獲取、組織、分析和挖掘的過程。搜索引擎在大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)有:更多的暗網(wǎng)數(shù)據(jù);更多的WEB化但是沒有結(jié)構(gòu)化的數(shù)據(jù);更多的WEB化、結(jié)構(gòu)化但是封閉的數(shù)據(jù)。
阿里巴巴擁有交易數(shù)據(jù)和信用數(shù)據(jù)。這兩種數(shù)據(jù)更容易變現(xiàn),挖掘出商業(yè)價(jià)值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數(shù)據(jù)、移動(dòng)數(shù)據(jù)。如微博和高德。