《大數(shù)據(jù)時代：生活、工作與思維的大變革》作者之一維克托·邁爾-舍恩伯格曾表示，如同望遠鏡讓人類能夠感知宇宙，顯微鏡讓人類能夠觀測微生物一樣，大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型。
大數(shù)據(jù)，可謂當下IT領域最時髦的詞，簡單說就是從各種數(shù)據(jù)中快速獲取價值信息的能力。
美國是最早發(fā)現(xiàn)和使用大數(shù)據(jù)科學價值的國家。2012年3月，奧巴馬政府宣布投資2億美元拉動大數(shù)據(jù)相關產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家戰(zhàn)略，奧巴馬政府甚至將大數(shù)據(jù)定義為“未來的新石油”。當時美國政府聲明說通過提高美國從大型復雜的數(shù)據(jù)集中提取知識和管理的能力，來加強整個國家的競爭力，這被認為是跟互聯(lián)網(wǎng)同一個級別的時代。顯然，大數(shù)據(jù)不止是一個詞匯，更是一門技術，是一個產(chǎn)業(yè)時代。
而中國作為世界上人口最多、GDP排名第二的國家，成立大數(shù)據(jù)國家隊是非常及時的。大數(shù)據(jù)的精髓在于“大”，它不是抽樣而是全樣，它不是盲人摸到的象腿或者是象鼻子，而是整個大象本身，大數(shù)據(jù)的精妙處在于用的人越多越增持，通過這樣一個模糊的宏觀判斷，能夠完成一個精準的個體推薦，從而會讓整個生產(chǎn)效率得到極大提高。
不過作為一個新生領域，盡管大數(shù)據(jù)意味著大機遇，擁有巨大的應用價值，但同時也遭遇工程技術、管理政策、人才培養(yǎng)、資金投入等諸多領域的大挑戰(zhàn)。只有解決這些基礎性的挑戰(zhàn)問題，才能充分利用這個大機遇，讓大數(shù)據(jù)為企業(yè)為社會充分發(fā)揮的最大價值與貢獻。
挑戰(zhàn)一：數(shù)據(jù)來源錯綜復雜
豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國數(shù)字化的數(shù)據(jù)資源總量遠遠低于美歐，每年新增數(shù)據(jù)量僅為美國的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠遠落后于國外。就已有有限的數(shù)據(jù)資源來說，還存在標準化、準確性、完整性低，利用價值不高的情況，這大大降低了數(shù)據(jù)的價值。
現(xiàn)如今，幾乎任何規(guī)模企業(yè)，每時每刻也都在產(chǎn)生大量的數(shù)據(jù)，但這些數(shù)據(jù)如何歸集、提煉始終是一個困擾。而大數(shù)據(jù)技術的意義確實不在于掌握規(guī)模龐大的數(shù)據(jù)信息，而在于對這些數(shù)據(jù)進行智能處理，從中分析和挖掘出有價值的信息，但前提是如何獲取大量有價值的數(shù)據(jù)。
未來，數(shù)據(jù)采集是一個很大的市場，因為分析的數(shù)據(jù)模型可以根據(jù)需求和思維做，但所有的前提是你的數(shù)據(jù)采集要準，現(xiàn)在的問題一個是采集不到，一個是采集錯了，還有一個是采集效率受到網(wǎng)絡帶寬限制，這幾個都做不到的話數(shù)據(jù)價值很難用起來。
大數(shù)據(jù)時代，我們需要更加全面的數(shù)據(jù)來提高分析預測的準確度，因此我們就需要更多便捷、廉價、自動的數(shù)據(jù)生產(chǎn)工具。除了我們在網(wǎng)上使用的瀏覽器有意或者無意記載著個人的信息數(shù)據(jù)之外，手機、智能手表、智能手環(huán)等各種可穿戴設備也在無時無刻地產(chǎn)生著數(shù)據(jù)；就連我們家里的路由器、電視機、空調(diào)、冰箱、飲水機、凈化器等也開始越來越智能并且具備了聯(lián)網(wǎng)功能，這些家用電器在更好地服務我們的同時，也在產(chǎn)生著大量的數(shù)據(jù)；甚至我們出去逛街，商戶的WIFI,運營商的3G網(wǎng)絡，無處不在的攝像頭電子眼，百貨大樓的自助屏幕，銀行的ATM，加油站以及遍布各個便利店的刷卡機等也都在產(chǎn)生著數(shù)據(jù)。
隨著移動互聯(lián)、云計算等技術的飛速發(fā)展，無論何時何地，手機等各種網(wǎng)絡入口以及無處不在的傳感器等，都會對個人數(shù)據(jù)進行采集、存儲、使用、分享，而這一切大都是在人們并不知曉的情況下發(fā)生。你的一舉一動、地理位置、甚至一天去過哪些地方，都會被記錄下來，成為海量無序數(shù)據(jù)中的一個數(shù)列，和其他數(shù)據(jù)進行整合分析。
比如，當你用手機掃描二維碼，并將其用微博轉(zhuǎn)發(fā)的時候，你的消費習慣、偏好，甚至你的社交圈子的信息，就已經(jīng)被商家的大數(shù)據(jù)分析工具捕獲。大數(shù)據(jù)平臺在提供服務的同時，也在時刻收集著用戶的各種個人信息：消費習慣、閱讀習慣甚至生活習慣。這些數(shù)據(jù)，一方面給人們帶來了諸多便利，但另一方面，由于數(shù)據(jù)的管理還存在漏洞，那些發(fā)布出去或存儲起來的海量信息，也很容易被監(jiān)視、被竊取。
大數(shù)據(jù)散發(fā)出不可估量的商業(yè)價值。但讓人感到不安的是，信息采集手段越來越高超、便捷和隱蔽，對公民個人信息的保護，無論在技術手段還是法律支撐都依然捉襟見肘。人們面臨的不僅是無休止的騷擾，更可能是各種犯罪行為的威脅。大數(shù)據(jù)時代，誰來保護公民的個人隱私？既是每個人都應當思考的問題，也是政府部門不可推卸的責任。