一.迎接大數(shù)據(jù)時代
如果你的網(wǎng)站擁有數(shù)以千萬計的活躍用戶，如果網(wǎng)站上擁有數(shù)以百計的產(chǎn)品服務，如果這些服務以多媒體的形式在多個網(wǎng)絡終端上運行，如果正在或者打算嘗試走向云計算和WEB2.0架構(gòu)，那就恭喜你了，因為你已經(jīng)不知不覺地成為大數(shù)據(jù)時代的先行者或受害者。
按照維基百科上的定義，所謂“大數(shù)據(jù)”（big data）在當今的互聯(lián)網(wǎng)業(yè)指的是這樣一種現(xiàn)象：一個網(wǎng)絡公司日常運營所生成和積累用戶網(wǎng)絡行為數(shù)據(jù)“增長如此之快，以至于難以使用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭，困難存在于數(shù)據(jù)的獲取，存儲，搜索，共享，分析和可視化等方面。”這些數(shù)據(jù)量是如此之大，已經(jīng)不是以我們所熟知的多少G和多少T為單位來衡量，而是以P（1000個T），E（一百萬個T）或Z（10億個T）為計量單位，所以稱之為大數(shù)據(jù)。
大數(shù)據(jù)現(xiàn)象在物理學，生物學，環(huán)境生態(tài)學，自動控制等科學領(lǐng)域和軍事，通訊，金融等行業(yè)已經(jīng)存在有些時日了，在互聯(lián)網(wǎng)業(yè)出現(xiàn)卻是近年來才逐漸引人注目的。這可以歸結(jié)為三個基本原因。第一，網(wǎng)絡用戶的高速增長和用戶平均網(wǎng)絡使用時間的不斷延長，這使得用戶網(wǎng)絡行為數(shù)據(jù)大增；第二，網(wǎng)絡服務從單一的文字形式走向圖片，語音和影像等多媒體形式，導致數(shù)據(jù)量大增；第三，網(wǎng)絡終端由過去的單一臺式機變?yōu)榕_式機，平板電腦，書刊閱讀器，手機和電視等多終端，大大擴充了網(wǎng)絡服務的內(nèi)容與范圍，大大提高了用戶對互聯(lián)網(wǎng)的依賴度，也就大大增加了數(shù)據(jù)量。
大數(shù)據(jù)的出現(xiàn)既為網(wǎng)絡業(yè)帶來了機遇也帶來了挑戰(zhàn)。從潛在的機會看，數(shù)據(jù)量的增加為網(wǎng)絡公司提供了精確把握用戶群體和個體網(wǎng)絡行為模式的基礎，如果能夠充分利用，就可以探索個人化，個性化，精確化和智能化地進行廣告推送和服務推廣服務，創(chuàng)立比現(xiàn)有廣告和產(chǎn)品推廣形式性價比高數(shù)倍甚至數(shù)十倍的全新商業(yè)模式。同時，網(wǎng)絡公司也可以通過對大數(shù)據(jù)的把握，尋找更多更好地增加用戶粘性，開發(fā)新產(chǎn)品和新服務，降低運營成本的方法和途徑。從現(xiàn)實的挑戰(zhàn)看，主要集中在以下三個方面。
首先，大數(shù)據(jù)挑戰(zhàn)著網(wǎng)絡公司的戰(zhàn)略決策能力。數(shù)據(jù)量的急劇增長不僅要求在帶寬和存儲設備等基礎設施方面要增加大量投入，而且使網(wǎng)絡公司處于進退兩難的境地。如果采取無所作為，固守原狀的鴕鳥政策，那就可能失去未來發(fā)展的機會，失去業(yè)內(nèi)競爭的本錢，早晚會被產(chǎn)業(yè)淘汰或者居于下游；如果與時俱進，轉(zhuǎn)型適應大數(shù)據(jù)時代的到來，那就需要對公司的現(xiàn)有產(chǎn)品和運營體系進行全面的改造，例如網(wǎng)站架構(gòu)的重建；產(chǎn)品的通用化，標準化，模塊化；商業(yè)模式的創(chuàng)新；等等。這對絕大多數(shù)網(wǎng)絡公司而言，既要維持現(xiàn)有業(yè)務，保持業(yè)績的穩(wěn)定和增長，又要加大投入，迅速轉(zhuǎn)型，是個進退維谷的兩難處境。
其次，大數(shù)據(jù)挑戰(zhàn)著網(wǎng)絡公司的技術(shù)開發(fā)和數(shù)據(jù)處理能力。大數(shù)據(jù)的出現(xiàn)以及潛在的商業(yè)價值不僅要求網(wǎng)絡公司使用專門的數(shù)據(jù)庫技術(shù)和專用的數(shù)據(jù)存儲設備，而且更要求專門的數(shù)據(jù)分析方法和使用體系。目前業(yè)內(nèi)流行的一般數(shù)據(jù)挖掘方法和通用商業(yè)數(shù)據(jù)庫無法滿足大數(shù)據(jù)時代的挑戰(zhàn)。而且，網(wǎng)絡公司需要大量高端專業(yè)人才，這不僅指一般的程序員和數(shù)據(jù)庫工程師，而且指天體物理學家，生態(tài)學家，數(shù)學和統(tǒng)計學家，社會網(wǎng)絡學家，社會行為心理學家，等等。對海量數(shù)據(jù)的分析不能僅僅局限在一般數(shù)據(jù)規(guī)律和模型的把握水平上，而且要有理論思維和全面把握的綜合深入能力。
第三，大數(shù)據(jù)挑戰(zhàn)著網(wǎng)絡公司的組織和運營能力。一般中小網(wǎng)絡公司都沒有專門的數(shù)據(jù)管理和分析專家，即使是大型網(wǎng)絡公司中，數(shù)據(jù)管理和分析部門也處于分散，被動，輔助的地位，是公司的龍尾而不是龍頭。大數(shù)據(jù)時代的數(shù)據(jù)分析基本單位是個人用戶，尋找的是個人的全面，完整，動態(tài)，實時的網(wǎng)絡行為模式以及在此基礎上歸納出來的群體行為模式，而不是過去那種基于單個產(chǎn)品，服務，頻道的碎片式靜態(tài)統(tǒng)計分析。所以，對大數(shù)據(jù)的整體把握是網(wǎng)絡公司產(chǎn)品開發(fā)，運營設置，商業(yè)模式的基礎和出發(fā)點，是龍頭而不是龍尾。這就需要對現(xiàn)有公司架構(gòu)，組織體系，資源配置和權(quán)力結(jié)構(gòu)進行重組，讓數(shù)據(jù)管理與分析部門處于公司整體的上游位置。重組成功的標志之一就是公司設立首席數(shù)據(jù)官（Chief Data Officer, CDO）的職位，與CEO, COO, CFO, CTO等一道組成公司核心決策層。