大數(shù)據(jù)技術(shù)和人類探索復(fù)雜性的努力有密切關(guān)系。20世紀(jì)70年代，新三論（耗散結(jié)構(gòu)論、協(xié)同論、突變論）的興起對幾百年來貫穿科學(xué)技術(shù)研究的還原論發(fā)起了挑戰(zhàn)。1984年蓋爾曼等3位諾貝爾獎得主成立以研究復(fù)雜性為主的圣菲研究所，提出超越還原論的口號，在科技界掀起了一場復(fù)雜性科學(xué)運(yùn)動。雖然雷聲很大，但30年來并未取得預(yù)期的效果，其原因之一可能是當(dāng)時還沒有出現(xiàn)解決復(fù)雜性的技術(shù)。
集成電路、計算機(jī)與通信技術(shù)的發(fā)展大大增強(qiáng)了人類研究和處理復(fù)雜問題的能力。大數(shù)據(jù)技術(shù)將復(fù)雜性科學(xué)的新思想發(fā)揚(yáng)光大，可能使復(fù)雜性科學(xué)得以落地。復(fù)雜性科學(xué)是大數(shù)據(jù)技術(shù)的科學(xué)基礎(chǔ)，大數(shù)據(jù)方法可以看作復(fù)雜性科學(xué)的技術(shù)實現(xiàn)。大數(shù)據(jù)方法為還原論與整體論的辯證統(tǒng)一提供了技術(shù)實現(xiàn)途徑。大數(shù)據(jù)研究要從復(fù)雜性研究中吸取營養(yǎng)，從事數(shù)據(jù)科學(xué)研究的學(xué)者不但要了解20世紀(jì)的“新三論”，可能還要學(xué)習(xí)與超循環(huán)、混沌、分形和元胞自動機(jī)等理論有關(guān)的知識，擴(kuò)大自己的視野，加深對大數(shù)據(jù)機(jī)理的理解。
大數(shù)據(jù)技術(shù)還不成熟，面對海量、異構(gòu)、動態(tài)變化的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理和分析技術(shù)難以應(yīng)對，現(xiàn)有的數(shù)據(jù)處理系統(tǒng)實現(xiàn)大數(shù)據(jù)應(yīng)用的效率較低，成本和能耗較大，而且難以擴(kuò)展。這些挑戰(zhàn)大多來自數(shù)據(jù)本身的復(fù)雜性、計算的復(fù)雜性和信息系統(tǒng)的復(fù)雜性。
4.1 數(shù)據(jù)復(fù)雜性引起的挑戰(zhàn)
圖文檢索、主題發(fā)現(xiàn)、語義分析、情感分析等數(shù)據(jù)分析工作十分困難，其原因是大數(shù)據(jù)涉及復(fù)雜的類型、復(fù)雜的結(jié)構(gòu)和復(fù)雜的模式，數(shù)據(jù)本身具有很高的復(fù)雜性。目前，人們對大數(shù)據(jù)背后的物理意義缺乏理解，對數(shù)據(jù)之間的關(guān)聯(lián)規(guī)律認(rèn)識不足，對大數(shù)據(jù)的復(fù)雜性和計算復(fù)雜性的內(nèi)在聯(lián)系也缺乏深刻理解，領(lǐng)域知識的缺乏制約了人們對大數(shù)據(jù)模型的發(fā)現(xiàn)和高效計算方法的設(shè)計。形式化或定量化地描述大數(shù)據(jù)復(fù)雜性的本質(zhì)特征及度量指標(biāo)，需要深入研究數(shù)據(jù)復(fù)雜性的內(nèi)在機(jī)理。人腦的復(fù)雜性主要體現(xiàn)在千萬億級的樹突和軸突的鏈接，大數(shù)據(jù)的復(fù)雜性主要也體現(xiàn)在數(shù)據(jù)之間的相互關(guān)聯(lián)。理解數(shù)據(jù)之間關(guān)聯(lián)的奧秘可能是揭示微觀到宏觀“涌現(xiàn)”規(guī)律的突破口。大數(shù)據(jù)復(fù)雜性規(guī)律的研究有助于理解大數(shù)據(jù)復(fù)雜模式的本質(zhì)特征和生成機(jī)理，從而簡化大數(shù)據(jù)的表征，獲取更好的知識抽象。為此，需要建立多模態(tài)關(guān)聯(lián)關(guān)系下的數(shù)據(jù)分布理論和模型，理清數(shù)據(jù)復(fù)雜度和計算復(fù)雜度之間的內(nèi)在聯(lián)系，奠定大數(shù)據(jù)計算的理論基礎(chǔ)。
4.2 計算復(fù)雜性引起的挑戰(zhàn)
大數(shù)據(jù)計算不能像處理小樣本數(shù)據(jù)集那樣做全局?jǐn)?shù)據(jù)的統(tǒng)計分析和迭代計算，在分析大數(shù)據(jù)時，需要重新審視和研究它的可計算性、計算復(fù)雜性和求解算法。大數(shù)據(jù)樣本量巨大，內(nèi)在關(guān)聯(lián)密切而復(fù)雜，價值密度分布極不均衡，這些特征對建立大數(shù)據(jù)計算范式提出了挑戰(zhàn)。對于PB級的數(shù)據(jù)，即使只有線性復(fù)雜性的計算也難以實現(xiàn)，而且，由于數(shù)據(jù)分布的稀疏性，可能做了許多無效計算。
傳統(tǒng)的計算復(fù)雜度是指某個問題求解時需要的時間空間與問題規(guī)模的函數(shù)關(guān)系，所謂具有多項式復(fù)雜性的算法是指當(dāng)問題的規(guī)模增大時，計算時間和空間的增長速度在可容忍的范圍內(nèi)。傳統(tǒng)科學(xué)計算關(guān)注的重點是，針對給定規(guī)模的問題，如何“算得快”。而在大數(shù)據(jù)應(yīng)用中，尤其是流式計算中，往往對數(shù)據(jù)處理和分析的時間、空間有明確限制，比如網(wǎng)絡(luò)服務(wù)如果回應(yīng)時間超過幾秒甚至幾毫秒，就會丟失許多用戶。大數(shù)據(jù)應(yīng)用本質(zhì)上是在給定的時間、空間限制下，如何“算得多”。從“算得快”到“算得多”，考慮計算復(fù)雜性的思維邏輯有很大的轉(zhuǎn)變。所謂“算得多”并不是計算的數(shù)據(jù)量越大越好，需要探索從足夠多的數(shù)據(jù)，到剛剛好的數(shù)據(jù)，再到有價值的數(shù)據(jù)的按需約簡方法。
基于大數(shù)據(jù)求解困難問題的一條思路是放棄通用解，針對特殊的限制條件求具體問題的解。人類的認(rèn)知問題一般都是NP難問題，但只要數(shù)據(jù)充分多，在限制條件下可以找到十分滿意的解，近幾年自動駕駛汽車取得重大進(jìn)展就是很好的案例。為了降低計算量，需要研究基于自舉和采樣的局部計算和近似方法，提出不依賴于全量數(shù)據(jù)的新型算法理論，研究適應(yīng)大數(shù)據(jù)的非確定性算法等理論。
4.3 系統(tǒng)復(fù)雜性引起的挑戰(zhàn)
大數(shù)據(jù)對計算機(jī)系統(tǒng)的運(yùn)行效率和能耗提出了苛刻要求，大數(shù)據(jù)處理系統(tǒng)的效能評價與優(yōu)化問題具有挑戰(zhàn)性，不但要求理清大數(shù)據(jù)的計算復(fù)雜性與系統(tǒng)效率、能耗間的關(guān)系，還要綜合度量系統(tǒng)的吞吐率、并行處理能力、作業(yè)計算精度、作業(yè)單位能耗等多種效能因素。針對大數(shù)據(jù)的價值稀疏性和訪問弱局部性的特點，需要研究大數(shù)據(jù)的分布式存儲和處理架構(gòu)。