所有科學(xué)都在迅速變成所謂的“數(shù)據(jù)科學(xué)”。如今的研究人員,不論來(lái)自理工農(nóng)醫(yī)、甚至是人文學(xué)科,都時(shí)常在浩瀚的數(shù)據(jù)汪洋中感到窒息。為了從巨量數(shù)據(jù)中找到可用之物,并將它們轉(zhuǎn)化成有價(jià)值的東西,越來(lái)越多的研究人員開(kāi)始在數(shù)據(jù)的科學(xué)中摸索,而學(xué)習(xí)的途徑有很多。
“學(xué)習(xí)從數(shù)據(jù)中找到有用信息,發(fā)現(xiàn)其中的矛盾與無(wú)常、并且知道如何處置,就和在物理實(shí)驗(yàn)室學(xué)習(xí)儀器操作一樣,是一種動(dòng)手能力。”
——格雷格·威爾遜
莎拉·利奧布曼(Sarah Loebman)是華盛頓大學(xué)天文學(xué)系一名研究銀河系演化的博士生。和她一同工作的兩個(gè)團(tuán)隊(duì),一個(gè)負(fù)責(zé)夜觀天相,另一個(gè)進(jìn)行高分辨率計(jì)算機(jī)模擬。兩個(gè)團(tuán)隊(duì)都在與浩如煙海的數(shù)據(jù)搏斗。”從前,我每天大部分時(shí)間都在往電腦上傳數(shù)據(jù)。”她說(shuō)道。
當(dāng)物理系同事從NASA得到一筆經(jīng)費(fèi),研究怎樣將數(shù)據(jù)庫(kù)技術(shù)應(yīng)用到天文學(xué)時(shí),莎拉和計(jì)算機(jī)系的同仁加入了他的項(xiàng)目。她想看看自己還能拿那堆不聽(tīng)話的數(shù)據(jù)怎么辦。薩拉做的第一件事情,是報(bào)讀了一門研究生的《數(shù)據(jù)庫(kù)管理系統(tǒng)》。這改變了她對(duì)自己工作的看法。“數(shù)據(jù)庫(kù)使我不再只拘泥于某一個(gè)時(shí)刻的模擬結(jié)果。”很快,她開(kāi)始幫助其他同事處理數(shù)據(jù),并優(yōu)化他們的工作程序。
NASA
2009年,莎拉發(fā)表了論文《Pig/Hadoop和關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)能幫助我們分析巨量的天體物理學(xué)數(shù)據(jù)嗎?》。她即將在密歇根大學(xué)安娜堡分校開(kāi)始博士后研究,在她看來(lái),是跨學(xué)科的研究成果幫她得到了這個(gè)機(jī)會(huì)。
變革將至
埃德·拉佐沃斯卡(Ed Lazowska)是華盛頓大學(xué)“比爾和梅琳達(dá)·蓋茨-計(jì)算機(jī)科學(xué)與工程基金會(huì)”的主席。埃德認(rèn)為,數(shù)據(jù)驅(qū)動(dòng)型的發(fā)現(xiàn)將成為一種常態(tài)。一個(gè)新環(huán)境將造就出許多利奧布曼一樣,既在自己的領(lǐng)域有所專長(zhǎng),又能熟練應(yīng)用數(shù)據(jù)科學(xué)的研究人員,并使他們從中獲益。他將這些人稱作“π型人才”,有兩條分屬不同領(lǐng)域的健全腿腳支撐他們前進(jìn)。
“所有科學(xué)都在迅速變成所謂的‘?dāng)?shù)據(jù)科學(xué)’。”華盛頓大學(xué)信息科學(xué)研究所的比爾·豪(Bill Howe)說(shuō)道。今日的基因測(cè)序儀、望遠(yuǎn)鏡、林冠層、道橋、建筑和POS終端上,都可以安裝傳感器,蟻穴中的每一只螞蟻都能被做上標(biāo)記。真正的挑戰(zhàn),在于從浩瀚的數(shù)據(jù)汪洋中找出可用之物,并將它們轉(zhuǎn)化成有價(jià)值的東西。這個(gè)年月,工程學(xué)、科學(xué)、社會(huì)科學(xué)、法律、醫(yī)學(xué)甚至人文學(xué)科的人,都抱怨自己快淹死在數(shù)據(jù)里,想找個(gè)分析和管理它們的東西。
學(xué)會(huì)寫(xiě)碼、并能游刃有余地應(yīng)付大量數(shù)據(jù)集,或許很快會(huì)成為傳統(tǒng)科學(xué)領(lǐng)域的必備技能。為了將日常的數(shù)據(jù)處理任務(wù)自動(dòng)化、實(shí)現(xiàn)不同分析工具之間的數(shù)據(jù)搬運(yùn),許多科學(xué)家已經(jīng)編寫(xiě)了程序腳本。這些基本功能——還有基本的構(gòu)架——為更加迅速與自動(dòng)化的數(shù)據(jù)管理鋪好了前路。但要優(yōu)化利用這些飛速累積的數(shù)據(jù),還需要用上數(shù)據(jù)庫(kù)、可視技術(shù)、機(jī)器學(xué)習(xí)、并聯(lián)系統(tǒng)等方面更多的計(jì)算機(jī)技術(shù)。
寫(xiě)碼訓(xùn)練營(yíng)
需求就是動(dòng)力,即便對(duì)那些有統(tǒng)計(jì)學(xué)和相關(guān)數(shù)學(xué)背景的人相對(duì)容易一些,其他學(xué)科的研究人員也能夠在一段合理的時(shí)間內(nèi),學(xué)會(huì)處理大量數(shù)據(jù)所需要的技能?!斑@完全辦得到?!薄败浖し弧保⊿oftware Carpentry)創(chuàng)始人格雷格·威爾遜(Greg Wilson)如是說(shuō)?!败浖し弧笔且粋€(gè)由Mozilla和阿爾弗雷德·P·斯隆基金會(huì)共同出資的機(jī)構(gòu),過(guò)去15年里一直致力于幫助科學(xué)家開(kāi)發(fā)更好用的軟件。
更多詳細(xì)信息,請(qǐng)您微信關(guān)注“計(jì)算網(wǎng)”公眾號(hào):