數(shù)據(jù)整理層在數(shù)據(jù)挖掘技術(shù)中的實(shí)現(xiàn)在數(shù)據(jù)整理過(guò)程中，由于數(shù)據(jù)源數(shù)據(jù)內(nèi)容往往交叉，所以需要按照互動(dòng)性對(duì)觀測(cè)數(shù)據(jù)進(jìn)行分類。同時(shí)，由于原始數(shù)據(jù)中有噪聲數(shù)據(jù)、冗余數(shù)據(jù)及缺失數(shù)據(jù)等問(wèn)題，需要對(duì)數(shù)據(jù)進(jìn)行解析、清洗、重構(gòu)，并填補(bǔ)缺失數(shù)據(jù)以提高待挖掘數(shù)據(jù)的質(zhì)量。經(jīng)過(guò)分類后數(shù)據(jù)被大致分為兩大類：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。對(duì)于結(jié)構(gòu)化數(shù)據(jù)，需要對(duì)其進(jìn)行數(shù)據(jù)過(guò)濾，剔除無(wú)效數(shù)據(jù)以提高分析效率;對(duì)于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，需要按照一定的標(biāo)準(zhǔn)處理成機(jī)器語(yǔ)言或索引。例如，對(duì)電力用戶評(píng)論、電力系統(tǒng)運(yùn)行日志資料等數(shù)據(jù)，就需要轉(zhuǎn)換成加權(quán)邏輯或是模糊邏輯，并將不同的詞語(yǔ)映射到標(biāo)準(zhǔn)值上，形成企業(yè)統(tǒng)一的語(yǔ)言。數(shù)據(jù)管理層在數(shù)據(jù)挖掘技術(shù)中的實(shí)現(xiàn)通過(guò)數(shù)據(jù)整理層，將經(jīng)過(guò)整理和轉(zhuǎn)化的數(shù)據(jù)存儲(chǔ)到電力數(shù)據(jù)倉(cāng)庫(kù)(datawarehouse，DW)中，由于不同的電力數(shù)據(jù)庫(kù)儲(chǔ)存標(biāo)準(zhǔn)不同，因此需要整合轉(zhuǎn)化后才能儲(chǔ)存到數(shù)據(jù)倉(cāng)庫(kù)中，這里就需要對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行重新設(shè)計(jì)。
經(jīng)過(guò)重新設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)，可以根據(jù)不同的主題設(shè)計(jì)不同的屬性集，從而減少數(shù)據(jù)處理量;針對(duì)不同的主題數(shù)據(jù)庫(kù)，可以采取粗糙集的屬性歸約算法刪除數(shù)據(jù)中的冗余信息，得到精簡(jiǎn)的數(shù)據(jù)集;然后將決策樹所表示的數(shù)據(jù)集表示為IF-THEN的分類規(guī)則知識(shí)，并儲(chǔ)存在規(guī)則知識(shí)庫(kù)中;如果有新數(shù)據(jù)樣本需要處理，可以按照一定的規(guī)則算法進(jìn)行識(shí)別匹配，從而進(jìn)行綜合評(píng)價(jià)。數(shù)據(jù)分析層在數(shù)據(jù)挖掘技術(shù)中的實(shí)現(xiàn)經(jīng)過(guò)數(shù)據(jù)管理層處理的數(shù)據(jù)，可以通過(guò)聯(lián)機(jī)分析處理技術(shù)(on-lineanalyticalprocessing，OLAP)來(lái)支撐復(fù)雜的決策分析過(guò)程，從而將數(shù)據(jù)轉(zhuǎn)化成為輔助決策的信息。鑒于電力企業(yè)對(duì)數(shù)據(jù)實(shí)時(shí)性要求很高，可以將電力企業(yè)的數(shù)據(jù)分為實(shí)時(shí)性數(shù)據(jù)和非實(shí)時(shí)性數(shù)據(jù)進(jìn)行分類處理。針對(duì)非實(shí)時(shí)性數(shù)據(jù)，可以考慮基于分布式文件系統(tǒng)(distributedfilesystem，DFS)和MapReduce技術(shù)的云計(jì)算來(lái)進(jìn)行處理;也可以基于Hadoop，一種DFS和MapReduce的開源實(shí)現(xiàn)的云計(jì)算平臺(tái)來(lái)進(jìn)行數(shù)據(jù)處理。對(duì)于實(shí)時(shí)性數(shù)據(jù)，如電力負(fù)荷數(shù)據(jù)，一方面電力企業(yè)可以通過(guò)內(nèi)存計(jì)算技術(shù)，將全部數(shù)據(jù)通過(guò)內(nèi)存運(yùn)行進(jìn)行計(jì)算，這將是提高計(jì)算速度的有效辦法;另外，可以在云平臺(tái)前面設(shè)置若干前置機(jī)，用于實(shí)時(shí)接收數(shù)據(jù)。
數(shù)據(jù)展示層可視化企業(yè)目標(biāo)通過(guò)電力營(yíng)銷決策支持系統(tǒng)(ElectricMarketingDecisionSupportSystem，EMDSS)，運(yùn)用良好的數(shù)據(jù)可視化設(shè)計(jì)，借助圖形表達(dá)數(shù)據(jù)中的復(fù)雜信息，將數(shù)據(jù)挖掘的成果可視化，并將其運(yùn)用到電力企業(yè)未來(lái)的發(fā)展規(guī)劃中。將深度挖掘的數(shù)據(jù)可視化，可以使員工清楚地認(rèn)識(shí)到電力企業(yè)未來(lái)的發(fā)展方向、評(píng)價(jià)決策制定的正確與否。結(jié)果是否符合實(shí)際，是決定整個(gè)系統(tǒng)挖掘技術(shù)是否成功的標(biāo)準(zhǔn)。展望基于我國(guó)的基本國(guó)情，電力企業(yè)具備非常好的從數(shù)據(jù)運(yùn)營(yíng)角度獲取更大程度信息、資源、知識(shí)發(fā)現(xiàn)的基礎(chǔ)。因此，電力企業(yè)完全可以立足大數(shù)據(jù)，以數(shù)據(jù)挖掘技術(shù)為基礎(chǔ)，創(chuàng)造數(shù)據(jù)增值服務(wù)。智能電網(wǎng)的發(fā)展對(duì)于智能的理解，是指能夠深刻分析收集到的材料、數(shù)據(jù)，以獲得一個(gè)比較系統(tǒng)和全面的知識(shí)來(lái)解決特定的問(wèn)題，從而滿足商業(yè)戰(zhàn)略目標(biāo)的需要。智能面向電力行業(yè)，就是指電力行業(yè)發(fā)電、供電和用電的組織結(jié)構(gòu)更加合理、運(yùn)行程序更加優(yōu)良、綜合功效更加強(qiáng)大的智慧系統(tǒng)，即所謂的智能電網(wǎng)。智能電網(wǎng)基于數(shù)據(jù)和能源的同步傳輸，通過(guò)促進(jìn)能源與信息技術(shù)的深度融合，已經(jīng)逐漸形成了以能源、數(shù)據(jù)為運(yùn)行體系支撐下的堅(jiān)強(qiáng)可靠、友好互動(dòng)、清潔環(huán)保的能源管理網(wǎng)絡(luò)。