數(shù)據(jù)質(zhì)量管理流程,包括年度計(jì)劃制定、數(shù)據(jù)質(zhì)量持續(xù)評(píng)估、數(shù)據(jù)質(zhì)量問(wèn)題管理、數(shù)據(jù)質(zhì)量主動(dòng)提升、數(shù)據(jù)質(zhì)量被動(dòng)清洗,以及數(shù)據(jù)質(zhì)量工作評(píng)估,如圖3所示。
年度計(jì)劃制訂,是指基于銀行年度業(yè)務(wù)管理目標(biāo)與信息系統(tǒng)建設(shè)需求,并充分考慮外部監(jiān)管要求及行內(nèi)業(yè)務(wù)及技術(shù)發(fā)展?fàn)顩r,制訂數(shù)據(jù)質(zhì)量年度工作計(jì)劃。數(shù)據(jù)質(zhì)量主管部門(mén)基于各部門(mén)對(duì)年度計(jì)劃的建議,結(jié)合本部門(mén)的工作現(xiàn)狀及實(shí)際需求,擬定年度計(jì)劃。
數(shù)據(jù)質(zhì)量持續(xù)評(píng)估,主要包括數(shù)據(jù)質(zhì)量規(guī)則制定、數(shù)據(jù)質(zhì)量評(píng)估方案制訂、數(shù)據(jù)質(zhì)量評(píng)估方案執(zhí)行、數(shù)據(jù)質(zhì)量評(píng)估報(bào)告制定四項(xiàng)工作內(nèi)容。數(shù)據(jù)質(zhì)量主管部門(mén)負(fù)責(zé)從業(yè)務(wù)系統(tǒng)、數(shù)據(jù)主題等評(píng)估對(duì)象出發(fā),定期對(duì)其數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估,并給出評(píng)估結(jié)果。
數(shù)據(jù)質(zhì)量問(wèn)題管理,主要包括數(shù)據(jù)質(zhì)量問(wèn)題收集、數(shù)據(jù)質(zhì)量問(wèn)題分析、整理、登記、數(shù)據(jù)質(zhì)量問(wèn)題狀態(tài)變更三項(xiàng)工作內(nèi)容。數(shù)據(jù)質(zhì)量主管部門(mén)應(yīng)基于部門(mén)日常工作,以及數(shù)據(jù)質(zhì)量評(píng)估中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題,結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)制定內(nèi)容,進(jìn)行問(wèn)題的持續(xù)跟蹤與解決。
數(shù)據(jù)質(zhì)量主動(dòng)提升,主要包括主動(dòng)提升發(fā)起、主動(dòng)提升方案制定、主動(dòng)提升方案執(zhí)行三項(xiàng)工作內(nèi)容。數(shù)據(jù)質(zhì)量主管部門(mén)負(fù)責(zé)牽頭,業(yè)務(wù)部門(mén)及科技部門(mén)共同完成主動(dòng)提升工作,對(duì)數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行根源性、徹底性地修正、包括存量數(shù)據(jù)清洗及業(yè)務(wù)功能完善。
數(shù)據(jù)質(zhì)量被動(dòng)清洗,主要包括被動(dòng)清洗發(fā)起、被動(dòng)清洗方案制訂、被動(dòng)清洗方案執(zhí)行三項(xiàng)工作內(nèi)容。數(shù)據(jù)質(zhì)量主管部門(mén)負(fù)責(zé)牽頭開(kāi)展被動(dòng)清洗工作,對(duì)存量數(shù)據(jù)進(jìn)行臨時(shí)性的清洗,以在短期內(nèi)快速地解決存量數(shù)據(jù)的數(shù)據(jù)質(zhì)量問(wèn)題。
數(shù)據(jù)質(zhì)量工作評(píng)估,是指對(duì)數(shù)據(jù)質(zhì)量管理工作執(zhí)行、數(shù)據(jù)管控平臺(tái)應(yīng)用情況等方面進(jìn)行全面的評(píng)估,以確保數(shù)據(jù)質(zhì)量管理能夠適時(shí)反應(yīng)業(yè)務(wù)需求的發(fā)展變化。評(píng)估周期原則上不超過(guò)一年,由主管部門(mén)基于對(duì)各部門(mén)的調(diào)研結(jié)果制定工作評(píng)估報(bào)告。
數(shù)據(jù)標(biāo)準(zhǔn)引用及數(shù)據(jù)質(zhì)量評(píng)估體系
數(shù)據(jù)標(biāo)準(zhǔn)只有被持續(xù)應(yīng)用到日常工作中,才能體現(xiàn)其價(jià)值并不斷保持生命力。數(shù)據(jù)標(biāo)準(zhǔn)的持續(xù)應(yīng)用,是一個(gè)全員參與、長(zhǎng)期、堅(jiān)持不懈的過(guò)程,需要各業(yè)務(wù)部門(mén)及科技將其當(dāng)成一項(xiàng)日常工作,持續(xù)不斷地堅(jiān)持下去。業(yè)務(wù)人員及科技人員,需要在業(yè)務(wù)需求書(shū)、發(fā)文報(bào)告以及系統(tǒng)設(shè)計(jì)中,引用數(shù)據(jù)標(biāo)準(zhǔn)來(lái)規(guī)范相關(guān)數(shù)據(jù)項(xiàng)的各項(xiàng)屬性,而數(shù)據(jù)標(biāo)準(zhǔn)主管部門(mén)在工作中,也應(yīng)指導(dǎo)、協(xié)助并監(jiān)督各部門(mén)更好地引用數(shù)據(jù)標(biāo)準(zhǔn)。
數(shù)據(jù)質(zhì)量評(píng)估體系旨在全面地、準(zhǔn)確地、客觀地反映商業(yè)銀行數(shù)據(jù)質(zhì)量的當(dāng)前狀況。通過(guò)對(duì)數(shù)據(jù)質(zhì)量規(guī)則的統(tǒng)一匯總及管理執(zhí)行,結(jié)合相應(yīng)數(shù)學(xué)模型,定量地評(píng)估數(shù)據(jù)質(zhì)量好壞,同時(shí),給出數(shù)據(jù)質(zhì)量提升的優(yōu)先順序建議,從而為銀行逐步提升數(shù)據(jù)質(zhì)量打下堅(jiān)實(shí)的基礎(chǔ)。
數(shù)據(jù)質(zhì)量評(píng)估體系,共包括評(píng)估維度與評(píng)估規(guī)則、評(píng)估方法、評(píng)估報(bào)告、數(shù)據(jù)管控平臺(tái)四部分內(nèi)容,如圖4所示。
評(píng)估維度與評(píng)估規(guī)則是數(shù)據(jù)質(zhì)量評(píng)估的基礎(chǔ),主要解決從什么角度、按照什么規(guī)范、執(zhí)行什么規(guī)則來(lái)進(jìn)行數(shù)據(jù)質(zhì)量的評(píng)估。評(píng)估維度反映了對(duì)數(shù)據(jù)項(xiàng)進(jìn)行質(zhì)量評(píng)估的角度和關(guān)注點(diǎn),根據(jù)先進(jìn)商業(yè)銀行的數(shù)據(jù)質(zhì)量管理方法論,數(shù)據(jù)質(zhì)量評(píng)估維度有規(guī)范性、完整性、準(zhǔn)確性、一致性、唯一性。根據(jù)對(duì)數(shù)據(jù)項(xiàng)的質(zhì)量要求的粒度不同,評(píng)估規(guī)則分為數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則與數(shù)據(jù)質(zhì)量技術(shù)規(guī)則兩類(lèi)。數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則和具體系統(tǒng)無(wú)關(guān),反映了在業(yè)務(wù)層面數(shù)據(jù)用戶(hù)對(duì)數(shù)據(jù)質(zhì)量的需求;數(shù)據(jù)質(zhì)量技術(shù)規(guī)則是數(shù)據(jù)質(zhì)量業(yè)務(wù)規(guī)則在系統(tǒng)中的應(yīng)用,反映對(duì)系統(tǒng)中具體數(shù)據(jù)項(xiàng)質(zhì)量評(píng)估的要求。
評(píng)估方法主要為解決在建立上述具體數(shù)據(jù)質(zhì)量技術(shù)規(guī)則之后,如何對(duì)數(shù)據(jù)質(zhì)量技術(shù)規(guī)則進(jìn)行度量、按照什么算法對(duì)評(píng)估對(duì)象進(jìn)行綜合評(píng)分,從結(jié)構(gòu)上分為評(píng)估形式、評(píng)估對(duì)象、權(quán)重矩陣、評(píng)估模型四大類(lèi)。其中,評(píng)估形式是指對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估的形式,根據(jù)形式不同,分為主觀評(píng)估法和客觀評(píng)估法(實(shí)際應(yīng)用中,以客觀評(píng)估法為主,主觀評(píng)估法為輔)。評(píng)估對(duì)象是開(kāi)展數(shù)據(jù)質(zhì)量評(píng)估的目標(biāo)單元,如應(yīng)用系統(tǒng)、數(shù)據(jù)主題、業(yè)務(wù)部門(mén)、評(píng)估維度、自定義數(shù)據(jù)集等,對(duì)某個(gè)具體評(píng)估對(duì)象開(kāi)展數(shù)據(jù)質(zhì)量評(píng)估時(shí),實(shí)際上是對(duì)該評(píng)估對(duì)象下所含的所有數(shù)據(jù)質(zhì)量技術(shù)規(guī)則執(zhí)行結(jié)果的綜合評(píng)估。由于不同的數(shù)據(jù)質(zhì)量技術(shù)規(guī)則對(duì)評(píng)估對(duì)象的最終得分的貢獻(xiàn)不同,因此需要針對(duì)每條數(shù)據(jù)質(zhì)量技術(shù)規(guī)則設(shè)置對(duì)應(yīng)的權(quán)重,考慮多種因素包括數(shù)據(jù)質(zhì)量技術(shù)規(guī)則相關(guān)數(shù)據(jù)項(xiàng)所屬系統(tǒng)的重要程度、相關(guān)數(shù)據(jù)項(xiàng)的約束類(lèi)型、數(shù)據(jù)類(lèi)別、評(píng)估維度等。各影響因素以及各影響因素的貢獻(xiàn)程度共同構(gòu)成數(shù)據(jù)質(zhì)量技術(shù)規(guī)則的權(quán)重矩陣,通過(guò)權(quán)重矩陣來(lái)對(duì)每條數(shù)據(jù)質(zhì)量技術(shù)規(guī)則設(shè)置權(quán)重。