7月28日晚,由CSDN旗下高級技術(shù)管理者大本營CTO俱樂部舉辦的“數(shù)據(jù)挖掘在金融證券交易領(lǐng)域的應(yīng)用經(jīng)驗分享”主題沙龍活動在海淀橋車庫咖啡館成功舉辦,這是CTO俱樂部金融行業(yè)軟件專業(yè)委員會成立以來的首場線下活動。
本次活動邀請到鳳凰網(wǎng)高級技術(shù)經(jīng)理王允、和瑞網(wǎng)CTO巨建華、搜狐金融事業(yè)部高級工程師趙士昌、金融界技術(shù)主管吳旻等嘉賓,分享了在證券交易行情數(shù)據(jù)分析領(lǐng)域所涉及的經(jīng)驗和技術(shù),并對數(shù)據(jù)挖掘在互聯(lián)網(wǎng)相關(guān)領(lǐng)域的應(yīng)用進行深入的溝通和探討。活動現(xiàn)場火爆,有近百位行業(yè)內(nèi)技術(shù)管理者來現(xiàn)場。
活動現(xiàn)場火爆
和瑞網(wǎng)CTO巨建華介紹了國內(nèi)證券交易行業(yè)的數(shù)據(jù)特點:全部是動態(tài)時間序列數(shù)據(jù);每秒新增數(shù)據(jù)上千;21年歷史數(shù)據(jù);多個交易市場,多種證券類別;滬深兩市每天原始數(shù)據(jù)量為2G;財務(wù)報表等數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù);歷史數(shù)據(jù)永遠不會發(fā)生變化。就數(shù)據(jù)清洗與去噪,他談到了幾個基本機制——編碼標準化;單位標準化;入庫檢查規(guī)則制定;缺失數(shù)據(jù)處理機制。在數(shù)據(jù)倉庫的構(gòu)建——自定義文件數(shù)據(jù)庫方面,巨建華分析了為何當前采用了NoSQL:因為磁盤的效率依然低下,因此采用了MongoDB,用內(nèi)存來存儲數(shù)據(jù),4臺服務(wù)器配備128G內(nèi)存,實現(xiàn)了每秒27000條的寫入速度。
和瑞網(wǎng)CTO巨建華
在研發(fā)流程規(guī)劃方面,他重點介紹了:產(chǎn)品規(guī)劃(產(chǎn)品經(jīng)理)-模型設(shè)計(金融工程師)-模型開發(fā)(開發(fā)團隊)-回歸測試(測試部)-實盤驗證(產(chǎn)品經(jīng)理)-模型監(jiān)控(產(chǎn)品經(jīng)理)的模式。
鳳凰網(wǎng)高級技術(shù)經(jīng)理王允
鳳凰網(wǎng)高級技術(shù)經(jīng)理王允分享了自己對于數(shù)據(jù)挖掘在金融證券交易領(lǐng)域應(yīng)用的未來展望——能否根據(jù)指標值給用戶操作提示?能否提示用戶K線圖上出現(xiàn)的形態(tài);能夠從海量數(shù)據(jù)中自動分析得出操作提示;走勢預(yù)測;套利機會(跨A|B|H|權(quán)證|基金|商品);按照特定模型分析財務(wù)數(shù)據(jù);周易、占星等理論能否用在股票分析上。
互動問答(從左到右分別為:王允、趙士昌、吳旻、巨建華)
現(xiàn)場聽眾提問,主要集中于幾點:金融行業(yè)的數(shù)據(jù)分析如何跟自身業(yè)務(wù)結(jié)合;BS/CS(客戶端)架構(gòu)區(qū)別,各自的優(yōu)劣;數(shù)據(jù)安全性;如何才能獲得更優(yōu)質(zhì)的證券交易數(shù)據(jù)、數(shù)據(jù)傳輸、清理方式等問題。在談到數(shù)據(jù)分析解決方案BS/CS架構(gòu)區(qū)別時,金融界技術(shù)主管吳旻認為BS相對于CS來說會慢一點,數(shù)據(jù)量很大的時候可能不那么及時,可能會慢一兩秒。普通客戶覺得不重要,但是對于高端用戶來說半秒都是很重要的。其次是證券交易數(shù)據(jù)的獲取和使用都要合規(guī),上交所深交所的規(guī)定都有不同的區(qū)別,很多網(wǎng)站因為拿不到牌照所以做不了,有些可以獲取數(shù)據(jù)做分析但不能交易。再有,數(shù)據(jù)安全是另一個不容忽視的方面。
對此,搜狐金融事業(yè)部高級工程師趙士昌并不贊同,他認為BS架構(gòu)完全可以達到CS數(shù)據(jù)級別,搜狐技術(shù)部門做過測試,速度相差不會太多,一個級別的。CS架構(gòu)的話,因為有客戶端,可以在本地存儲一些大量數(shù)據(jù)做分析,BS架構(gòu)可能受限互聯(lián)網(wǎng)的束縛,但是可以將數(shù)據(jù)拿到客戶端處理,瀏覽器僅僅是顯示一下處理結(jié)果就可以,技術(shù)上都已經(jīng)很成熟了。
總體來看,未來的金融證券行業(yè)數(shù)據(jù)服務(wù),下一步的技術(shù)焦點將在如何為個人提供個性化的服務(wù)上,現(xiàn)場互動活躍,與會者提出了很多很好的需求和建議。
更多精彩內(nèi)容及CSDN CTO俱樂部的下期線下活動,請持續(xù)關(guān)注CSDN CTO俱樂部。
CTO俱樂部是CSDN旗下面向廣大技術(shù)管理者的網(wǎng)上大本營,采取采用了嚴格的邀請審核制,只有公司的高級技術(shù)管理者,如CTO、技術(shù)總監(jiān)、開發(fā)總監(jiān)、工程總監(jiān)才能申請加入,現(xiàn)已超過10000多名會員。CTO俱樂部定期舉行線下活動,就相關(guān)主題進行共同探討,并便于會員們相互交流。