亚洲大成色www永久男同,97高清国语自产拍2020

36大數(shù)據(jù)

文 | haiping

近年來，深度學(xué)習(xí)在人工智能的多個領(lǐng)域取得了顯著成績。微軟使用的152層深度神經(jīng)網(wǎng)絡(luò)在ImageNet的比賽上斬獲多項第一，同時在圖像識別中超過了人類的識別水平。百度在中文語音識別上取得了97%的準確率，已經(jīng)超過了人類的識別能力。

隨著深度學(xué)習(xí)在越來越多的領(lǐng)域中取得了突破性進展，自然語言處理這一人工智能的重要領(lǐng)域吸引了大批的研究者的注意力。最近谷歌發(fā)布了基于深度學(xué)習(xí)的機器翻譯(GNMT)，和基于短語的機器翻譯相比，錯誤率降低了55%-85%以上，從而又引發(fā)了深度學(xué)習(xí)在自然語言處理上的熱潮。

自然語言處理是人工智能和語言學(xué)的交叉學(xué)科，在搜索引擎，問答系統(tǒng)，機器翻譯等人工智能領(lǐng)域發(fā)揮著重要作用。分詞，詞性標注，命名實體識別作為自然語言處理的基礎(chǔ)領(lǐng)域，同樣吸引著大批研究者的注意力，本篇就結(jié)合我們近期的一些探索從中文分詞角度探索深度學(xué)習(xí)在自然語言處理中的應(yīng)用。

中文分詞是將自然語言文本劃分成詞語序列，目前主流方法為序列標注，即用BMES這個四個標簽去標注句子中的每一個字(B是詞首，M是詞中，E是詞尾，S是單字詞)。

對于 { 京東搜索與大數(shù)據(jù) 平臺數(shù)據(jù)挖掘算法部 }

其標注為{ BE BE S BME BE BMME BME }

使用Keras實現(xiàn)了基于RNN的中文分詞，接下來就分別介紹一下Keras和中文分詞實戰(zhàn)。

1. Keras介紹

Keras 是一個高度模塊化的深度學(xué)習(xí)框架，使用python編寫，封裝了大量的函數(shù)接口，可支持CPU和GPU訓(xùn)練。Keras提供了一系列模塊，這樣我們在實驗?zāi)Ｐ偷臅r候只需要調(diào)用這些模塊就可以完成模型搭建，不用自己在去實現(xiàn)各層網(wǎng)絡(luò)。

主要模塊有Optimizers(優(yōu)化函數(shù)模塊)，常用的有SGD(隨機梯度下降)、 Adam;Objectives(目標函數(shù)模塊)，常用的有均方誤差，交差熵;Activations(激活函數(shù)模塊)，sigmoid用來做二分類、relu可解決梯度消失問題、softmax常用來做多分類;Layers(網(wǎng)絡(luò)層模塊)，提供了CNN(卷積層)、RNN(LSTM、GRU)、embeddings;Initializations(初始化模塊)，主要用于模型參數(shù)的初始化，常用的有均勻分布初始化，高斯分布初始化。

使用Keras進行模型試驗，可分為四個步驟(數(shù)據(jù)準備，模型構(gòu)建, 模型訓(xùn)練, 模型測試),本文也將基于這四個步驟探索基于RNN的中文分詞。

2. 中文分詞實戰(zhàn)

數(shù)據(jù)準備

訓(xùn)練數(shù)據(jù)使用的是bakeoff2005中的北京大學(xué)的標注語料，train作為訓(xùn)練樣本，test作為測試樣本。

統(tǒng)計訓(xùn)練樣本中出現(xiàn)的字符并生成字典，同時將訓(xùn)練樣本中字符全部映射成對應(yīng)的字典索引(為了處理未登錄詞，將出現(xiàn)次數(shù)低于2次的字符映射為未登錄詞)。在序列標注分詞中，一個字的標簽受到上下文的影響，因而取該字的前后3個字作為特征。

模型構(gòu)建

36大數(shù)據(jù)