chmod +x bazel-0.4.3-installer-linux-x86_64.sh./bazel-0.4.3-installer-linux-x86_64.sh –user

9.安裝Tensorflow：在官網(wǎng)下載軟件后執(zhí)行如下安裝命令：

pip install --upgrade tensorflow-0.12.1-cp35-cp35m-linux_x86_64.whl

Tensorflow訪問HDFS的部署

1.首先安裝Hadoop客戶端，在官網(wǎng)下載后執(zhí)行下面解壓移動命令：

tar zxvf hadoop-2.6.0.tar.gzmv hadoop-2.6.0.tar.gz /usr/local/software/Hadoop

進(jìn)行環(huán)境變量的配置/etc/profile，加入如下內(nèi)容

export PATH=$PATH:/usr/local/software/hadoop/binexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib/amd64/serverexport HADOOP_HOME=/usr/local/software/hadoopexport HADOOP_HDFS_HOME=/usr/local/software/hadoop

配置完后進(jìn)行配置更新source /etc/profile

2.其次，安裝完客戶端后，配置自己的hadoop集群環(huán)境文件。

Tensorflow與Kerberos驗證的部署

在Tesorflow0.12版本中已經(jīng)支持了Kerberos驗證，本機(jī)只要配置好Kerberos文件即可使用。該文中不詳述Kerberos的配置內(nèi)容，羅列一下相關(guān)的配置流程。

• 首先在/etc/krb5.conf文件中進(jìn)行服務(wù)器跟驗證策略的配置；
• 然后在Kerberos服務(wù)端生成一個用戶文件傳至本機(jī)；
• 最后進(jìn)行Kerberos客戶端的權(quán)限認(rèn)證并設(shè)置定時任務(wù)。

大數(shù)據(jù)場景下基于分布式Tensorflow的深度學(xué)習(xí)示例

一、進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)換

本文的示例是做的MNIST數(shù)據(jù)的識別模型，為了更好的讀取數(shù)據(jù)更好的利用內(nèi)存，我們將本地GZ文件轉(zhuǎn)換成Tensorflow的內(nèi)定標(biāo)準(zhǔn)格式TFRecord，然后再將轉(zhuǎn)換后的文件上傳到HDFS存儲。在實(shí)際應(yīng)用中，我們實(shí)際利用Spark做了大規(guī)模格式轉(zhuǎn)換的處理程序。我們對本地數(shù)據(jù)處理的相應(yīng)的轉(zhuǎn)換代碼為：

from __future__ import absolute_importfrom __future__ import divisionfrom __future__ import print_functionimport argparseimport osimport tensorflow as tffrom tensorflow.contrib.learn.python.learn.datasets import mnistSOURCE_URL = 'http://yann.lecun.com/exdb/mnist/'TRAIN_IMAGES = 'train-images-idx3-ubyte.gz'  # MNIST filenamesTRAIN_LABELS = 'train-labels-idx1-ubyte.gz'TEST_IMAGES = 't10k-images-idx3-ubyte.gz'TEST_LABELS = 't10k-labels-idx1-ubyte.gz'FLAGS = None
 2/8   首頁 上一頁 1 2 3 4 5 6 下一頁 尾頁