現(xiàn)在,壞的消息是:Tf 部署并不支持 GPU 加速,要是 Numpy 能克服那一點該多好。Tfdeploy 的創(chuàng)造者建議 gNumPy 項目是一個可行的替代。
Luigi
地址:https://github.com/spotify/luigi
編寫成批作業(yè)通常只是處理海量數(shù)據(jù)的其中一步:你也不得不將所有這些工作串聯(lián)起來,做成類似工作流程的東西。Luigi 是 Spotify 打造的,用于「解決所有通常與長期運行成批處理作業(yè)有關(guān)的管道問題?!?/p>
有了 Luigi,研發(fā)人員就可以從事幾個很難、與數(shù)據(jù)無關(guān)的任務處理——「一個 Hive 詢問,一個在 Jave 上完成的 Hadoop 任務,一個 Scala 上的 Spark 任務,一個從數(shù)據(jù)庫中導出表格」——創(chuàng)造一個端到端運行它們的工作流。對任務的整個描述以及依存性被打造為 Python 模塊,和 XML 配置文檔或其他數(shù)據(jù)形式不同,因此,可以被組合到其他以 Python 為中心的項目中去。
Kubelib
地址:https://github.com/safarijv/kubelib
如果你采用 Kubernetes 作為完成機器學習工作的編排系統(tǒng)(orchestration system),你最不想要的就是它產(chǎn)生的問題比能解決的問題都多。Kubelib 為 Kubernetes 提供了一系列的 Python 接口,本來是用 Jekins scripting 作為幫助。但沒有 Jenkins 的情況下也能夠使用,它能夠完成 暴露在 kubectl CLI 或者 Kubernetes API 中的所有事。
PyTorch
地址:https://github.com/pytorch/pytorch
不要忘記了最近發(fā)布的、引人注目的 Python 庫新成員 Pytorch,這是 Torch 機器學習框架的一個工具。PyTorch 不僅為 Torch 添加了 Python 端口,也增加了許多其他的便利,比如 GPU 加速,共享內(nèi)存完成多重處理(multiprocessing,特別是多核上隔離開的工作。) 最好的是,它們能為 Numpy 中的無加速功能提供 GPU 驅(qū)動的替代選擇。