AI開發利器—深度學習框架Caffe-MPI加速比最好

                  2017-09-22 09:32 來源:美通社 作者:Janet

                  近日,在2017人工智能計算大會(AICC)上,香港浸會大學副教授褚曉文發表了目前主流深度學習框架評測的主題報告,報告顯示由浪潮牽頭開發的開源項目Caffe-MPI,與其他主流框架相比取得了最佳的加速比,并在GoogLeNet網絡模型中取得最佳性能。

                  根據報告顯示數據,由浪潮開發的Caffe-MPI 2.0,在4節點16塊P40 GPU的計算集群上,采用Imagenet數據集。采用GoogLeNet模型(Batchsize=128)時,16卡的訓練性能為5886張圖片/秒,較單卡提升14.2倍;采用ResNet模型(Batchsize=32)時16卡訓練性能為1372張圖片/秒,較單卡提升15.34倍,擴展效率高達96%。Caffe-MPI超越了CNTK和MXNet,成為加速比最好的深度學習框架,也是在GoogLeNet模型下性能最好的深度學習框架。

                  香港浸會大學副教授褚曉文表示,目前在測的所有深度學習框架中,浪潮Caffe-MPI展現出最好的加速比性能,相信對于所有需要將Caffe擴展到多機環境的用戶,浪潮Caffe-MPI將是最好的選擇。

                  Caffe-MPI 2.0出色的加速比得益于在并行算法設計上的創新突破。Caffe-MPI設計了兩層通信模式:節點內的GPU卡間通信及節點間的RDMA全局通信,通過調用NCCL 2.0實現。這種設計極大降低了網絡通信的壓力,并克服了傳統通信模式中PCIE與網絡之間帶寬不均衡的影響,非常適合現在的高密度GPU服務器。

                  同時,Caffe-MPI 2.0還設計實現了深層神經網絡模型各層計算和通訊的異步,合并了多層待通信數據然后在到達一定量級時進行通信,有效避免了層內部數據量較小時的通信延遲。此外,Caffe-MPI 2.0還提供了更好的cuDNN兼容性,用戶可以無縫調用最新的cuDNN版本實現更大的性能提升。這些設計細節使得Caffe-MPI 2.0能夠在當前流行的深度學習框架下的集群訓練中,實現近似線性的擴展。

                  Caffe-MPI是首個集群并行版的Caffe深度學習計算框架,基于伯克利Caffe框架,由浪潮主導開發并已在Github上開源公布所有代碼,其采用成熟的MPI技術對Caffe予以數據并行的優化,目標是解決深度學習計算模型訓練的效率問題。

                  2017人工智能計算大會(AI Computing Conference簡稱AICC)由中國工程院信息與電子工程學部主辦、浪潮集團承辦,旨是圍繞AI當下需求及未來發展,從計算創新著眼,聯合從事AI計算及應用的公司、用戶、專家、開發者共同打造探討促進AI計算的交流合作平臺,推動AI產業的可持續發展。本次有海內外數十位知名專家圍繞AI計算創新主題進行研討報告,吸引了來自各行業的數千名專業人士參與。

                  AI開發利器 深度學習框架Caffe-MPI加速比

                  相關閱讀

                  暫無數據

                  一周熱門

                  亚洲日韩精品一区二区三区无码 | 精品亚洲成α人无码成α在线观看 | 亚洲色无码专区一区| 国产精品亚洲精品久久精品| 亚洲中久无码永久在线观看同| 亚洲精品无码久久不卡| 国产精品亚洲精品久久精品| 亚洲午夜久久久精品电影院| 亚洲福利秒拍一区二区| 亚洲国产一区国产亚洲| 亚洲A∨无码无在线观看| 亚洲av永久无码精品网站| 国产亚洲一区二区手机在线观看| 亚洲性日韩精品国产一区二区| 亚洲另类少妇17p| 亚洲一级特黄大片无码毛片 | 亚洲黄色网址在线观看| 亚洲国产人成在线观看69网站| 亚洲AV成人无码久久精品老人| 久热综合在线亚洲精品| 久久久久亚洲AV成人片| 97亚洲熟妇自偷自拍另类图片 | www.91亚洲| 亚洲日本中文字幕天堂网| 久久夜色精品国产亚洲av| 亚洲永久无码3D动漫一区| 国产亚洲精品a在线无码| 久久精品国产亚洲AV网站| 亚洲一区二区三区高清| 亚洲色图视频在线观看| 久久精品亚洲AV久久久无码| 亚洲色大情网站www| 无码色偷偷亚洲国内自拍| 亚洲色偷偷综合亚洲AV伊人| 亚洲中文字幕久久精品无码喷水| 国产av无码专区亚洲av桃花庵| 亚洲成人在线电影| 亚洲人成片在线观看| 亚洲精品无码久久久久久| 国产亚洲视频在线观看| 亚洲线精品一区二区三区影音先锋 |