×

深度学习平台

未来几年内,深度学习必然是最吃香的岗位吗可以在哪里学习深度学习!?如何评价邢波老师实验室开发的深度学习平台Poseidon

admin admin 发表于2022-05-12 10:46:48 浏览97 评论0

抢沙发发表评论

未来几年内,深度学习必然是最吃香的岗位吗可以在哪里学习深度学习!

你好,听你说的这个深度学习,感觉有点像是一个噱头,可能是某些别有用心的机构提出的概念。其真正的目的就是开培训班,赚学生的钱或者是集资跑路,不管是哪种的对于上当受骗的人都是很残忍的结局。所以如果你洽洽被洗脑了那还是清醒一下吧,跟自己的家人或朋友好好的聊一聊,不要一个人做投资的决定

如何评价邢波老师实验室开发的深度学习平台Poseidon

先回答题主的两个具体问题,再对Poseidon系统做一个简单介绍。(1)Petuum支持多种机器学习算法的数据并行(基于Bosen的data parallelism)和模型并行(基于Strads的model parallelism),Poseidon的分布式框架是基于Bosen parameter server搭建的,所以目前的版本仅支持数据并行;(2)SFB (Sufficient Factor Broadcasting)是我们组提出的基于P2P的大规模机器学习通信范式,相比较于中心化的parameter server通信,SFB有自己的优势也有自己的劣势。我们在搭建Poseidon的过程中,为了减少参数通信消耗,设计了SACP (Structura-aware communication protocol)算法。这个通信算法利用了神经网络的一些模型性质,从PS和SFB中选取最有利的通信方式,取两者之所长并避两者之所短。同时SFB本身是一个非常灵活的通信范式,支持BSP,ASP和SSP一致性模型。如果想对SFB有更多的了解,建议参考这篇论文:下面我给Poseidon深度学习系统做一个简单的介绍。相比较于Caffe,Torch, Theano, MxNet, 我们与其说Poseidon是一个深度学习框架,不如说它是一个系统架构。Poseidon的设计理念是从分布式系统出发,为所有的深度学习框架提供分布式支持,因此Poseidon可以为任何单机下的基于CPU或GPU的深度学习框架提供并行支持(比如Tensorflow),从而很好的保持了原有的用户群生态系统,从用户的角度来看,省时省力。Poseidon的分布式层来源于Petuum的通用分布式机器学习框架Bosen,然而为了能更加有效的利用显卡计算、神经网络特性来加速深度学习,并为commodity cluster(如配置中等的商用集群,无infiband以太网) 提供更好的支持,我们在Bosen的基础上更进一步的搭建了:(1)三层的分布式框架。这个三层式结构能够让Poseidon支持各种复杂的集群配置,比如单机多卡,多机单卡抑或是多机多卡。同时这个结构混合了基于client-server的中心化通信和基于P2P的去中心化通信,以便最大限度的减少通信消耗;(2)分布式环境下对后向传播算法的重调度。这一重调度利用了近期较为流行的神经网络结构的参数分布和计算分布(如VGGNet, AlexNet),能够极大限度的使计算时间和通信时间重叠, 从而增加GPU使用率;(3)如前所述,一个能够基于神经网络特性、集群结构自动调整通信方法的通信协议。这个通信协议利用了神经网络全连接层的梯度矩阵秩为1的特性,从PS和SFB中选择最优的通信方式以最大限度的减少通信消耗。总结,Poseidon于2015年6月发布,属于第一批支持GPU集群的分布式深度学习框架(发布时间早于MXNet, CNTK, TensorFlow, SparkNet, YahooCaffe等), 同时Poseidon在几个公共的benchmark上的取得了不错的效果,与类似的分布式框架相比,其Scalibility甚至超过晚半年发布的SparkNet和YahooCaffe。Poseidon最致力解决的问题是尽量减少通信消耗,从而能够在non-infiband的商用集群下为分布式GPU深度学习提供广泛支持。目前我们发布的Poseidon版本的单机深度学习框架基于Caffe,在设计时我们尽量保存了Caffe的所有接口,便于Caffe用户使用。Poseidon的系统灵活性也使它能够为任何其他深度学习框架提供分布式支持。

有关于深度学习的网课推荐吗

可以关注一下优就业有关深度学习的网课大致课程内容如下:1、了解AI及前沿应用成果;2、掌握人工神经网络及卷积神经网络原理;3、循环神经网络原理及项目实战;4、生成式对抗网络原理及项目实战;5、深度学习的分布式处理及项目实战;6、深度强化学习及项目实战;7、企业级项目实战-车牌识别项目实战;8、深度学习最新前沿技术简介。