本文目录一览：
- 1、深度学习工业界应用-加速-训练-MPI和RDMA
- 2、hadoop用什么模型做用
- 3、spark和hadoop的区别
- 4、百度是如何使用hadoop的,并且做了哪些改进
- 5、做大数据分析系统Hadoop需要用哪些软件
深度学习工业界应用-加速-训练-MPI和RDMA
1、MPI是一门比较老的技术，在高性能计算界(特别是成熟的科学计算软件中)几乎是标配，其对高性能通信(特别是rdma)优化较好。 特定于机器学习任务，MPI最大的优势有两点。
2、你可以这样理解，人工智能是一个婴儿的大脑，而深度学习就是让这个婴儿的大脑又能力看世界、听世界、感受世界。
3、而深度学习，是AI中的一种技术或思想，曾被MIT技术评论列为2013年十大突破性技术（Deep Learning居首）。或者换句话说，深度学习这种技术（我更喜欢称其为一种思想，即end-to-end）说不定就是实现未来强AI的突破口。-mpireduce
4、例如，在计算机视觉领域常用的经典ImageNet数据集（1000个类别，共128万张图片）上，用1块P100GPU训练一个ResNet-50模型，耗时需要将近1周。这严重阻碍了深度学习应用的开发进度。-mpireduce
hadoop用什么模型做用
1、hadoop是依据mapreduce的原理，用Java语言实现的分布式处理机制。
2、Hadoop处在云计算三层模型中的PaaS这一层。Hadoop处在云计算三层模型中的PaaS这一层。PaaS是指平台即服务。把服务器平台作为一种服务提供的商业模式，通过网络进行程序提供的服务称之为SaaS，是云计算三种服务模式之一。-mpireduce
3、MapReduce主要是一种思想，不能解决所有领域内与计算有关的问题，百度的研究人员认为比较好的模型应该如下图： HDFS 实现共享存储，一些计算使用MapReduce解决，一些计算使用MPI解决，而还有一些计算需要通过两者来共同处理。-mpireduce
4、Hadoop是大数据处理的一种常用编程框架，其使用了MapReduce编程模型。在MapReduce模型中，用户只需要编写map和reduce两个函数，系统将负责将数据划分为多个块，并在多个计算节点上并行地进行map和reduce操作，最终将结果组合起来。-mpireduce
5、广义的Hadoop，一般称为Hadoop生态系统，如下所示。Hadoop生态系统中这些软件的作用：HDFS 采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。-mpireduce
6、中国邮政大数据平台选用的底层产品全面支持Oracle数据表模型，支持大部分的Teradata模型。
spark和hadoop的区别
1、Spark 有很多行组件，功能更强大，速度更快。解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。
2、Hadoop和Spark都是集群并行计算框架，都可以做分布式计算，它们都基于MapReduce并行模型。Hadoop基于磁盘计算，只有map和reduce两种算子，它在计算过程中会有大量中间结果文件落地磁盘，这会显著降低运行效率。-mpireduce
3、hadoop是分布式系统基础架构，是个大的框架，spark是这个大的架构下的一个内存计算框架，负责计算，同样作为计算框架的还有mapreduce，适用范围不同，比如hbase负责列式存储，hdfs文件系统等等。-mpireduce
4、不同点前者基于磁盘+内存，磁盘占得比重比较大，而后者侧重于内存+磁盘，内存占得比重比较大，这也是为什么Hadoop没spark速度快的根本原因，spark基于内存来做MR，而Hadoop侧重于落地到磁盘来做MR。-mpireduce
百度是如何使用hadoop的,并且做了哪些改进
1、HADOOP在百度：HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。节点数：10 - 500个节点。
2、首先要有百度账号。从平台入口进入：。 会看到如下的界面，其实就是把linux系统的控制台搬到了浏览器上。可用的命令这里已经有了说明。
3、相对于0来说当然是有改进的了，主要体现在两个方面：第一，Namenode问题，0只有一个主节点，容易出现单点故障，并且当管理多个数据节点的时候，负载压力很大。
4、提供海量数据存储和计算的。需要java语言基础。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
5、接收client用户的操作请求，这种用户主要指的是开发工程师的Java代码或者是命令客户端操作。维护文件系统的目录结构，主要就是大量数据的关系以及位置信息等。
做大数据分析系统Hadoop需要用哪些软件
1、你好，目前大数据常用的工具有Apache Hadoop、Apache Spark、Apache Storm、Apache Cassandra、Apache Kafka等等。下面分别介绍一下这几种工具：Hadoop用于存储过程和分析大数据。Hadoop 是用 Java 编写的。-mpireduce
2、Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的， 许多企业已经使用它来将SQL表转化为pdf，这使每个人都可以在会议上对其进行审议。
3、MongoDB 是世界领先的数据库软件。它基于 NoSQL 数据库，可用于存储比基于 RDBMS 的数据库软件更多的数据量。MongoDB 功能强大，是最好的大数据分析工具之一。它使用集合和文档，而不是使用行和列。-mpireduce
4、思迈特软件Smartbi：动静结合的数据可视化。
5、大数据分析用什么分析软件？一般基础数据分析用 excel，origin，功能还是比较强大的，大数据分析用SAS， SPSS，RSA，MATLAB，DPS，EVIEWS， GAUSS， Minitab， Statistica，FineBI，最新的还有采用Hadoop技术。-mpireduce
