本文目录一览：
Hadoop和MapReduce究竟分别是做什么用的
1、hadoop是依据mapreduce的原理，用Java语言实现的分布式处理机制。
2、MapReduce是Hadoop生态系统中的分布式计算框架，用于处理大规模数据集。MapReduce将数据分成多个小块，将计算任务分配到多个节点上并行处理，最后将结果汇总输出。
3、hadoop是基于建立在多个计算集群组上的，而Mapreduce是hadoop中提供的实现方法，map和reduce函数实现拆分和整合。不知道你要做的是数据挖掘方面的还是数据仓库方面的工作，大数据的应用是因为hadoop可以处理海量的数据。-mapreduce
4、Hdfs 是一个分散式档案系统，它使用多种备份方法来存储文件，并且可以用来连接像 hive 和 hbase 这样的产品和存储相应的数据。Mapreduce 是一个用于大型数据处理的并行框架。
5、Hadoop的框架最核心的应用就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
请简述mapreduce计算的主要流程
1、输入：输入数据分为键/值对，由集群中的每个节点处理。映射函数：使用输入数据中的每个键/值对来调用用户定义的映射函数，以生成一组中间键/值对。Shuffle：将中间的键/值对分组，并将其发送到正确的节点。-mapreduce
2、mapreduce工作流程如下：输入分片（input split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身。-mapreduce
3、MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。-mapreduce
4、Shuffle先后分为Map端Shuffle和Reduce端Shuffle Map端Shuffle经历如下过程 输入数据是由RecordReader处理得到的key-value，然后给到Map任务，Map函数由用户自定义，输出是list(key， value)。-mapreduce
5、其实，一次mapreduce过程就包括上图的6个步骤，input、splitting、mapping、shuffling、redecing、final redult。
6、MapReduce里的Shuffle：描述着数据从map task输出到reduce task输入的这段过程。 Map端流程分析 1 每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小(默认64M)为一个分片，当然我们也可以设置块的大小。-mapreduce
hadoop和mapreduce是一种什么关系?
1、hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper，Hive，Hbase等。
2、简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。
3、分布式计算是云计算的一种，而hadoop正是一种分布式的并行计算。就是可以把任务放在多个机器上进行并行的运行任务。hadoop是基于建立在多个计算集群组上的，而Mapreduce是hadoop中提供的实现方法，map和reduce函数实现拆分和整合。-mapreduce
