Hadoop基本原理与架构

来源：南宁达内教育IT培训机构时间：2022/4/8 11:29:37

　　Hadoop基本原理与架构

　　Hadoop作为开源大数据技术框架，能够帮助企业在相对低廉的成本投入上，搭建起自身的大数据系统平台。Hadoop作为基础架构，主要负责海量数据的存储以及离线计算。

　　Hadoop核心基础架构：
　　Hadoop分布式处理框架，HDFS是底层核心，负责大数据存储；MapReduce则是计算引擎，负责离线计算。
　　HDFS
　　HDFS（Hadoop File System），是Hadoop的分布式文件存储系统。
　　将大文件分解为多个Block，每个Block保存多个副本。提供容错机制，副本丢失或者宕机时自动恢复。默认每个Block保存3个副本，64M为1个Block。将Block按照key-value映射到内存当中。
　　MapReduce
　　MapReduce是一个编程模型，封装了并行计算、容错、数据分布、负载均衡等细节问题。MapReduce实现较开始是映射map，将操作映射到集合中的每个文档，然后按照产生的键进行分组，并将产生的键值组成列表放到对应的键中。化简（reduce）则是把列表中的值化简成一个单值，这个值被返回，然后再次进行键分组，直到每个键的列表只有一个值为止。
　　HIVE
　　hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，这套SQL简称HQL。
　　Hive使不熟悉Mapreduce的用户很方便的利用SQL语言查询、汇总、分析数据。而Mapreduce开发人员可以把己写的Mapper和Reducer作为插件来支持Hive做更复杂的数据分析。

领取试听课

每天限量名额，先到先得

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/3845/news/510181/违者必究！以上就是南宁达内教育IT培训机构小编为您整理 Hadoop基本原理与架构的全部内容。