如何理解大数据技术基础技巧

来源：成都中公优就业IT培训机构时间：2020/7/11 10:23:36

　　以下是小编为大家整理大数据知识点如何理解大数据技术基础技巧的内容。

      服务器集群

　　服务器集群是一种提升服务器整体计算能力的解决方案。

       它是由互相连接在一起的服务器群组成的一个并行式或分布式系统。

　　由于服务器集群中的服务器运行同一个计算任务，因此，从外部看

      这群服务器表现为一台虚拟的服务器，对外提供统一的服务。

　　尽管单台服务器的运算能力有限，但是将成百上千的服务器组成服务器集群后

       整个系统就具备了强大的运算能力，可以支持大数据分析的运算负荷。

　　Google、Amazon 阿里巴巴的计算中心里的服务器集群都达到了 5000 台服务器的规模。

　　大数据的技术基础

　　2003—2004 年间，Google 发表了 MapReduce、GFS（Google File System）

       和 BigTable 3 篇技术论文，提出了一套全新的分布式计算理论。

　　MapReduce 是分布式计算框架，GFS 是分布式文件系统

       BigTable 是基于 GFS 的数据存储系统，这 3 大组件组成了 Google 的分布式计算模型。

　　Google 的分布式计算模型相比于传统的分布式计算模型有 3 大优势：

　　简化了传统的分布式计算理论，降低了技术实现的难度，可以进行实际的应用。

　　可以应用在廉价的计算设备上，只需增加计算设备的数量就可以提升整体的计算能力

      应用成本十分低廉。

　　被应用在 Google 的计算中心，取得了很好的效果，有了实际应用的证明。

　　后来，各家互联网公司开始利用 Google 的分布式计算模型搭建自己的分布式计算系统

      Google 的这 3 篇论文也就成为大数据时代的技术核心。

　　当时 Google 采用分布式计算理论也是为了利用廉价的资源，使其发挥出更大的效用。

       Google 的成功使人们开始效仿，从而产生了开源系统 Hadoop。

　　从 Hadoop 体系和 Google 体系各方面的对应关系来讲

        Hadoop、MapReduce 相当于 MapReduce，HDFS 相当于 GFS，HBase 相当于 BigTable。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/3178/news/215844/违者必究！ 以上就是成都中公优就业IT培训机构 小编为您整理 如何理解大数据技术基础技巧的全部内容。