解读大数据与区块链的关系

来源：宁波达内IT教育培训学校时间：2019/12/18 9:50:09

大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。

另外，大数据对存储技术提出的另一个挑战是多种数据格式的适应能力，因此现在大数据底层的存储层不只是HDFS，还有HBase和Kudu等存储架构。

区块链，是比特币的底层技术架构，它在本质上是一种去中心化的分布式账本。

区块链技术作为一种持续增长的、按序整理成区块的链式数据结构，通过网络中多个节点共同参与数据的计算和记录，并且互相验证其信息的有效性。

从这一点来说，区块链技术也是一种特定的数据持久化技术。由于去中心化在安全、便捷方面的特性，很多业内人士看好其发展，认为它是对现有互联网技术的升级与补充。

分布式计算：MapReduce vs. 共识机制

大数据的分析挖掘是数据密集型计算，需要巨大的分布式计算能力。节点管理、任务调度、容错和高可靠性是关键技术。

Google和Hadoop的MapReduce是这种分布式计算技术的代表，通过添加服务器节点可线性扩展系统的总处理能力(Scale Out)，在成本和可扩展性上都有巨大的优势。

现在，除了批计算，大数据还包括了流计算、图计算、实时计算、交互查询等计算框架。

区块链的共识机制，就是所有分布式节之间怎么达成共识，通过算法来生成和更新数据，去认定一个记录的有效性，这既是认定的手段，也是防止篡改的手段。

区块链主要包括四种不同的共识机制，适用于不同的应用场景，在效率和安全性之间取得平衡。以比特币为例，采用的是“工作量证明”(Proof Of Work，简称POW)，只有在控制了全网超过51%的记账节点的情况下，才有可能伪造出一条不存在的记录。

区块链是纯粹意义上的分布式系统

商业需要集中，希望通过产品实现更好的控制和更高的利润。

但随着产品集中度的不断上升，系统会越来越复杂，实现的难度越来越大，沟通、交流和管理的成本也越来越高，终变得不经济。

社会需要分工，让专业的人做专业的事，涂尔干的《社会分工论》谈到，“分工使社会像有机体一样，每个成员都为社会整体服务，同时又不能脱离整体，分工就像社会的纽带，故谓之‘有机团结’。

分布式技术的诞生，正是基于这种思想。

产品功能被分解并分布到不同的节点上去完成，节点之间通过网络实现沟通。分布式系统中的一些节点或因为商业上的成功，重新成为“集中化”的节点，但随着时代的改变，它们终将会进入新一轮的分布式周期。

2012年更进一步，并在2013年几乎达到了过热期顶峰。经历了2014年的下滑，从2015年开始，“大数据”突然从曲线中消失，可解读为Gartner对大数据的定位已从“新兴”转为“主流”。

当前，大数据对于企业的意义已从能力要素上升为战略核心。

相对而言，“区块链”直到2016年才次出现在《技术成熟度曲线》中，并直接进入“过热期”。总的来看，“大数据”和“区块链”所处的生命周期阶段大不相同，两者约有5年左右的差距。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/1840/news/129621/违者必究！ 以上就是宁波达内IT教育培训学校 小编为您整理 解读大数据与区块链的关系的全部内容。