大数据技术发展趋势分析

来源：昆明达内教育IT培训机构时间：2022/4/28 13:57:31

　　大数据技术发展趋势分析

　　大数据的应用和技术起源于互联网，首先是网站和网页的爆发式增长，搜索引擎公司较早感受到了海量数据带来的技术上的挑战，随后兴起的社交网络、视频网站、移动互联网的浪潮加剧了这一挑战。

　　互联网企业发现新数据的增长量、多样性和对处理时效的要求是传统数据库、商业智能纵向扩展架构无法应对的。
　　在此背景下，谷歌公司率先于2004年提出一套分布式数据处理的技术体系，即分布式文件系统谷歌文件系统(Google file system，GFS)、分布式计算系统MapReduce和分布式数据库BigTable，以较低成本很好地解决了大数据面临的困境，奠定了大数据技术的基础。
　　受谷歌公司论文启发，Apache Hadoop实现了自己的分布式文件系统HDFS、分布式计算系统MapReduce和分布式数据库HBase，并将其进行开源，这是大数据技术开源生态体系的起点。
　　2008年左右，雅虎较早在实际环境中搭建了大规模的Hadoop集群，这是Hadoop在互联网公司使用较早的案例，后来Hadoop生态的技术就渗透到了互联网、电信、金融乃至更多的行业。
　　2009年UCBerkley大学的AMPLab研发出了Spark，经过5年的发展，正式替换了Hadoop生态中MapReduce的地位，成为了新一代计算引擎，而2013年纯计算的Flink诞生，对Spark发出了挑战。2014年之后大数据技术生态的发展进入了平稳期。
　　经过10年左右的发展，大数据技术形成了以开源为主导、多种技术和架构并存的特点。从数据在信息系统中的生命周期看，大数据技术生态主要有5个发展方向，包括数据采集与传输、数据存储、资源调度、计算处理、查询与分析。

领取试听课

每天限量名额，先到先得

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/3172/news/519382/违者必究！以上就是昆明达内教育IT培训机构小编为您整理 大数据技术发展趋势分析的全部内容。