大数据架构师是做什么的？

来源：上海中公优就业IT培训学院时间：2020/7/20 8:59:22

 架构师工作能力的强弱以及专业素养的高低可能决定了整个软件项目的成败，所以作为架构师，他必须对开发技术非常了解，并且需要有良好的组织管理能力以及责任心。

1、理解、评价并接收项目需求，并且与协调整个项目中的技术活动（例如：需求分析、方案设计和实施等）。

2、推动主要的技术决策、技术选型，并终转化为软件构架。

3、确定和文档化系统的相对构架而言意义重大的方面，包括系统的需求、设计、实施和部署等“视图”。

4、确定设计元素的分组以及这些主要分组之间的接口制定。

5、攻克技术难点、化解技术风险，并增加相关决定被有效的传达和贯彻执行。

6、根据不同时期业务场景优化和演进软件架构。

如何做技术选型？

在讲技术选行之前，还是要插播一个问题：先理解架构设计的目的是什么？架构就是为了应对软件系统复杂度而提出的解决方案，说白了，架构设计的目的就是为了解决系统复杂度带来的问题；所以在做技术选型的时候需要结合业务场景和业务需求，在尽量降低整体架构复杂度的同时选择适合的技术。

接下来结合我们以前做过的一个大数据平台项目，简单探讨一下选型过程吧：

1、环境：根据运维的情况，或者结合公司具体历史原因，进行综合衡量，是用redhat或centos，甚至有些服务可以部署在Windows上；不过所有的服务器还是尽量选择同一个版本，以便运维；

2、数据存储：结合数据源的情况，以及数据具体的应用场景，结构化数据和非结构化数据需要尽量区分来存储。在选择关系型数据库的时候要结合项目的成本与产出，对数据存储的要求等选择不同的数据库，如果数据量大而且对数据安全要求高可以考虑oracle；如果对查询性能要求高可以考虑IQ；如果数据量不是很大，而且考虑到投入成本，可以直接用myql。

     在大数据平台中对于非关系型数据库的选择，需要结合一下三点：根据数据源的类型和采集方式。比如非结构化的数据不可能拿一个关系数据库去存储。采集方式如果是流失处理，通过消息队列传递是比较合适的，例如放到Kafka、RocketMQ等是比较好选择。根据采集之后数据的格式和规模。比如数据格式是文档型的，能选的存储方式就是文档型数据库，例如MongoDB、ES等；采集后的数据是结构化的，则可以考虑关系型数据库；如果数据量达到很大规模，放到HDFS里。分析数据的应用场景。根据数据的应用场景来判定存储技术选型。

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/1978/news/221476/违者必究！ 以上就是上海中公优就业IT培训学院 小编为您整理 大数据架构师是做什么的？的全部内容。