大数据运维的工作职责

来源：大同IT培训学校时间：2020/12/6 17:26:03

一.集群管理
大数据需要分布式系统，也就是集群：Hadoop，Hbase，Spark，Kafka，Redis等大数据生态圈组建。
二.故障处理
1.商用硬件使用故障是常态。
2.区分故障等级，处理影响实时性业务的故障。
三.变更管理
1.以可控的方式，的完成变更工作；
2.包括配置管理和发布管理；
四.容量管理
1.存储空间，允许链接数等都是容量概念；
2.在多租户环境下，容量管理尤其重要；
五.性能调优
1.不同组建的性能概念不一样，如kafka注重吞吐量，Hbase注重实用性可用性;
2.需要对组建有深刻的理解
六.架构优化
1..优化大数据平台架构，支持平台能力和产品的不断迭代;

2.类似架构师的工作；

大数据运维的主要工作
一.运维三板斧
三板斧可以解决90%以上的故障处理工作。
1.重启
重启有问题的机器或经常，使其正常工作。
2.切换
主备切换或主主切换，链接正常工作的节点。
3.查杀
查杀有问题的进程，链接等。
4.三板斧的问题
一：只能处理故障处理问题，不能解决性能调优，架构优化等问题；
二：只能治标，不能治本；
5.大数据运维和传统运维的不同
一：传统运维面对的底层软硬件基本稳固，大数据运维面对的是商用硬件和复杂linux版本；
二：传统运维面对的是单机架构为主，大数据运维面对复杂的分布式架构；
三：传统运维大多维护闭源商业版系统，大数据运维通常面对开源系统，文档手册匮乏，对阅读源码要求高。
四：大数据运维对自动化工具的依赖大大增加；