课程介绍

学习资料

来源：昆明达内IT教育培训学校时间：2020/9/5 17:00:50

昆明学习大数据去哪好呢

大数据的开发
1.数据采集

数据采集有线上和线下两种方式，线上一般通过爬虫，通过抓取或者通过已有应用系统的采集。在这个阶段，我们可以做一个大数据采集平台，依托自动爬虫（使用Python或者Node.js制作爬虫软件），ETL工具、或者自定义的抽取转换引擎，从文件中、数据库中、网页中专项爬取数据。如果这一步通过自动化系统来做的话，可以很方便的管理所有的原始数据，并且从数据的开始对数据进行标签采集，可以规范开发人员的工作，同时目标数据源可以更方便的管理。数据采集的难点在于多数据源，例如mysql、postgresql、sqlserver、mongodb、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将它们规整、有方案地整理进我们的大数据流程中也是必不可缺的一环。

2.数据汇聚
数据的汇聚是大数据流程关键的一步，你可以在这里加上数据标准化，你也可以在这里做数据清洗，数据合并，还可以在这一步将数据存档，将确认可用的数据经过可监控的流程进行整理归类，这里产出的所有数据就是整个公司的数据资产，到了一定的量就是一笔固定资产。数据汇聚的难点在于如何标准化数据，例如表名标准化，表的标签分类，表的用途，数据的量，是否有数据增量？数据是否可用？这些需要在业务上下很大的功夫，必要时还要引入智能化处理，例如根据内容训练结果自动打标签，自动分配推荐表名、表字段名等，还有如何从原始数据中导入数据等。
3.数据转化与映射
经过数据汇聚的数据资产如何提供给具体的使用方使用？在这一步，主要就是考虑数据如何应用，如何将两、三个数据表转换成一张能够提供服务的数据。然后定期更新增量。经过前面的那几步，在这一步难点并不太多了，如何转换数据与如何清洗数据、标准数据无二，将两个字段的值转换成一个字段，或者根据多个可用表统计出一张图表数据等等。

达内大数据云计算辅导班优势

在线课程+在线辅导—短时间内解决技术问题,修炼技术功力

达内大数据云计算辅导班

入学流程

　　达内大数据云计算课程招生简章

课程主题	课程内容	课程目标
阶段(Java基础)
Java语言的特性	静态导入、自动封箱拆箱、可变参数、增强for、枚举、类加载器、反射、内省、泛型、注解、动态代理回	掌握Java语言的特性
Java多线程	多线程加强、线程池、Thread Local	掌握Java线程池技术，掌握线程的Join、notify、notifyAll等机制
XML	Dom解析、Sax解析、Pull解析　　Schema	基于Xml的解析与维护
Web	Html,Css,Js	掌握简单的Html，Css，Js的编写

实训项目一：易买网项目

　　第二阶段(Web阶段，易买网项目贯穿)

　　JAVAWEB前端技术

　　项目介绍、项目开发流程

　　Html、CSS、JS

　　了解真实项目开发流程

　　掌握前端开发基本技术

　　JAVAWEB基础技术

　　Tomcat、HTTP协议、Servlet、Jsp、EL、JSTL、自定义标签

　　MVC、JAVAWEB三层架构

　　软件分层、耦合、解耦

　　AJAX

　　掌握JAVAWEB基础知识

　　深入理解软件分层思想

　　AJAX实现异步刷新

　　JAVAWEB技术

　　Filter、Listener

　　文件上传、下载

　　在线支付

　　过滤器、监听器及常见应用场景

　　文件上传、下载

　　在线支付功能实现 aa

　　JAVAWEB框架加强

　　面向切面编程

　　通过注解控制事务

　　java基础加强、框架加强

　　JAVA特性

　　熟悉常见设计模式

　　通过模拟实现框架功能，为后续学习SSH打基础

　　实训项目二：国际物流项目

第三阶段(Struts,Hibernate,Spring,SSH项目贯穿)
Struts2	分析Servlet缺点，进行重构　　Struts.xml配置文件　　ValueStack 　　Ognl表达式　　属性驱动、模型驱动、拦截器、文件上传、token机制等	掌握Struts2在项目开发时用到的各种知识点，能够应用　　该框架熟练的开发
Hibernate	ORM的概念、CRUD的完成、Hibernate常用的配置、API详细的分析、对象的三种状态、关联关系、检索、优化、缓存机制	熟练掌握利用Hibernate框架完成项目的开发，深入理解ORMapping的概念，深入理解缓存机制
Spring	IOC、DI、动态代理模式、AOP、基于Spring的数据库编程、 Spring的声明式事务处理，Struts2与Hibernate与Spring的整合	深入理解SpringIOC、DI在软件架构中的作用，深入理解SpringAOP的实现机制和应用场景， Struts2的特性(对象工厂、静态注入、插件机制、 ThreadLocal针对ActionContext的封装、Struts2的核心流程、结果集架构)、深入理解SSH整合的原理
JQuery	JQuery常见选择器的应用	利用JQuery控制Web界面
JS	JS面向对象的特征	对象、原型、闭包、JQuery内部结构解析等
Maven	Maven的概念、使用、原理、　　Module的概念、仓库	能用Maven搭建项目环境　　熟练使用Maven的依赖和继承机制
SSH项目：国际物流	项目背景、系统USE CASE图、系统功能结构图、系统框架图、国际物流核心业务货运管理、购销合同业务、购销合同下货物、出口报运单、装箱单、委托书、发票、财务统计、海量数据导出、出口报运、装箱业务、Shiro安全框架、工作流Activiti5	掌握画USECASE图、系统结构图、系统框架图。　　面试能顺畅讲述国际物流核心业务，包括：购销合同、出口报运、装箱、委托、发票、财务。　　了解大型数据库设计思路，及数据库在设计上如何优化。　　熟练实现合同、货物、附件两级主从结构。　　熟练POI制式表单应用。　　熟练应用Shiro安全框架。　　熟练应用工作流Activiti5实现货运管理流程控制。