鼓楼区大数据培训班(2)

适用人群：初级

课程简介：万和大数据课程体系课程设置无缝对接企业用人需求，万和四个月，胜读四年书大数据基础大数据基础1.什么是大数据？-大数据概念； 2.大数据主要分类类型； 3.大数据和普通数据的区别；大数据现状1.现有企业应用场景； 2.大数据生态圈介绍；群组讨论1."自我定义的大数据"-群组讨论； 2.学员技能摸底，情况归档；Linux基础Linux基本命令解析1.熟悉Linux历史背景； 2.了解Linux基本命令；虚拟机-Centos安装1.安装虚拟机； 2.安装Mvn，Jdk等工具ZookeeperZookeeper熟悉和用途综述1.Zookeeper介绍 2.Zookeeper基础知识 3.体系结构 4.数据模型Zookeeper环境搭建1.集群搭建和测试 2.命令行客户端操作 3.StatZookeeper开发1.Watches、Node详解 2.API介绍 3.Java Client开发 4.实战内容（现场实验环节）Zookeeper集群搭建、 命令行Client操作1.Zookeeper 节点类型与体系结构 2.Zookeeper Watch 3.Zookeeper 与 HBase 的关系 4.Zookeeper 更新Server 实例实现 5.Zookeeper 分布式锁Hbase数据库Hbase熟悉和用途综述1.Hbase介绍 2.Hbase基础知识 3.体系结构 4.数据模型Hbase环境搭建1.集群搭建和测试 2.命令行客户端操作 3.StatHbase开发1.Hbase增删改查 2.Hbase的基础get，scanner等命令Hadoophadoop的前世今生1.大数据背景及hadoop出现的契机 2.hadoop概述 3.hadoop生态系统 4.hadoop分布式文件系统HDFS 5.hadoop计算框架MapReduce 6.hadoop版本发展历史 7.hadoop行业应用案例分析 8.hadoop与云计算和大数据的关系hadoop的前世今生1.hadoop 核心组件简单介绍 2.hadoop 部署角色简单介绍 3.hadoop 试验集群的部署结构 4.hadoop 安装依赖关系 5.hadoop 生产环境的部署结构 6.hadoop 集群部署 7.hadoop 高可用配置方法 8.hadoop 集群简单测试方法 9.hadoop 集群异常debug方法hadoop YARN架构设计和核心概念1.YARN的出现的背景 2.YARN的设计思想和背景 3.YARN的基础架构 4.YARN的工作流程 5.YARN的基础类库详解 6.YARN的核心模块ApplicationMaster详解 7.YARN的核心模块ResourseManager剖析 8.YARN的核心模块NodeManager详解 9.YARN 资源调度器详细介绍SparkSpark的发展历程1.大数据背景及sPARK出现的契机 2.Spark概述 3.Spark生态系统 4.Spark核心组件原理和架构 5.Spark分布式文件系统HDFS 6.Spark计算核心算法 7.Spark部署角色 8.Spark版本发展历史 9.Spark行业应用案例分析安装Spark1.Spark 核心组件简单介绍 2.Spark 部署角色简单介绍 3.Spark 试验集群的部署结构 4.Spark 安装依赖关系 5.Spark 生产环境的部署结构 6.Spark 集群部署 7.Spark 高可用配置方法 8.实战内容（现场实验环节）Spark 部署模式剖析1.Spark的工作流程 2.Spark的多种调度模式区别 3.Spark的调度通信机制Spark 高级编程,Spark Streaming高级编程1.Spark 核心API介绍 2.Suffle 算法介绍 3.Spark异常回滚机制介绍 4.Spark Sql剖析 5.Spark Streaming剖析 6.Spark RDD剖析 7.实战内容（现场实验环节）Spark 及Spring搭配1.Spark和Spring集成 2.实战内容（现场实验环节）Spark编程模型及调优1.Spark编程模型及调优 2.实战内容（现场实验环节）stormStorm基础知识1.包括storm基本概念 2.storm应用场景 3.应用现状和发展趋势 4.storm与hadoop的区别Storm的架构与原理1.Nimbus进程与Supervisor进程 2.storm集群环境搭建 3.zookeeper集群的搭建 4.storm配置文件配置项讲解 5.storm常用组件和编程API 6.Topology、Spout、Bolt、Storm分组策略 7.（Stream Groupings） 8.storm项目maven环境的搭建 9.实战内容（现场实验环节）storm可靠性机制1.消息处理的含义 2.storm的ack/fail机制 3.storm如何保证可靠性 4.storm如何实现可靠性storm高并发策略1.工作进程、执行器与任务的区别 2.配置topology的并行度 3.topology实例 4.如何改变运行中topology的并行度流分组1.什么是流分组 2.6种不同的流分组方式组件详解1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象类:BaseComponent抽象类、BaseRichSpout抽象类、BaseRichBolt抽象类、BaseBasicBolt抽象类storm批处理事务处理1.storm批处理详解 2.storm事务工作原理深入讲解 3.storm事务相关API详解 4.storm事务案例分析 5.storm分区事务与不透明分区事务Kafkakafka概述1.kafka是什么:kafka概念详解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.kafka的应用场景 3.kafka的体系架构与设计原理kafka的安装部署1.kafka集群环境的搭建 2.kafka配置项的配置与讲解 3.分布与订阅的原理 4.分布与订阅的接口kafka使用zookeeper进行协调管理1.zookeeper在kafka中的作用 2.zookeeper如何进行协调管理