鼓楼区大数据培训班(2)

适用人群：初级

课程简介：万和大数据课程体系课程设置无缝对接企业用人需求，万和四个月，胜读四年书大数据基础大数据基础1.什么是大数据？-大数据概念； 2.大数据主要分类类型； 3.大数据和普通数据的区别；大数据现状1.现有企业应用场景； 2.大数据生态圈介绍；群组讨论1."自我定义的大数据"-群组讨论； 2.学员技能摸底，情况归档；Linux基础Linux基本命令解析1.熟悉Linux历史背景； 2.了解Linux基本命令；虚拟机-Centos安装1.安装虚拟机； 2.安装Mvn，Jdk等工具ZookeeperZookeeper熟悉和用途综述1.Z****eper介绍 2.Z****eper基础知识 3.体系结构 4.数据模型Zookeeper环境搭建1.集群搭建和测试 2.命令行客户端操作 3.**atZookeeper开发1.*****es、Node详解 2.*PI介绍 3.**va Client开发 4.实战内容（现场实验环节）Zookeeper集群搭建、 命令行Client操作1.Z****eper 节点类型与体系结构 2.Z****eper Watch 3.Z****eper 与 HBase 的关系 4.Z****eper 更新Server 实例实现 5.Z****eper 分布式锁Hbase数据库Hbase熟悉和用途综述1.***se介绍 2.***se基础知识 3.体系结构 4.数据模型Hbase环境搭建1.集群搭建和测试 2.命令行客户端操作 3.**atHbase开发1.***se增删改查 2.***se的基础get，scanner等命令Hadoophadoop的前世今生1.大数据背景及hadoop出现的契机 2.****op概述 3.****op生态系统 4.****op分布式文件系统HDFS 5.****op计算框架MapReduce 6.****op版本发展历史 7.****op行业应用案例分析 8.****op与云计算和大数据的关系hadoop的前世今生1.****op 核心组件简单介绍 2.****op 部署角色简单介绍 3.****op 试验集群的部署结构 4.****op 安装依赖关系 5.****op 生产环境的部署结构 6.****op 集群部署 7.****op 高可用配置方法 8.****op 集群简单测试方法 9.****op 集群异常debug方法hadoop YARN架构设计和核心概念1.**RN的出现的背景 2.**RN的设计思想和背景 3.**RN的基础架构 4.**RN的工作流程 5.**RN的基础类库详解 6.**RN的核心模块ApplicationMaster详解 7.**RN的核心模块ResourseManager剖析 8.**RN的核心模块NodeManager详解 9.**RN 资源调度器详细介绍SparkSpark的发展历程1.大数据背景及sPARK出现的契机 2.***rk概述 3.***rk生态系统 4.***rk核心组件原理和架构 5.***rk分布式文件系统HDFS 6.***rk计算核心算法 7.***rk部署角色 8.***rk版本发展历史 9.***rk行业应用案例分析安装Spark1.***rk 核心组件简单介绍 2.***rk 部署角色简单介绍 3.***rk 试验集群的部署结构 4.***rk 安装依赖关系 5.***rk 生产环境的部署结构 6.***rk 集群部署 7.***rk 高可用配置方法 8.实战内容（现场实验环节）Spark 部署模式剖析1.***rk的工作流程 2.***rk的多种调度模式区别 3.***rk的调度通信机制Spark 高级编程,Spark Streaming高级编程1.***rk 核心API介绍 2.****le 算法介绍 3.***rk异常回滚机制介绍 4.***rk Sql剖析 5.***rk Streaming剖析 6.***rk RDD剖析 7.实战内容（现场实验环节）Spark 及Spring搭配1.***rk和Spring集成 2.实战内容（现场实验环节）Spark编程模型及调优1.***rk编程模型及调优 2.实战内容（现场实验环节）stormStorm基础知识1.包括storm基本概念 2.***rm应用场景 3.应用现状和发展趋势 4.***rm与hadoop的区别Storm的架构与原理1.****us进程与Supervisor进程 2.***rm集群环境搭建 3.z****eper集群的搭建 4.***rm配置文件配置项讲解 5.***rm常用组件和编程API 6.******gy、Spout、Bolt、Storm分组策略 7.（Stream Groupings） 8.***rm项目maven环境的搭建 9.实战内容（现场实验环节）storm可靠性机制1.消息处理的含义 2.***rm的ack/fail机制 3.***rm如何保证可靠性 4.***rm如何实现可靠性storm高并发策略1.工作进程、执行器与任务的区别 2.配置topology的并行度 3.******gy实例 4.如何改变运行中topology的并行度流分组1.什么是流分组 2.6种不同的流分组方式组件详解1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象类:BaseComponent抽象类、BaseRichSpout抽象类、BaseRichBolt抽象类、BaseBasicBolt抽象类storm批处理事务处理1.***rm批处理详解 2.***rm事务工作原理深入讲解 3.***rm事务相关API详解 4.***rm事务案例分析 5.***rm分区事务与不透明分区事务Kafkakafka概述1.***ka是什么:kafka概念详解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.***ka的应用场景 3.***ka的体系架构与设计原理kafka的安装部署1.***ka集群环境的搭建 2.***ka配置项的配置与讲解 3.分布与订阅的原理 4.分布与订阅的接口kafka使用zookeeper进行协调管理1.z****eper在kafka中的作用 2.z****eper如何进行协调管理