基于Spark的大数据分析培训与咨询-

Spark概述

• 大数据起源
• 离线分析、在线分析与流计算
• 开源大数据包Spark概述
• Spark的扩展包SQL、MLLib和GraphX
• 开源社区的组织结构与开源条款
• 案例解析：一个跨国IT企业的开源包使用法务流程与风险规避

Scala编程原理

• Scala：函数式编程
• 安装Scala集成开发环境
• 使用Scala分析北京汽车摇号结果
• 将MapReduce程序迁移到Spark上
• 实战练习：在本机上使用scala进行简单的spark编程

Spark Streaming流计算

• Spark Streaming概述
• Kafka概述
• 基于Kafka数据源的Spark Stream练习
• 在本机上使用scala进行简单地Spark Streaming编程，数据源使用Kafka

Spark的分布式存储

• Standalone Spark集群配置
• HDFS集群配置
• 编写Scala程序访问HDFS
• 实战练习：在本机上使用scala进行简单的HDFS数据访问

Spark与NOSQL

• NOSQL存储特征与数据格式
• 使用Scala进行HBase数据分析示例
• 实战练习：在本机上使用scala进行HBase数据访问

Spark与Yarn

• Spark on Yarn集群配置
• Spark on Yarn与standalone相比的优势
• 案例分析：某巨型互联网公司基于Spark on Yarn的超大规模集群部署案例分析

Spark与MapReduce

• Spark计算模型和MapReduce的对比
• Spark与MapReduce的相同点
• Spark与MapReduce的差异

Spark性能

• Spark资源调度方法
• CPU、内存、网络与存储配置对性能的影响及常用调优参数
• 案例解析：一个跨国IT企业的spark集群构建方法与参数选择

Spark与MLlib

• 机器学习的常用算法
• 使用Spark MLlib实现机器学习算法

Spark与ZooKeeper

• 通过ZooKeeper实现Spark高可用架构

Spark的案例

• 一个基于Spark与Hadoop的实时分析系统架构设计与实现—某银行的大数据体系介绍以及spark在其中扮演的角色
• 方案设计
• 分析算法确定
• 分析算法与数据流设计
• 技术实现演示