README

本文高度引用了BigData-Notes的文章，并综合其他资料整理修改。

0. 前言

1. 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

1. Hadoop

1. 分布式文件存储系统 — HDFS

2. 分布式计算框架 — MapReduce

3. 集群资源管理器 — YARN

4. Hadoop 单机伪集群环境搭建

5. Hadoop 集群环境搭建

6. HDFS 常用 Shell 命令

7. HDFS Java API 的使用

8. 基于 Zookeeper 搭建 Hadoop 高可用集群

9. Hadoop级简入门

10. MapReduce编程模型和计算框架架构原理

2. Hive

1. Hive 简介及核心概念
2. Linux 环境下 Hive 的安装部署
3. Hive CLI 和 Beeline 命令行的基本使用
4. Hive 常用 DDL 操作
5. Hive 分区表和分桶表
6. Hive 视图和索引
7. Hive 常用 DML 操作
8. Hive 数据查询详解
9. Hive实现WordCount详解
10. Hive SQL的编译过程

3. Spark

3.1 Spark Core

1. Spark 简介
2. Spark 开发环境搭建
3. 弹性式数据集 RDD
4. RDD 常用算子详解
5. Spark 运行模式与作业提交
6. Spark 累加器与广播变量
7. 基于 Zookeeper 搭建 Spark 高可用集群

3.2 Spark SQL

1. DateFrame 和 DataSet
2. Structured API 的基本使用
3. Spark SQL 外部数据源
4. Spark SQL 常用聚合函数
5. Spark SQL JOIN 操作

3.3 Spark Streaming

1. Spark Streaming 简介
2. Spark Streaming 基本操作
3. Spark Streaming 整合 Flume
4. Spark Streaming 整合 Kafka

4. HBase

1. Hbase 简介
2. HBase 系统架构及数据结构
3. HBase 基本环境搭建
4. HBase 集群环境搭建
5. HBase 常用 Shell 命令
6. HBase Java API
7. Hbase 过滤器详解
8. HBase 协处理器详解
9. HBase 容灾与备份
10. HBase的 SQL 中间层 —— Phoenix
11. Spring/Spring Boot 整合 Mybatis + Phoenix

5. Storm

1. Storm 和流处理简介
2. Storm 核心概念详解
3. Storm 单机环境搭建
4. Storm 集群环境搭建
5. Storm 编程模型详解
6. Storm 项目三种打包方式对比分析
7. Storm 集成 Redis 详解
8. Storm 集成 HDFS/HBase
9. Storm 集成 Kafka

6. Flink

1. Flink 核心概念综述
2. Flink 开发环境搭建
3. Flink Data Source
4. Flink Data Transformation
5. Flink Data Sink
6. Flink 窗口模型
7. Flink 状态管理与检查点机制
8. Flink Standalone 集群部署

7. Scala

1. Scala 简介及开发环境配置
2. 基本数据类型和运算符
3. 流程控制语句
4. 数组 —— Array
5. 集合类型综述
6. 常用集合类型之 —— List & Set
7. 常用集合类型之 —— Map & Tuple
8. 类和对象
9. 继承和特质
10. 函数 & 闭包 & 柯里化
11. 模式匹配
12. 类型参数
13. 隐式转换和隐式参数