轻松入门大数据：玩转Flink，打造湖仓一体架构

第1章 大厂技术首选高薪必备：揭开Flink的神秘面纱
1-1 高薪大数据工程师必备技能，你掌握了么？ (08:16)
1-2 本章概览 (02:01)
1-3 认识Flink (08:24)
1-4 部署应用到任意地方&运行任意规模应用 (05:04)
1-5 Flink的起源及发展史 (05:29)
1-6 Flink中的API (09:33)
1-7 Flink核心特性 (05:44)
1-8 Flink对比Spark (07:32)
1-9 【科普小贴士】Flink发展史&特点&行业应用
1-10 【面试官来啦】面试讨论题
1-11 【练练练】阶段作业题
第2章 批流一体丝滑开发体验：快速上手使用Flink进行编程
2-1 本章概览 (02:42)
2-2 基于Flink官方提供的命令构建Flink应用程序 (13:37)
2-3 基于IDEA+Maven构建Flink应用程序的本地开发环境 (11:25)
2-4 词频统计案例需求分析 (07:41)
2-5 Flink以批处理的方式实现功能开发 (11:57)
2-6 开发重构之自定义Function的方式 (04:20)
2-7 开发重构之Lambda表达式写法 (11:26)
2-8 Flink以流处理的方式实现功能开发 (07:44)
2-9 通过参数控制Flink以何种模式运行作业 (03:48)
2-10 Flink对接socket数据并进行统计分析 (03:25)
2-11 【练练练】阶段作业题
第3章 工欲善其事必先利其器：Flink部署及作业运行
3-1 本章概览 (03:39)
3-2 【环境配置】云主机开通及配置
3-3 从宏观角度认识Flink架构 (11:23)
3-4 再次认识JobManager和TaskManager (09:42)
3-5 Flink Standalone模式部署及Flink UI介绍 (10:38)
3-6 flink run运行官方自带案例 (03:24)
3-7 【补充】如何在本地运行环境中设定Flink WebUI (07:14)
3-8 动态传递参数给Flink应用程序改造 (04:02)
3-9 使用Flink WebUI提交自己开发的Flink应用程序 (03:33)
3-10 取消作业的两种方式 (03:39)
3-11 【重要】如何使用命令行的方式提交Flink应用程序 (08:11)
3-12 初探Flink集群部署模式 (13:20)
3-13 Flink Standalone之Application Mode方式运行 (05:37)
3-14 Flink on YARN之Application Mode方式运行 (08:46)
3-15 【面试官来啦】面试讨论题
3-16 【练练练】阶段作业题
第4章 快速便捷接入各种数据：Flink Data Source API编程
4-1 本章概览 (03:14)
4-2 DataStream API编程规范以及DataStream是什么 (10:02)
4-3 Flink多种执行环境的获取方式 (08:15)
4-4 结合源码分析Data Source (11:17)
4-5 单并行度Source测试用例 (09:54)
4-6 多并行度Source测试用例 (07:55)
4-7 结合源码分析SourceFunction (04:48)
4-8 自定义实现单并行度数据源 (07:20)
4-9 自定义实现多并行度数据源 (01:03)
4-10 自定义数据源实现MySQL数据的读取 (16:36)
4-11 【面试官来啦】面试讨论题
4-12 【练练练】阶段作业题
第5章 高效简洁数据处理方式：Flink Transformation API编程
5-1 本章概览 (01:52)
5-2 认识Flink中有哪些Transformation算子 (02:29)
5-3 Tranformation算子实操之map算子 (09:15)
5-4 Tranformation算子实操之filter算子 (04:38)
5-5 Tranformation算子实操之flatMap算子 (05:54)
5-6 Tranformation算子实操之keyBy算子 (08:15)
5-7 Tranformation算子实操之union算子 (04:14)
5-8 Tranformation算子实操之connect算子 (06:22)
5-9 Tranformation算子实操之自定义分区器 (16:01)
5-10 DataStream分流 (09:52)
5-11 【面试官来啦】面试讨论题
5-12 【练练练】阶段作业题
第6章 处理结果吐出外部系统：Flink Sink API编程
6-1 本章概览 (02:17)
6-2 认识Flink中的Sink (05:25)
6-3 Sink算子实操之print (07:35)
6-4 Sink算子实操之自定义Sink到终端 (03:36)
6-5 Sink算子实操之自定义Sink到文件系统 (10:45)
6-6 Flink处理结果输出到Redis中 (12:04)
6-7 Flink处理结果输出到MySQL中 (11:24)
6-8 Sink算子实操之输出到socket (04:55)
6-9 【面试官来啦】面试讨论题
6-10 【练练练】阶段作业题
第7章 玩转Flink项目实战之一：实时统计之商品分析
7-1 本章概览 (01:36)
7-2 企业中基于Flink实时处理的架构分析 (11:37)
7-3 需求分析 (07:39)
7-4 本地开发环境搭建 (03:38)
7-5 项目日志字段说明及生产数据注意事项 (04:43)
7-6 对接数据及清洗 (07:25)
7-7 日期格式清洗 (03:23)
7-8 统计结果 (01:58)
7-9 统计结果入Redis库 (03:53)
7-10 自定义RedisSink (04:49)
7-11 实现改造并进行统计结果的diff (09:45)
7-12 拓展 (04:46)
7-13 【面试官来啦】面试讨论题
7-14 【练练练】阶段作业题
第8章 一起揭开Kafka神秘面纱：Kafka架构&核心术语
8-1 本章概览 (01:53)
8-2 认识JMS (06:21)
8-3 通过官网的介绍知晓Kafka是什么 (10:03)
8-4 自我语言总结Kafka是什么 (05:34)
8-5 Kafka在大数据中的典型使用场景screenflow (06:53)
8-6 图解Kafka架构 (16:31)
8-7 【面试官来啦】面试讨论题
第9章 工欲善其事必先利其器：Kafka部署及监控
9-1 本章概览 (02:56)
9-2 动起我们的小手进行单节点单Kafka的部署（上） (02:27)
9-3 动起我们的小手进行单节点单Kafka的部署（下） (18:22)
9-4 kafka-topics命令行核心参数讲解 (08:07)
9-5 Kafka Topic命令行操作 (10:11)
9-6 Kafka生产者消费者命令行操作 (08:40)
9-7 动起我们的小手进行单节点多Kafka的部署 (09:04)
9-8 单节点多Kafka脚本命令测试 (03:41)
9-9 Kafka监控部署及使用 (07:56)
9-10 【面试官来啦】面试讨论题
9-11 【练练练】阶段作业题
第10章 深度剖析Kafka生产者：消息发送流程&API编程&调优
10-1 本章概览 (03:12)
10-2 【经典面试题–必掌握】生产者消息发送流程 (21:39)
10-3 生产者消息发送流程核心参数详解 (11:38)
10-4 生产者API开发之普通异步发送 (14:34)
10-5 生产者API开发之普通异步发送代码重构 (06:23)
10-6 生产者API开发之带回调的异步发送 (04:59)
10-7 生产者API开发之同步发送 (02:41)
10-8 Kafka的分区机制能为我们带来什么 (10:29)
10-9 Kafka分区策略结合源码分析 (06:53)
10-10 Kafka分区策略结合源码分析进行功能验证 (10:56)
10-11 Kafka自定义分区器功能开发及测试 (05:48)
10-12 Kafka性能调优参数在代码中的使用 (08:06)
10-13 【经典面试题–必掌握】谈谈你对Kafka中的副本以及同步副本的看法 (11:29)
10-14 【经典面试题–必掌握】谈谈你对Kafka中的acks的看法 (17:20)
10-15 【经典面试题–必掌握】谈谈你对Kafka中的消费语义的看法 (03:45)
10-16 精准一次消费实现之幂等性 (10:56)
10-17 精准一次消费实现之事务 (05:09)
10-18 精准一次消费实现之事务功能开发及测试 (05:31)
10-19 Kafka中Topic内的Partition中数据的有序性 (02:14)
10-20 【面试官来啦】面试讨论题
10-21 【练练练】阶段作业题
第11章 深入剖析Kafka Broker：Kafka消息高效存储机制
11-1 本章概览 (01:32)
11-2 Kafka相关信息在ZK上的存储机制 (14:45)
11-3 Leader选择与ZK的关系 (10:48)
11-4 Kafka副本机制 (11:28)
11-5 Kafka数据存储机制 (08:18)
11-6 Kafka数据存储机制更深入讲解 (26:03)
11-7 Kafka核心参数讲解 (07:49)
11-8 【面试官来啦】面试讨论题
第12章 深入剖析Kafka消费者：消息消费流程&API编程&调优
12-1 本章概览 (02:10)
12-2 Kafka为什么使用的是pull的消费方式 (10:12)
12-3 有了消费者之后为什么还需要消费者组 (07:11)
12-4 消费者组和Topic的关系 (08:45)
12-5 Kafka消费流程 (12:12)
12-6 结合源码了解GroupCoordinator初始化过程 (20:30)
12-7 消费者API编程之单消费者消费所有分区数据（上） (11:25)
12-8 消费者API编程之单消费者消费所有分区数据（下） (10:57)
12-9 消费者API编程之消费指定分区数据 (05:44)
12-10 消费者API编程之多消费者消费各自分区数据 (03:55)
12-11 Kafka分区策略之Range (10:32)
12-12 Kafka的Rebalance机制 (05:18)
12-13 根据源码描述测试Range的分区策略及Rebalance (11:36)
12-14 统一思想完成其他策略的验证 (03:12)
12-15 认识__consumer_offsets (07:53)
12-16 Kafka offset管理之自动提交 (09:38)
12-17 Kafka offset管理之手动提交 (03:17)
12-18 offset管理不当带来的隐患 (05:10)
12-19 【面试官来啦】面试讨论题
12-20 【练练练】阶段作业题
第13章 经典Kafka CP整合使用：Kafka整合外部系统
13-1 本章概览 (01:10)
13-2 认识Kafka在离线&实时处理处理架构中的位置 (13:13)
13-3 Flume Sink到Kafka方案理解 (06:34)
13-4 Flume Sink到Kafka功能开发及测试 (09:53)
13-5 Flume KafkaSource对接到终端功能开发及测试 (07:25)
13-6 Flink KafkaSource解读 (10:40)
13-7 Flink KafkaSource功能开发及测试 (05:48)
13-8 Flink KafkaSink功能开发及测试 (06:09)
13-9 【练练练】阶段作业题
第14章 玩转Flink项目实战之二：实时统计之商品分析(对接Kafka)
14-1 本章概览 (01:19)
14-2 架构及内容介绍 (04:24)
14-3 Flink接入Kafka数据 (10:27)
14-4 重构代码 (04:15)
14-5 Flink Stream关联MySQL数据操作 (13:15)
14-6 Flink Asynchronous IO (11:23)
14-7 Flink异步IO读取MySQL的数据 (15:26)
14-8 【面试官来啦】面试讨论题
14-9 【练练练】阶段作业题
第15章 时间对实时处理的影响：Flink时间语义及Window API篇
15-1 本章概览 (02:51)
15-2 揭开Flink时间语义的面纱 (17:30)
15-3 时间语义如何选择呢 (10:27)
15-4 Window在实时计算中的地位 (05:39)
15-5 Window的分类 (09:40)
15-6 Window Assigners的职责及对应Window的分类 (07:32)
15-7 Tumbling Window (04:37)
15-8 Sliding Windows (07:53)
15-9 Session Windows (04:51)
15-10 动手实操之CountWindow (11:13)
15-11 动手实操之TumblingWindow (08:44)
15-12 动手实操之SlidingWindow (07:38)
15-13 动手实操之SessionWindow (02:11)
15-14 Flink支持的WindowFunction (08:31)
15-15 WindowFunction动手实操之ReduceFunction (08:59)
15-16 WindowFunction动手实操之AggregateFunction (12:20)
15-17 WindowFunction动手实操之ProcessWindowFunction (09:20)
15-18 WindowFunction动手实操之AllWindowFunction (01:44)
15-19 WindowFunction动手实操之全量配合增量使用 (14:36)
15-20 【面试官来啦】面试讨论题
15-21 【练练练】阶段作业题
第16章 延迟乱序数据解决方案：Watermark在Flink中的使用
16-1 本章概览 (01:24)
16-2 引入WM (09:50)
16-3 WM策略 (07:09)
16-4 WM策略代码演示 (14:27)
16-5 测试数据的WM (11:25)
16-6 【重要】综合编程之滚动窗口 (10:07)
16-7 【重要】综合编程之滑动窗口 (07:09)
16-8 【重要】数据延迟&乱序解决方案 (17:31)
16-9 【面试官来啦】面试讨论题
16-10 【练练练】阶段作业题
第17章 Flink容错核心状态管理：状态在Flink中的应用
17-1 本章概览 (02:20)
17-2 初识State (08:28)
17-3 自定义完成类似Flink状态管理的功能 (12:49)
17-4 Flink KeyedState的使用 (18:13)
17-5 [重要]Flink Operator State的使用并体会Flink State的强大特性 (14:10)
17-6 Flink ValueState编程 (19:02)
17-7 Flink State Ttl编程 (20:42)
17-8 process方法的用法一 (05:36)
17-9 process方法的用法二 (04:48)
17-10 process方法的用法三 (08:59)
17-11 Checkpoint配置参数 (13:56)
17-12 Flink Task重启策略 (22:25)
17-13 [重要]Flink State Backend (13:16)
17-14 【面试官来啦】面试讨论题
17-15 【练练练】阶段作业题
第18章 玩转Flink项目实战之三：实时统计之数据大盘
18-1 本章概览 (01:48)
18-2 多个Flink整合Kafka应用程序代码存在的问题 (12:05)
18-3 读取配置文件中的参数 (07:34)
18-4 Flink对接Kafka代码重构V1 (07:11)
18-5 Flink对接Kafka代码重构V2 (03:12)
18-6 【重要】 Flink EOS (12:03)
18-7 【重要】 Flink EOS再次剖析 (11:25)
18-8 Flink EOS代码开发及本地测试并打包 (08:57)
18-9 Flink EOS全流程在服务器上测试 (04:46)
18-10 Flink checkpoint vs savepoint (06:04)
18-11 【面试官来啦】面试讨论题
18-12 【练练练】阶段作业题
第19章 Flink更加精简的开发方式：Flink Table & SQL API
19-1 本章概览 (03:00)
19-2 Flink Table API&SQL概述及依赖 (09:21)
19-3 Concepts&Common API (08:36)
19-4 Dynamic Tables (15:14)
19-5 DataStream和Table之间的相互转换 (17:32)
19-6 Table API编程范式 (10:26)
19-7 Table API&SQL Query (09:09)
19-8 创建Table对象 (13:17)
19-9 创建Table对象续 (12:42)
19-10 获取到SQL中用到的表名或者视图名 (07:49)
19-11 临时表vs永久表 (08:50)
19-12 初始Connector (05:40)
19-13 csv格式数据处理（上） (15:24)
19-14 csv格式数据处理（下） (07:40)
19-15 json格式数据处理 (21:21)
19-16 Kafka Connector的使用 (16:03)
19-17 时间语义在DDL中如何定义 (16:07)
19-18 Upsert Kafka Connector的使用 (12:21)
19-19 JDBC Connector的使用 (10:47)
19-20 HBase Connector的使用 (04:31)
19-21 拓展之开发实时处理平台 (05:49)
19-22 自定义UDF函数之ScalarFunction (19:16)
19-23 自定义UDF函数之AggregateFunction (12:24)
19-24 自定义UDF函数之TableFunction (10:22)
19-25 SQL常用Query (04:39)
19-26 sql-client的用法 (02:45)
19-27 Windowing TVF之TUMBLE (12:13)
19-28 Windowing TVF之HOP (06:36)
19-29 Window Top-N (11:17)
19-30 【面试官来啦】面试讨论题
19-31 【练练练】阶段作业题
第20章 数据采集神器Flink CDC：基于Flink CDC 进行实时数据采集
20-1 本章概览 (00:49)
20-2 实时数据采集场景介绍 (05:09)
20-3 Canal原理 (05:58)
20-4 Canal部署及使用 (17:24)
20-5 Canal编程 (11:18)
20-6 Canal编程测试 (03:22)
20-7 Flink CDC概述 (06:58)
20-8 DataStream API对接CDC (09:28)
20-9 CDC从什么位置开始读取数据设置 (02:28)
20-10 自定义定制开发输出样式 (10:37)
20-11 FlinkCDC源码修改 (14:13)
20-12 FlinkCDC对接sql方式 (05:58)
20-13 【面试官来啦】面试讨论题
20-14 【练练练】阶段作业题
第21章 玩转Flink项目实战之四：实时统计之直播榜分析
21-1 本章概览 (01:03)
21-2 背景及数据准备 (14:43)
21-3 功能实现之数据接入 (09:46)
21-4 功能实现之数据处理及写入 (12:41)
21-5 可视化框架部署 (10:47)
21-6 可视化大屏制作 (06:15)
21-7 Flink处理过程简单化带来的好处 (02:22)
21-8 【面试官来啦】面试讨论题
21-9 【练练练】阶段作业题
第22章 战斗民族开源神器ClickHouse：揭开CH的神秘面纱
22-1 本章概览 (01:43)
22-2 产生背景 (05:45)
22-3 OLAP特性 (11:39)
22-4 列式存储特性 (06:41)
22-5 ClickHouse部署 (09:11)
22-6 ClickHouse核心目录 (08:08)
22-7 Clickhouse-client命令参数 (06:18)
22-8 ClickHouse官方数据使用说明 (03:44)
22-9 ClickHouse跑分 (02:05)
22-10 【练练练】阶段作业题
第23章 ClickHouse数据类型精讲：详解ClickHouse的各种数据类型的使用
23-1 本章概览 (02:06)
23-2 数据类型 (03:33)
23-3 数值类型之整型 (06:16)
23-4 数值类型之浮点型 (07:02)
23-5 【重要】数值类型之Decimal (11:33)
23-6 布尔类型 (02:11)
23-7 【重要】String和FixedString类型 (09:27)
23-8 UUID类型 (02:47)
23-9 【重要】日期和时间类型 (14:01)
23-10 Array类型 (08:16)
23-11 Tuple类型 (05:26)
23-12 Map类型 (03:17)
23-13 【练练练】阶段作业题
第24章 ClickHouse内置函数精讲：详解ClickHouse的内置函数的使用
24-1 本章概览 (00:52)
24-2 算数函数 (08:26)
24-3 比较函数 (03:58)
24-4 逻辑函数 (02:31)
24-5 取整函数 (04:42)
24-6 类型转换函数 (07:40)
24-7 条件函数 (05:15)
24-8 URL函数 (05:01)
24-9 字符串函数 (07:25)
24-10 日期时间函数 (07:51)
24-11 【练练练】阶段作业题
第25章 ClickHouse核心DDL&DML：库&表&视图的使用
25-1 本章概览 (01:14)
25-2 DDL之创建数据库 (07:51)
25-3 DDL之创建表 (10:33)
25-4 DDL之删除表 (01:21)
25-5 DDL之修改表 (08:22)
25-6 DDL之重命名表 (03:36)
25-7 DDL之清空表数据 (02:21)
25-8 DML之插入数据 (10:47)
25-9 DML之修改和删除数据 (05:25)
25-10 分区表的创建及加载数据 (11:30)
25-11 分区表删除分区 (03:55)
25-12 分区表复制分区 (04:28)
25-13 【练练练】阶段作业题
第26章 ClickHouse核心引擎分析：各家族核心引擎使用及选型
26-1 本章概览 (02:01)
26-2 表引擎概览 (05:09)
26-3 Log Engine Family的共性 (03:13)
26-4 TinyLog引擎 (08:04)
26-5 Stripelog引擎 (05:32)
26-6 Log引擎 (03:56)
26-7 【重要】Log Engine Family总结 (05:40)
26-8 表引擎之Integrations概览 (03:18)
26-9 表引擎Integrations之HDFS引擎 (14:44)
26-10 表引擎Integrations之MySQL引擎 (06:46)
26-11 数据库引擎之MySQL引擎 (03:42)
26-12 表引擎Special之File引擎 (04:44)
26-13 表引擎Special之Merge引擎 (04:29)
26-14 表引擎Special之Memory引擎 (03:29)
26-15 MergeTree Engine概览 (04:01)
26-16 MergeTree Engine核心语法详解 (06:48)
26-17 【重要】MergeTree Engine非分区表功能测试 (05:40)
26-18 【重要】MergeTree Engine日期类型分区表功能测试 (05:07)
26-19 【重要】MergeTree Engine执行流程分析 (14:33)
26-20 ReplacingMergeTree引擎 (08:42)
26-21 ReplacingMergeTree引擎带ver的使用 (05:39)
26-22 SummingMergeTree引擎 (08:31)
26-23 【面试官来啦】面试讨论题
26-24 【练练练】阶段作业题
第27章 ClickHouse元数据中心：元数据管理
27-1 本章概览 (01:08)
27-2 【重要】元数据在大数据中的作用 (12:24)
27-3 ClickHouse元数据之tables (11:38)
27-4 ClickHouse元数据之columns (09:06)
27-5 ClickHouse元数据之表相关元数据 (04:00)
27-6 ClickHouse元数据之执行相关元数据 (01:59)
27-7 ClickHouse元数据之内置不同种类的维度表元数据 (03:24)
27-8 ClickHouse元数据之用户&角色&权限&配额元数据 (03:31)
27-9 ClickHouse元数据之其他元数据 (02:10)
27-10 【面试官来啦】面试讨论题
27-11 【练练练】阶段作业题
第28章 经典ClickHouse整合Flink编程：整合Flink开发
第29章 玩转Flink项目实战之五：基于Flink和ClickHouse构建实时数据分析
第30章 揭开数据湖的神秘面纱：数据湖开源产品Hudi的使用
第31章 玩转Flink项目实战之六：基于Flink和Hudi的数据湖构建项目

本课程持续更新中。。。

网盘截图：

更新中。。。