课程目录:
001.Spark-教程简介
002.Spark-文件结构-介绍
003.Spark-基础概念-介绍-分布式
004.Spark-基础概念-介绍-计算
005.Spark-基础概念-介绍-分布式基础架构
006.Spark-基础概念-介绍-框架
007.Spark-基础概念-介绍-Spark和MR的关系
008.Spark-介绍
009.Spark-部署方式-介绍
010.Spark-解压后的文件结构
011.Spark-部署环境-Local
012.Spark-部署环境-Local-演示
013.Spark-部署环境-Yarn-演示
014.Spark-部署环境-Yarn-历史服务
015.Spark-部署环境-Yarn-两种执行方式Cluster和Client
016.Spark-部署环境-几种模式的对比
017.Spark-数据结构-说明
018.Spark-RDD-介绍
019.Spark-RDD-数据处理流程简介
020.Spark-RDD-计算原理
021.Spark-RDD-计算原理-补充
022.Spark-RDD-代码-环境的准备
023.Spark-RDD-代码-对接内存数据源构建RDD对象
024.Spark-RDD-代码-对接磁盘数据源构建RDD对象
025.Spark-RDD-代码-RDD的理解
026.Spark-RDD-代码-RDD的分区
027.Spark-RDD-代码-内存数据源-分区数量的设定
028.Spark-RDD-代码-磁盘文件数据源-分区数量的设定
029.Spark-RDD-代码-内存数据源-分区数据的分配
030.Spark-RDD-代码-磁盘文件数据源-分区数据的分配
031.Spark-RDD-代码-磁盘文件数据源-分区数据的分配-演示
032.Spark-RDD-课件梳理
033.Spark-RDD-方法-介绍
034.Spark-RDD-方法-方法的两大类-转换和行动
035.Spark-RDD-方法-数据处理的两大类-单值和键值
036.Spark-RDD-方法-转换-map
037.Spark-RDD-方法-转换-map-1
038.Spark-RDD-方法-转换-map-2
039.Spark-RDD-方法-转换-map-3
040.Spark-RDD-方法-转换-map-4
041.Spark-RDD-方法-转换-filter
042.Spark-RDD-方法-转换-flatMap
043.Spark-RDD-方法-转换-flatMap-1
044.Spark-RDD-方法-转换-groupBy
045.Spark-RDD-回顾-原理
046.Spark-RDD-回顾-方法
047.Spark-RDD-Shuffle
048.Spark-RDD-Shuffle-原理
049.Spark-RDD-Shuffle-原理-补充
050.Spark-RDD-Shuffle-演示
051.Spark-RDD-方法-distinct
052.Spark-RDD-方法-sortBy
053.Spark-RDD-方法-KV类型数据介绍
054.Spark-RDD-方法-KV类型数据补充
055.Spark-RDD-方法-KV-mapValues
056.Spark-RDD-方法-KV-wordCount
057.Spark-RDD-方法-KV-groupByKey
058.Spark-RDD-方法-KV-reduceByKey
059.Spark-RDD-方法-KV-sortByKey
060.Spark-RDD-方法-KV-reduceByKey和groupByKey的区别
061.Spark-RDD-WordCount程序在环境中运行
062.Spark-RDD-转换方法的回顾
063.Spark-RDD-行动算子-介绍
064.Spark-RDD-行动算子-collect
065.Spark-RDD-行动算子-collect-补充
066.Spark-RDD-行动算子-其他方法-1
067.Spark-RDD-行动算子-其他方法-2
068.Spark-RDD-行动算子-其他方法-3
069.Spark-RDD-行动算子-Driver端和Executor端数据传输
070.Spark-RDD-序列化-1
071.Spark-RDD-序列化-2
072.Spark-案例-数据格式说明
073.Spark-案例-需求介绍
074.Spark-案例-需求分析
075.Spark-案例-需求设计
076.Spark-案例-开发原则
077.Spark-案例-代码实现-1
078.Spark-案例-代码实现-2
079.Spark-案例-代码实现-3
080.Spark-案例-代码实现-4
081.Spark-RDD-KRYO序列化框架
082.Spark-RDD-依赖关系-介绍
083.Spark-RDD-依赖关系-原理
084.Spark-RDD-依赖关系-血缘关系
085.Spark-RDD-依赖关系-依赖关系
086.Spark-RDD-依赖关系-宽窄依赖关系
087.Spark-RDD-依赖关系-作业,阶段和任务的关系
088.Spark-RDD-依赖关系-任务的数量
089.Spark-RDD-依赖关系-分区的数量
090Spark-RDD-持久化和序列化的关系
091.Spark-RDD-持久化-cache
092.Spark-RDD-持久化-persist
093.Spark-RDD-持久化-checkpoint
094.Spark-RDD-持久化-shuffle算子的持久化
095.Spark-RDD-分区器
096.Spark-RDD-自定义分区器
097.Spark-两个案例
098.Spark-第一个案例问题原因
099.Spark-广播变量
100.Spark-RDD的局限性
101.SparkSQL-介绍
102.SparkSQL-环境对象的封装
103.SparkSQL-模型对象的封装
104.SparkSQL-SQL的操作
105.SparkSQL-不同场景下环境对象的转换
106.SparkSQL-不同场景下模型数据对象的转换
107.SparkSQL-使用SQL的方式来访问数据模型
108.SparkSQL-使用DSL的方式来访问数据模型
109.SparkSQL-自定义udf函数对象
110.SparkSQL-自定义udf函数的底层实现原理
111.SparkSQL-自定义udaf函数的底层实现原理
112.SparkSQL-自定义udaf函数的实现步骤-1
113.SparkSQL-自定义udaf函数的实现步骤-2
114.SparkSQL-自定义udaf函数的实现步骤-回顾
115.SparkSQL-数据源-CSV
116.SparkSQL-数据源-JSON
117.SparkSQL-数据源-Parquet
118.SparkSQL-数据源-JDBC
119.SparkSQL-数据源-Hive
120.SparkSQL-案例-数据准备
121.SparkSQL-案例-数据准备-补充
122.SparkSQL-案例-需求分析
123.SparkSQL-案例-需求设计
124.SparkSQL-案例-SQL实现-1
125.SparkSQL-案例-SQL实现-2
126.SparkSQL-案例-SQL实现-3
127.SparkSQL-案例-SQL实现-4
128.SparkSQL-案例-SQL实现-5
129.SparkSQL-案例-SQL实现-6
130.SparkSQL-案例-SQL实现-7
131.SparkSQL-案例-SQL实现-8
132.SparkSQL-案例-SQL实现-9
133.SparkStreaming-介绍
134.SparkStreaming-原理
135.SparkStreaming-原理-补充
136.SparkStreaming-课件梳理
137.SparkStreaming-环境准备
138.SparkStreaming-网络(Socket)数据流处理演示
139.SparkStreaming-Kafka数据流处理演示
140.SparkStreaming-DStream方法介绍
141.SparkStreaming-DStream输出方法介绍
142.SparkStreaming-窗口操作
143.SparkStreaming-回顾-1
144.SparkStreaming-回顾-2
145.SparkStreaming-关闭-1
146.SparkStreaming-关闭-2
147.SparkStreaming-关闭-3
148.Spark-内核-运行流程-1
149.Spark-内核-运行流程-2
150.Spark-内核-运行流程-3
151.Spark-内核-核心对象
152.Spark-内核-核心对象通信流程-Netty
153.Spark-内核-Task任务的调度执行
154.Spark-内核-Shuffle底层的实现原理-1
155.Spark-内核-Shuffle底层的实现原理-2
156.Spark-内核-内存管理
157.Spark-内核-内存管理-补充
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。