Logo
☆☆☆☆☆
0.0
Intermediate
17h 15m

使用 Apache Spark 和 Java 掌握大数据

本课程全面介绍Spark Java API。有经验的Java开发者将运用面向对象编程（OOP）原则，将理论知识应用于Apache Spark及大数据实践。 你将首先学习Spark的核心组件与架构，这一领先的大型数据应用开发框架，随后在Java中实现这些功能。你还将探索数据转换操作，如分组、排序和连接。此外，你将学习如何支持数据库中的SQL操作，并使用Java构建大数据批处理模板应用。 课程结束时，你将熟悉Apache Spark，并掌握通过Spark Java API将大数据与Java环境集成的方法。最后，你还将学习如何监控和维护实际运行中的Spark Java环境。 结合领先的大数据框架与领先的编程语言，本课程将帮助你高效处理海量数据，实现大规模、高速的数据处理。

11 Lessons
Included in Subscription Plan
Personalized Learning
Powered by AI
View Courses in Subscription
使用 Apache Spark 和 Java 掌握大数据
本课程全面介绍Spark Java API。有经验的Java开发者将运用面向对象编程（OOP）原则，将理论知识应用于Apache Spark及大数据实践。 你将首先学习Spark的核心组件与架构，这一领先的大型数据应用开发框架，随后在Java中实现这些功能。你还将探索数据转换操作，如分组、排序和连...

WHAT YOU'LL LEARN

学习 Apache Spark 的基础知识，并了解其核心组件

Content

11 Lessons • 0 Quizzes • 0 Challenges

课程介绍
  1. 1

    课程简介

  2. 2

    课程内容概览

Spark 简介与基础
  1. 1

    Spark 基础

  2. 2

    组件与架构

  3. 3

    Spark 与大数据

  4. 4

    Spark 的 Java 核心抽象：DataFrame

  5. 5

    自测练习：Spark 入门

Spark 入门
  1. 1

    运行第一个 Spark 程序

  2. 2

    Spark Maven 项目

  3. 3

    丰富基础的 DataFrame 程序

  4. 4

    深入探究：转换与数据存储

  5. 5

    测验自己：Spark 入门

DataFrame 基本操作
  1. 1

    处理 DataFrame 的结构

  2. 2

    数据集：一个POJO对象的DataFrame

  3. 3

    转换和操作

  4. 4

    变换（一）：映射与过滤

  5. 5

    操作（一）：计数、取用和收集

  6. 6

    深入解析：Spark 执行的内部机制

  7. 7

    转换操作（二）：flatMap 与 distinct

  8. 8

    操作（二）：减少与聚合函数：最大值、最小值和平均值

  9. 9

    自我测验：DataFrame 的结构

DataFrame 高级操作
  1. 1

    数据分区与洗牌

  2. 2

    groupBy 和 groupByKey 方法

  3. 3

    连接

  4. 4

    排序和OrderBy

  5. 5

    Union、UnionByName 和 DropDuplicates

  6. 6

    累加器和广播变量

  7. 7

    UDFs：用户自定义函数

  8. 8

    自测练习：DataFrame 高级操作

Spark SQL 与其他功能
  1. 1

    Spark SQL 亮点

  2. 2

    模式操作

  3. 3

    如何导入文件：第一部分

  4. 4

    如何导入文件：第二部分

  5. 5

    数据库接入

  6. 6

    导出信息

  7. 7

    序列化：深入理解数据传输

  8. 8

    自测练习：SparkSQL 与其他功能

构建大数据批处理应用程序
  1. 1

    应用架构生态系统

  2. 2

    驱动程序设计与项目结构

  3. 3

    驱动程序与作业实现：第一部分

  4. 4

    驱动程序与作业实现：第二部分

  5. 5

    数据摄入作业：第一部分（concept）

  6. 6

    数据摄入作业：第二部分

  7. 7

    批处理管道及其他类型的作业

  8. 8

    测试与 Spark

部署与集群执行
  1. 1

    本地与集群执行

  2. 2

    部署和运行一个 Spark 应用程序

  3. 3

    自我测验：部署与集群执行

监控与性能基础
  1. 1

    解读 Spark 日志

  2. 2

    集群监控与 SparkUI

  3. 3

    性能基础与实用技巧

  4. 4

    自测题：监控与性能基础

结论
  1. 1

    接下来该去哪里

附录
  1. 1

    用于本地开发 Spark 的工具

  2. 2

    IntelliJ：调试与检查 Spark 执行

Certificate of Completion

Showcase your accomplishment by sharing your certificate of completion.

Course Author:Anonymous User

Reviews

Read reviews from students who have taken this course and share your own experience.

Reviews & Comments (0)