Logo
☆☆☆☆☆
0.0
Beginner
10h

大数据与Hadoop入门

本课程提供独一无二的丰富且互动式学习体验,帮助你掌握大数据的基础知识。在课程中,你将有大量机会亲手操作实际运行的Hadoop集群。 你将从了解大数据的兴起开始,学习结构化数据、非结构化数据和半结构化数据等不同类型的数据。随后,你将深入学习大数据的核心概念,包括YARN(另一种资源管理器)、MapReduce、HDFS(Hadoop分布式文件系统)以及Spark。 完成本课程后,你将具备开展大数据工作的坚实基础,而这一领域正迅速发展并持续壮大。

11 Lessons
Included in Subscription Plan
Personalized Learning
Powered by AI
大数据与Hadoop入门
本课程提供独一无二的丰富且互动式学习体验,帮助你掌握大数据的基础知识。在课程中,你将有大量机会亲手操作实际运行的Hadoop集群。 你将从了解大数据的兴起开始,学习结构化数据、非结构化数据和半结构化数据等不同类型的数据。随后,你将深入学习大数据的核心概念,包括YARN(另一种资源管理器)、MapR...

Content

11 Lessons • 0 Quizzes • 0 Challenges

Hadoop
  1. 1

    简介

  2. 2

    大数据的兴起

  3. 3

    术语(concept)

  4. 4

    大数据定义

  5. 5

    大数据与数据仓库

YARN
  1. 1

    简介

  2. 2

    工作流程

  3. 3

    调度

Spark
  1. 1

    简介

  2. 2

    架构

  3. 3

    Spark 应用程序生命周期

  4. 4

    Spark API

  5. 5

    弹性分布式数据集(RDDs)

  6. 6

    数据框

  7. 7

    数据集

  8. 8

    一个示例

  9. 9

    运行 Spark 应用程序

  10. 10

    Spark应用程序的结构

  11. 11

    Spark应用程序的执行

MapReduce
  1. 1

    基础

  2. 2

    映射器

  3. 3

    测试映射器

  4. 4

    映射器输入

  5. 5

    Reducer

  6. 6

    测试 Reducer

  7. 7

    测试 MapReduce 程序

  8. 8

    运行MapReduce全流程

  9. 9

    探索 MapReduce 运行

  10. 10

    组合器和分区器

  11. 11

    整合起来

  12. 12

    容错性

输入与输出格式
  1. 1

    序列文件:简介

  2. 2

    序列文件:读取与写入

  3. 3

    序列化/反序列化(SerDe)

  4. 4

    行式数据库与列式数据库

  5. 5

    Avro:简介

  6. 6

    Avro:代码生成

  7. 7

    Avro:IDL 与 RPC

  8. 8

    Parquet:简介

  9. 9

    Parquet:定义级别

  10. 10

    Parquet:重复级别

  11. 11

    Parquet:读取与写入

  12. 12

    Parquet:投影模式与其它工具

杂项
  1. 1

    Zookeeper:简介

  2. 2

    Zookeeper:示例

  3. 3

    Zookeeper:实用指南

  4. 4

    Pig:概述

  5. 5

    总结

测验
  1. 1

    测验 1

  2. 2

    测验 2

  3. 3

    测验 3

  4. 4

    测验 4

  5. 5

    测验 5

  6. 6

    测验 6

参考:复制
  1. 1

    简介

  2. 2

    单领导者复制

  3. 3

    异步复制与同步复制

  4. 4

    跟随者在日志复制中的作用

  5. 5

    日志复制

  6. 6

    单主复制中的问题

  7. 7

    多主复制

  8. 8

    多主复制中的问题

  9. 9

    多领导者拓扑结构

  10. 10

    无领导者复制

  11. 11

    读写操作的总和大于节点数量

  12. 12

    共识机制的变体

  13. 13

    并发写入

  14. 14

    视频流队列:并发写入示例

参考:分区
  1. 1

    简介

  2. 2

    分区方案

  3. 3

    二级索引

  4. 4

    分区数量

参考:事务
  1. 1

    事务简介

  2. 2

    事务的更多内容

  3. 3

    隔离级别

  4. 4

    读偏斜与快照隔离

  5. 5

    并发写入与更新丢失

  6. 6

    写偏斜(Write Skew)

  7. 7

    可串行化

  8. 8

    两阶段锁

  9. 9

    可序列化快照隔离

参考:分布式系统中的问题
  1. 1

    简介

  2. 2

    网络

  3. 3

    时间共识

  4. 4

    处理时间相关的问题

Certificate of Completion

Showcase your accomplishment by sharing your certificate of completion.

Course Author:Anonymous User

Reviews

Read reviews from students who have taken this course and share your own experience.

Reviews & Comments (0)