Name: Elixir 中的并发数据处理
Availability: InStock

Elixir 中的并发数据处理

大多数工程师并不认为并发编程与普通编程有本质区别。数据处理指的是以某种方式转换信息，例如生成报告、数据聚合或分析。而并发则主要着眼于显著提升性能。本课程旨在帮助你掌握 Elixir 生态系统中可用的各类并发工具。你将学习使用广受欢迎的模块和库，如 GenServer、GenStage、Flow 和 Broadway。通过本课程，你将能够接收数据、构建数据处理管道，并使用 Elixir 运行并发进程。课程结束时，你将掌握一系列新的技术手段，从而简化产品设计、提升代码性能，并增强应用在高负载情况下的稳定性与韧性。

7 Lessons

Content

7 Lessons • 0 Quizzes • 0 Challenges

入门

1
本课程涵盖哪些内容？
2
环境与依赖版本要求

使用 Task 模块轻松实现并发

1
并发编程入门
2
任务模块简介
3
创建游乐场
4
开始任务并获取结果
5
同步与异步程序
6
获取任务的结果
7
使用 await 和 yield 函数获取结果
8
停止任务和异步任务
9
管理一系列任务
10
async_stream 函数的参数
11
链接进程
12
认识主管
13
使用 Task.Supervisor
14
理解“让其崩溃”的理念
15
总结
16
测验：使用 Task 模块实现简单的并发

使用 GenStage 的数据处理流水线

1
背压
2
GenStage 简介
3
生产者和消费者
4
构建数据处理流水线
5
理解消费者需求
6
重新回顾生产者
7
增加更多消费者并缓冲事件
8
使用 ConsumerSupervisor 实现并发
9
创建多阶段数据管道
10
通过增加进程来扩展阶段
11
选择合适的调度器
12
总结
13
测验：使用 GenStage 的数据处理管道

使用 GenServer 的长时间运行进程

1
长时间运行的进程与启动 GenServer
2
GenServer 回调：init
3
GenServer 回调：handle_continue 和 handle_call
4
GenServer 回调：handle_cast
5
GenServer 回调：handle_info
6
GenServer 回调：terminate
7
对我们的 GenServer 进行优化改进
8
我们任务处理系统的架构蓝图
9
如何使用匿名函数
10
DynamicSupervisor 监督者
11
进程重启值与频率
12
实现一个监督者
13
监督者策略
14
注册表进程
15
注册新进程并查询注册表
16
限制并发并检查监督者
17
检查正在运行的进程并停止监督者
18
总结
19
测验：使用 GenServer 实现长时间运行的进程

使用流处理集合

1
Flow 库简介
2
读取文件
3
通过流提升性能
4
并发运行流并理解流的处理流程
5
reduce 函数
6
使用分区进行路由事件
7
分组并排序
8
窗口与触发器
9
从运行缓慢或无限的流中获取快照
10
向 GenStage 管道添加流
11
总结
12
测验：使用 Flow 处理集合

使用Broadway的数据摄入管道

1
Broadway 库简介
2
处理票务事件
3
配置 Broadway 流水线与回调函数
4
实现 handle_message/3
5
实现 prepare_messages/2
6
实现 handle_failed/2
7
批量消息
8
实现批处理并处理 handle_batch/4 函数
9
静态合批
10
使用动态批处理
11
调整批处理大小和超时时间
12
使用 GenStage 生产者
13
配置爬取管道
14
总结
15
测验：使用Broadway的数据摄入管道

课程总结

1
课程概要

Certificate of Completion

Showcase your accomplishment by sharing your certificate of completion.

Course Author:Anonymous User

Elixir 中的并发数据处理

WHAT YOU'LL LEARN

Content

1. 入门熟悉 Elixir 中的并发数据处理及其前提条件。

本课程涵盖哪些内容？

环境与依赖版本要求

2. 使用 Task 模块轻松实现并发通过 Task 模块和监督机制，深入掌握 Elixir 并发编程的核心。

并发编程入门

任务模块简介

创建游乐场

开始任务并获取结果

同步与异步程序

获取任务的结果

使用 await 和 yield 函数获取结果

停止任务和异步任务

管理一系列任务

async_stream 函数的参数

链接进程

认识主管

使用 Task.Supervisor

理解“让其崩溃”的理念

总结

测验：使用 Task 模块实现简单的并发

3. 使用 GenStage 的数据处理流水线了解 GenStage 在管理数据流水线、背压机制和并发性方面的角色。

背压

GenStage 简介

生产者和消费者

构建数据处理流水线

理解消费者需求

重新回顾生产者

增加更多消费者并缓冲事件

使用 ConsumerSupervisor 实现并发

创建多阶段数据管道

通过增加进程来扩展阶段

选择合适的调度器

总结

测验：使用 GenStage 的数据处理管道

4. 使用 GenServer 的长时间运行进程逐步掌握 GenServer 回调函数、进程管理以及在 Elixir 中优化并发编程。

长时间运行的进程与启动 GenServer

GenServer 回调：init

GenServer 回调：handle_continue 和 handle_call

GenServer 回调：handle_cast

GenServer 回调：handle_info

GenServer 回调：terminate

对我们的 GenServer 进行优化改进

我们任务处理系统的架构蓝图

如何使用匿名函数

DynamicSupervisor 监督者

进程重启值与频率

实现一个监督者

监督者策略

注册表进程

注册新进程并查询注册表

限制并发并检查监督者

检查正在运行的进程并停止监督者

总结

测验：使用 GenServer 实现长时间运行的进程

5. 使用流处理集合仔细研究 Elixir 的 Flow 库在处理大规模数据集时的并发数据处理机制。

Flow 库简介

读取文件

通过流提升性能

并发运行流并理解流的处理流程

reduce 函数

使用分区进行路由事件

分组并排序

窗口与触发器

从运行缓慢或无限的流中获取快照

向 GenStage 管道添加流

总结

测验：使用 Flow 处理集合

6. 使用Broadway的数据摄入管道了解 Broadway 如何通过并发处理、批量处理和容错机制简化数据摄入管道。

Broadway 库简介

处理票务事件

配置 Broadway 流水线与回调函数

实现 handle_message/3

实现 prepare_messages/2

实现 handle_failed/2

批量消息

实现批处理并处理 handle_batch/4 函数

静态合批