简介

引言

过去十年中，大数据领域涌现出许多最具影响力和变革性的创新。2004年，谷歌研究人员发表了一篇关于MapReduce的白皮书，引发了技术圈的广泛关注。此后，大数据作为一种范式逐渐变得越来越流行。这一趋势的出现，源于数据生成量的爆炸性增长，以及企业希望利用并从物联网（IoT）中获益的需求。下图展示了自2004年以来，“大数据”作为搜索关键词的Google趋势变化情况。

如同所有新兴技术一样，大数据经历了从默默无闻到广受欢迎，再到趋于成熟形成稳定平台的过程。在此过程中，Cloudera、Hortonworks、MapR等初创公司曾雄心勃勃地试图颠覆传统的数据处理与存储方式，其背后的商业支持者如Oracle也积极参与其中。然而，在近几年，现实逐渐显现：大数据并非解决所有问题的万能良方。尽管如此，它在多个数据相关领域仍具有极高的实用价值，例如发现新型药物疗法或识别洗钱行为。随着大数据领域的整合（如Cloudera与Hortonworks的合并），技术体系也逐步实现标准化和成熟化。如今，云服务提供商（AWS、Azure、GCP）纷纷推出原生的大数据解决方案，使得中小企业无需投入高昂成本进行本地部署，即可轻松享受大数据带来的优势。

什么是Hadoop？

Hadoop是大数据技术的软件体现。

Hadoop是一个可靠、分布式且可扩展的平台，用于存储和分析海量数据。

Hadoop的吸引力在于它能够在廉价的通用硬件上运行，而其竞争对手往往需要昂贵的专用设备才能完成相同任务。Hadoop不依赖硬件来保证高可用性，而是设计为在应用层自动检测并处理故障。本质上，Hadoop在由多台可能随时发生故障的计算机组成的集群之上，提供高度可用的服务。相比之下，其他方案依赖硬件本身来保障可靠性。更重要的是，Hadoop是开源的。只要拥有具备能力的技术团队，并有足够决心，任何公司都可以免费搭建和管理自己的Hadoop系统，无需支付任何许可费用。需要注意的是，“Hadoop”一词有时也泛指Apache生态中的整个项目集合，包括Ambari、HBase、HDFS、Zookeeper等。

单纯提到“Hadoop”这个词本身并无太多含义。道格·卡丁（Hadoop之父）受到谷歌MapReduce论文的启发，立志打造一个开源的分布式数据处理平台。他将这个项目命名为儿子玩具大象的名字——“Hadoop”。更多关于Hadoop命名背后的故事，请观看此视频。最终该项目捐赠给了Apache基金会，并催生了一系列相关的后续项目。这些项目共同构成了如今活跃的大数据生态系统。

需要指出的是，Hadoop本身并不是全新的技术。在Hadoop出现之前，高性能计算（HPC）和网格计算社区已经多年从事大规模数据处理工作。他们主要使用诸如消息传递接口（MPI）等API。总体而言，HPC方法将任务分发到集群中的多台机器上执行，然后通过由存储区域网络（SAN）提供的共享文件系统访问数据。这种架构对以计算密集型为主的任务非常有效；但当节点需要处理数百GB甚至更大的数据时，网络带宽就会成为瓶颈，导致计算节点空闲等待。这正是Hadoop大放异彩的关键时刻。

本课程内容概览

本课程将从初学者的角度深入探讨大数据的各种核心概念与工具。无论你是想开启大数据职业生涯，还是希望快速掌握关键技能，这门课都是理想的起点。通过浏览器内的Docker容器环境和动手实践，复杂难懂的概念将变得直观易学！