什么是大数据？

大数据

大数据是指规模巨大的数据。使用传统的数据处理和分析技术已无法对这类数据进行有效分析并从中构建模型。人们在使用 Facebook、Instagram、Twitter 等社交媒体平台时，每分钟都在产生大量数据。下图展示了互联网在一分钟内发生的情况：

上图展示了互联网在一分钟内产生的数据量。我们可以看到，在短短一分钟内：

• 有 130 万人登录了 Facebook；
• 用户通过 WhatsApp 发送了 1900 万条消息；
• 用户观看了 470 万次 YouTube 视频，以及其他大量数据。

由此可见，互联网每分钟产生的数据量极为庞大。处理如此海量的数据需要一套全新的工具和技术。对于大型企业而言，从这些庞大的数据中提取有价值的洞察以创造可观收入变得至关重要。因此，行业中对挖掘大规模数据价值的工具需求十分旺盛。

大数据的特征（四大特征：4V）

大数据具有以下四个主要特征：

• 数据量大（Volume）：大数据的规模极其庞大，如上图所示。如何以经济且可靠的方式收集、存储和处理这些数据本身就是一个巨大挑战。

• 数据类型多样（Variety）：大数据包含多种类型的数据，包括结构化数据、非结构化数据以及半结构化数据。

• 生成速度快（Velocity）：大数据的产生速度非常快。从上图可以看出，仅在一分钟内就有海量数据被快速持续地生成，数据的流动具有高速性和连续性。

• 数据真实性（Veracity）：指数据的质量。由于数据来自不同来源，清洗和转换难度较大。数据中可能存在噪声、异常值和偏差等不确定性因素，都需要妥善处理。

大数据的应用领域

以下领域利用大数据快速获取洞察并建立预测模型：

• 推荐系统：亚马逊根据数百万用户的浏览和购买行为这类大数据向用户推荐商品。Netflix 等平台也采用类似机制。

• 银行业：银行每天处理数以百万计的交易，利用大数据技术识别可疑或欺诈性交易。

• 交通运输：交通行业利用大数据实现智能路径规划、寻找两点之间的最短路线、优化运营管理及收入提升等。

• 个性化医疗：个性化医疗服务借助大数据，使患者能够获得比以往更加高效、系统的诊疗服务。