导入
数据科学 vs. 数据分析 vs. 数据工程
在本节课中，你将了解数据科学、数据分析和数据工程。这些领域根据各自所涉及的活动而有所区分。
数据科学 vs. 数据分析
数据科学侧重于从数据中挖掘能够影响未来决策的洞察。它包含使用机器学习及相关领域的预测性分析部分。
所需技能
- Python语言、R语言编程和SQL
- 机器学习
- 深度学习
- 自然语言处理
- 计算机视觉
- 信息检索
- 用于机器学习的Python库，如scikit-learn、TensorFlow、Keras和PyTorch
- NoSQL数据库和ElasticSearch
数据分析主要通过对数据进行清洗和转换来提取其中的信息。它与数据科学有许多重叠领域，例如向团队展示分析结果并制作可视化图表。但不包含机器学习部分。
所需技能
- 任何配有完整文档的开源工具
- SAS
- Rapid Miner
- Microsoft Excel
- Python
- Tableau
- PowerBI
- OpenRefine
数据工程
数据工程旨在协助数据科学家和数据分析师完成日常工作任务。其工作内容包括构建数据管道、设计系统架构、以最高效的方式存储数据，并以优化的形式使数据科学家和分析师能够访问海量数据。同时也涉及使用工具发掘数据中隐藏的洞察。
所需技能
- Python语言、Scala语言或Java语言
- SQL
- Sqoop
- Flume
- Hadoop
- Spark
- Hive和Drill
- Kafka和Storm
- Mahout和Spark MLlib
- Pig
- HBase
- Solr和Lucene
- Knime、Splunk和Neo4j
- Docker和Kubernetes
- Flask（用于编写API）