股票爬虫项目描述

简介

从网站中提取数据被称为网络爬取。爬取的核心在于，在接收到网站的响应后，从 HTML 的 DOM 结构中获取数据。你可以将网页爬取想象成一只蜘蛛在 HTML 结构的各个角落爬行，并收集感兴趣的信息。

本章讨论的场景和问题与从网站上爬取股票数据相关。

问题描述

你是某交易公司工程团队的一名开发者。公司希望你开发一个程序，能够动态地从多个网站爬取股票数据，并对提取到的数据进行盈利分析。

由于网站以 HTML 标签构成的 DOM 树形式呈现，我们首先需要找到一种方法来遍历这一结构。在任意 HTML 中识别股票数据具有挑战性，因为每个网站的结构各不相同，而股票价格数据可能出现在页面的任何位置。

功能需求

为了实现上述功能，我们需要引入以下特性：

• 特性 #1： 开发一种方法，用于解析不同股票网站的 DOM 树结构。

• 特性 #2： 为 DOM 中的每个 HTML 标签分配一个置信度分数，表示该标签包含股票价格数据的可能性。然后，筛选出包含股票价格数据的最小子树。

• 特性 #3： 位于 DOM 树同一层级的股票价格数据彼此密切相关。通过在每个树节点中引入一个 next 指针，指向同层的下一个节点，设计一种新的高效遍历 DOM 树结构的方法。

• 特性 #4： 从 DOM 树中提取股票的涨跌幅百分比，并据此计算可能获得的最大利润。

理解这些功能需求并设计相应的解决方案，将帮助我们实现所需的爬虫功能。

在接下来的几节课中，我们将讨论这些特性的推荐实现方式。在开始之前，请思考一下你会如何实现这些功能。随着你的思考，会逐渐意识到需要解决的一些底层问题。这些问题的解决方案同样适用于其他常见的编程面试题。