Logo
Section 1 / 5

材料性能简介

介绍铝材的材料特性、网络爬虫技术以及将数据保存到Excel文件的方法。

导入

材料性能简介

介绍铝材的材料特性、网络爬虫技术以及将数据保存到Excel文件的方法。

材料属性

你之前使用 Requests 爬取了一个网站并处理了返回的结果。该网站的行为更像一个 API,因为你清楚地知道它会以何种格式返回数据。然而,数据通常并不会总是以整齐的格式呈现。有时,你需要自行查找、格式化、清洗或以其他方式处理数据。当你爬取真实的网页时,必须能够解析超文本标记语言(HTML),以获取所需的信息。在你访问的任何网页中,HTML 及其姊妹技术层叠样式表(CSS)都在后台工作,用于展示网页的设计。工程工具网站 [1] 为各类工程师提供了技术数据、材料属性、化学性质、经济信息、绘图工具等大量内容。你将编写一个 Python 程序,从工程工具网站抓取不同铝合金材料属性的信息,并将其存入 Excel 表格中,以便日后查阅。BeautifulSoup4 是首选的 HTML 解析库,其文档 [2] 非常详尽。Openpyxl 是操作 Excel 表格的跨平台首选库,其文档可参见脚注 [3]。

该程序需要访问材料属性页面 [4],将表格转换为嵌套的 list 结构,使信息易于解析,并遍历这些信息,将每个值填入 Excel 表格的对应单元格中。


关于 HTML

HTML 标签代表的含义
<a>超链接
<div>, <p>段落文本
<table>, <tr>, <td>, <tbody>, <thead>表格、表格行、表格单元格等
<style>, <span>其他类型的段落或文本
<input>输入数据的字段
<i>, <b>, <u>, <strike>, <sup>字体样式,如斜体、粗体、下划线、删除线、上标
<img>图片

当网页上的信息没有良好格式化时,你就必须深入查看 HTML 代码来提取所需信息。这意味着你需要使用 Requests 获取网页的文本内容,也就是获取全部源代码。然后将这些源代码交给 BeautifulSoup,以便更轻松地解析代码,提取你想要的信息。这使得你可以将源代码文本当作 list 处理,从而只提取 <tr> 标签、<a> 标签等特定元素。

单位换算

从网站获取文本