中级
提供者 : Bill Hood
3 课时 · 17m
语言:阿拉伯语, 德语, 英语, 西班牙语, 法语, 葡萄牙语, 简体中文
课程描述
大多数数据可视化项目的现实情况是,您通常会面临获取或以其他方式创建一些所需数据的任务。在这些课程中,我们重点关注两种最常见的获取数据的自动化技术,并强调如何始终输入所需的数据。您将了解到网站全部是HTML,其中有许多可用于识别和获取数据的标签。在我们的示例中,我们将使用Beautiful Soup库来询问网站以查找关键字,然后提取与该关键字关联的所有Web链接,使这些链接以编程方式可用。
接下来,我们将使用RESTful API从日益常见的数据交换方法中获取数据。表述性状态传输(REST)是一种基于互联网的应用程序接口,允许以编程方式访问信息存储库。我们还将探索几个API并将数据提取到可以绘制的模型中。最后,我们将在一项练习中结合几种最佳实践,并探索Pandas数据框中的数据以及我们可以在世界地图上绘制的事件的经度、纬度和强度。
您将学到的内容
- 使用 HTML 标签通过网页抓取从网站获取数据
- 使用 Beautiful Soup 库和 requests 库以编程方式查找关键词并提取相关网页链接
- 通过 RESTful API 获取数据,以便通过互联网访问信息存储库
- 从多个 API 中提取数据并导入可绘图的模型
- 将 Pandas 数据框中的经度、纬度和震级数据绘制到世界地图上
- 识别地心坐标数据
关键要点
- 大多数数据可视化项目需要自行获取或创建部分数据,在必要时始终可以手动输入数据。
- 网站全由 HTML 构成,其中有许多标签可用于识别和抓取数据。
- Beautiful Soup 可以在网站中查询关键词,并以编程方式获取相关网页链接。
- REST(表述性状态传递)是一种基于互联网的应用程序接口,允许以编程方式访问信息存储库。
- 包含事件经度、纬度和震级的 Pandas 数据框中的数据可以绘制到世界地图上。
常见问题
本课程涵盖哪些数据收集技术?
本课程重点介绍两种常见的自动化数据获取技术:使用 Beautiful Soup 库进行网页抓取,以及通过 RESTful API 获取数据。课程同时强调您随时可以手动输入所需数据。
我将使用哪些库和工具?
您将使用 Beautiful Soup 库和 requests 库抓取网站,使用 RESTful API 获取数据,并使用 Pandas 数据框将数据绘制到世界地图上。
完成课程后我能做什么?
您将能够通过抓取和 RESTful API 获取数据、理解 Beautiful Soup 和 requests 库、识别地心坐标数据,并将事件的经度、纬度和震级绘制到世界地图上。
本课程包含哪些课时?
本课程包含三节课时:使用网页进行数据抓取、使用 API 进行数据抓取,以及将数据绘制到地理地图。
本课程有助于培养哪些技能?
本课程有助于培养数据映射、数据可视化、数据地图、信息可视化、科学可视化和可视化等方面的技能。









