项目一  初探数据采集

项目导读

项目目标

任务一  使用DeepSeek和招聘平台了解数据采集相关岗位

任务工单

知识链接

一、数据

二、数据采集

三、数据存储

案例实施

任务二  搭建数据采集环境

任务工单

知识链接

一、常用数据采集工具

二、使用AIGC辅助数据采集

案例实施

一、安装和配置Python

二、安装和配置PyCharm

三、安装AI编码插件

项目实训  使用AIGC工具辅助开发Python程序

项目考核

项目二  使用Python库采集静态网页数据

项目导读

项目目标

任务一  使用Requests库爬取课程网页

任务工单

知识链接

一、网页基础知识

二、网络爬虫概述

三、Requests库

案例实施

任务二  使用BeautifulSoup库解析在线课程数据

任务工单

知识链接

一、BeautifulSoup库

二、存储数据至MySQL数据库

案例实施

一、分析课程网页的DOM树结构

二、解析在线课程数据

三、存储在线课程数据至MySQL数据库

四、调用函数

五、运行爬虫程序并查看MySQL数据库中的数据

项目实训  使用Python库采集静态房源数据

项目考核

项目三  使用Python库采集动态加载数据

项目导读

项目目标

任务一  通过分析Ajax请求采集图书数据

任务工单

知识链接

一、动态加载数据概述

二、Ajax请求分析

案例实施

一、分析图书网页的Ajax请求

二、爬取并解析图书数据

三、存储图书数据至MySQL数据库

四、调用存储图书数据函数

五、运行爬虫程序并查看MySQL数据库中的数据

任务二  使用Playwright库模拟浏览器操作采集图书数据

任务工单

知识链接

一、Playwright库概述

二、Playwright库的使用

案例实施

项目实训  使用Playwright库模拟浏览器操作采集动态加载的房源数据

项目考核

项目四  使用Scrapy爬虫框架采集网页数据

项目导读

项目目标

任务一  使用Scrapy框架采集文章数据

任务工单

知识链接

一、Scrapy框架概述

二、Scrapy框架应用

案例实施

任务二  使用Scrapy-Redis分布式采集文章数据

任务工单

知识链接

一、分布式爬虫原理

二、Scrapy-Redis分布式爬虫的实现

三、Scrapy-Redis分布式爬虫的部署

案例实施

一、实现Scrapy-Redis分布式爬虫

二、部署Scrapy-Redis分布式爬虫

项目实训  使用Scrapy框架采集房源数据

项目考核

项目五  使用Flume和Kafka采集日志数据

项目导读

项目目标

任务一  使用Flume采集系统安全日志数据

任务工单

知识链接

一、Flume概述

二、Flume的工作原理

三、Flume Agent核心组件的配置方法

四、Flume常用内置拦截器

五、Flume的使用

案例实施

一、安装和配置Flume

二、使用Flume采集系统安全日志数据到HDFS

任务二  使用Flume和Kafka采集系统日志数据

任务工单

知识链接

一、Kafka概述

二、Kafka的基本术语

三、Kafka的基本结构和工作机制

四、Kafka与Flume的区别和联系

五、Kafka的使用

案例实施

一、安装和配置Kafka

二、使用Flume和Kafka采集系统日志数据到HDFS

项目实训  使用Flume和Kafka采集Kafka运行日志数据

项目考核

项目六  使用Sqoop和DataX采集数据库数据

项目导读

项目目标

任务一  使用Sqoop采集MySQL数据库中的图书数据

任务工单

知识链接

一、Sqoop概述

二、Sqoop的工作原理

三、Sqoop的常用参数

四、Sqoop的使用

案例实施

一、安装和配置Sqoop

二、配置YARN

三、下载和添加程序包

四、使用Sqoop采集MySQL数据库中的图书数据到HDFS

任务二  使用DataX采集MySQL数据库中的在线课程数据

任务工单

知识链接

一、DataX概述

二、DataX的架构

三、DataX的插件

四、DataX的使用

案例实施

一、安装和配置DataX

二、使用DataX采集MySQL数据库中的在线课程数据到HDFS

项目实训  使用Sqoop采集MySQL数据库中的房源数据

项目考核

项目七  综合案例——采集悦购网电商平台数据

项目导读

项目目标

项目工单

案例实施

一、需求分析

二、采集电商平台商品数据

三、采集电商平台访问日志数据

四、采集数据库中的订单数据

附录  数据采集相关岗位能力图谱

参考文献