网页爬虫设计

创建项目

• 进入指定文件夹，右击空白处>在此处打开命令行窗口
• 创建项目

Scrapy startproject DgSpider

主要代码文件说明

• 爬虫主类 ：UrlSpider.py、ContentSpider.py 项目包含2个爬虫主类，分别用于爬取文章列表页所有文章的URL、文章详情页具体内容
• 内容处理类 ：pipelines.py 处理内容
• 传输字段类 ：items.py 暂存爬取的数据
• 设置文件 ：settings.py 用于主要的参数配置
• 数据库操作：mysqlUtils.py 链接操作数据库
• 文本处理、上传文本：PostHandle.py 处理文本