scrapy文档

        文档链接

         安装指南 — Scrapy 2.5.0 文档 (osgeo.cn)icon-default.png?t=N7T8https://www.osgeo.cn/scrapy/intro/install.html

创建scrapy框架

        0.介绍

                scrapy异步非阻塞框架

                异步:一个主线程有20个任务可以来回切换

                非阻塞:运行程序需要等待调用结果

        1.创建命令

命令scrapy startproject 项目名称

例子scrapy startproject mySpider

目录结构

        2.创建爬虫脚本

        命令scrapy genspider 爬虫名 允许爬取域名

        例子scrapy genspider baidu baidu.com

        3.运行项目 

红框目录下运行启动命令

命令scrapy crawl 爬虫名称

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注