scrapy文档

        文档链接

         安装指南 — Scrapy 2.5.0 文档 (osgeo.cn)icon-default.png?t=N7T8https://www.osgeo.cn/scrapy/intro/install.html

创建scrapy框架

        0.介绍

                scrapy异步非阻塞框架

                异步:一个主线程有20个任务可以来回切换

                非阻塞:运行程序需要等待调用结果

        1.创建命令

命令scrapy startproject 项目名称

例子scrapy startproject mySpider

目录结构

        2.创建爬虫脚本

        命令scrapy genspider 爬虫名 允许爬取域名

        例子scrapy genspider baidu baidu.com

        3.运行项目 

红框目录下运行启动命令

命令scrapy crawl 爬虫名称

原文地址:https://blog.csdn.net/lizhenqi123456/article/details/134745131

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_23648.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注