scrapy框架安装及创建

介绍:大而全的爬虫组件

一、安装:

windows

1.下载 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

耐心等待网页刷新

分享图片

pip3 install -i https://pypi.douban.com/simple wheel
pip3 install "D:\typed_ast-1.4.0-cp37-cp37m-win_amd64.whl"
pip3 install -i https://pypi.douban.com/simple pywin32
pip3 install -i https://pypi.douban.com/simple scrapy

linux

pip3 install -i https://pypi.douban.com/simple scrapy

二、创建

1.创建项目

scrapy startproject xx

分享图片

 目录结构

scrapy startproject 项目名称

项目名称
    项目名称/
        - spiders                # 爬虫文件 
            ....
        - items.py                 # 持久化
        - pipelines                # 持久化
        - middlewares.py        # 中间件
        - settings.py             # 配置文件(爬虫)
    scrapy.cfg                    # 配置文件(部署)

2.创建爬虫(根据提示)

scrapy genspider autohome autohome.com

3.启动爬虫

scrapy crawl autohome
相关文章
相关标签/搜索