小白爬虫scrapy第二篇

创建爬虫项目

scrapy startproject (projectName)

我创建的项目名称为AIQuery

scrapy startproject AIQuery

用IDE打开项目可以看到目录结构如下

1.根目录有个scrapy.cfg是他的配置文件
2.spiders用来存放你的爬虫文件
3.__init__.py我就不做解释了
4.items.py存放集合
5.middlewares.py中间件用来自定义插件(在这里咱们用不到这玩意)
6.pipelines.py用来存储数据
7.settings.py这个还用解释吗?(你可以在scrapy.cfg中看到这个)
他们的具体介绍就去看Scrapy入门到奔溃教程,接下来咱们撸代码吧~~~

相关文章
相关标签/搜索