─myproject
├─setup.py //启动文件
├─start_scrapy.py //scrapy启动文件
├─History //新建项目工作文件夹
│ └─mypro //项目mypro工作文件夹,下面是每一个
│ ├─Nmap
│ ├─scrapy
│ └─SqlInject
├─lib
│ └─HTMLExtractor.py //HTML提取器
│ └─Self_Defining_Extractor.py //自定义提取器
│ └─URLExtractor.py //URL提取器
│ └─Recorder.py //记录器实现逻辑
│ └─storage.py //存储器实现逻辑
│ └─mysql_setting.py //数据库配置
├─myproject //scrapy文件夹
│ ├─spiders //spider文件夹
│ │ └─myspider
│ └─items //定义spider中提取内容的数据结构
│ └─middlewares //中间件负责随机ua头的实现,以及代理添加
│ └─pipelines //pipeline用于处理、存储提取内容
├─PluginSystem //插件系统文件夹
│ ├─MessageManager.py //插件消息管理器
│ ├─PluginManager.py //插件管理器
│ ├─Plugins.json //各个插件信息
│ ├─Plugins //插件文件夹
│ ├─PluginSys_setting.py //插件系统配置文件
│ │ ├─Nmap //Nmap插件的文件夹
│ │ │ ├─Nmap.py //Nmap插件实现的主要逻辑
│ │ │ ├─info.json //该插件的信息
│ │ │ ├─requirements.txt //该插件需要的第三方库
│ │ ├─SqlInject
│ │ │ ├─SqlInject.py
│ │ │ ├─info.json
│ │ │ ├─requirements.txt
│ │ │ └─—
│ │ └─—
│ └─—
└─—