本文为原创博客，仅供技术学习使用。未经允许，禁止将其复制下来上传到百度文库等平台。 目录 网络爬虫怎么爬取数据、 网络爬虫框架网络爬虫的逻辑顺序 网络爬虫实例教学modelmainutilparsedb再看main方法 爬虫效果展示 网络爬虫框架 写网络爬虫，一个要有

Scrapy爬虫框架介绍 pip install scrapyscrapy -h 更好地理解原理： Scrapy爬虫框架解析 requests库和Scarpy爬虫的比较 Scrapy爬虫的常用命令 scrapy -h

Scrapy框架 Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列)