python爬蟲scrapy框架，python中scrapy框架項目_Python -- Scrapy 框架簡單介紹（Scrapy 安裝及項目創建）

Python -- Scrapy 框架簡單介紹

最近在學習python 爬蟲，先后了解學習urllib、urllib2、requests等，后來發現爬蟲也有很多框架，而推薦學習最多就是Scrapy框架了，所以這里我也小試牛刀一下。

python爬蟲scrapy框架、開始自己的Scrapy 框架學習之路。

一、Scrapy安裝介紹

參考網上資料，先進行安裝

python自帶的pip在哪、使用pip來安裝Scrapy

在命令行窗口執行如下命令即可

pip install Scrapy

django和flask的區別，安裝過程可能會因為環境等問題出現終止，此時可以查看命令行顯示提示信息，根據提示分析原因，從而解決問題。‘

win7遇到問題

如上圖提示：error：信息，發現安裝前需要有Visual C++，而且他們也提供了下載地址，可以復制粘貼到地址欄，進行下載，并安裝。

python爬蟲教程。再次安裝，如下圖即可成功

二、Scrapy入門教程

1、在cmd中創建Scrapy項目工程。

在命令行，切換的自己的項目代碼的工作空間下，執行如下命令

scrapy startproject ScrapyTest

有如下提示則表示創建成功

2、 對應項目文件中新生成如下文件

解析scrapy框架結構：

scrapy.cfg: 項目的配置文件。

tutorial/: 該項目的python模塊。之后您將在此加入代碼。

tutorial/items.py: 項目中的item文件。

tutorial/pipelines.py: 項目中的pipelines文件。

tutorial/settings.py: 項目的設置文件。

tutorial/spiders/: 放置spider代碼的目錄。

本想繼續深入介紹，想了想這里還是簡單做安裝介紹吧，畢竟后面還有很多內容需要學習的。

具體實例可以參考下面介紹