python3.6教程案例分析_python 3.6 --实战Scrapy

一.Scrapy命令小结

scrapy -help

scrapy version #scrapy

scrapy version -v #不仅仅scrapy版本，还有组件版本

scrapy genspider aaa aaa.com #可以创建多个spider

Python编程案例教程。scrapy list #哪几个spider

scrapy view "http://www.XXX" #直接查看到网页

scrapy shell

scrapy parse #可以查看到parse这个方法内的爬取情况

scrapy bench #检测scrapy是否安装成功

##############

网络爬虫python，1.scrapy startproject 项目名称

- 在当前目录中创建中创建一个项目文件(类似于mySpider)

2. scrapy genspider [-t template]

- 创建爬虫应用

如：

scrapy genspider -t basic oldboy oldboy.com

python爬虫菜鸟教程？scrapy genspider -t xmlfeed autohome autohome.com.cn

PS:

查看所有命令：scrapy genspider -l

查看模板命令：scrapy genspider -d 模板名称

3. scrapy list

- 展示爬虫应用列表

python django。4. scrapy crawl 爬虫应用名称

- 运行单独爬虫应用

二.Scrapy运行流程

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下

Scrapy主要包括了以下组件：

1.引擎(Scrapy)

用来处理整个系统的数据流处理, 触发事务(框架核心)

php和python？2.调度器(Scheduler)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

3.下载器(Downloader)

用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)

4.爬虫(Spiders)

爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

java和python，5.项目管道(Pipeline)

负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

6.下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

7.爬虫中间件(Spider Middlewares)

介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。

python3。8.调度中间件(Scheduler Middewares)

介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy运行流程大概如下：

1.引擎从调度器中取出一个链接(URL)用于接下来的抓取

2.引擎把URL封装成一个请求(Request)传给下载器

3.下载器把资源下载下来，并封装成应答包(Response)

python简单小案例。4.爬虫解析Response

5.解析出实体(Item),则交给实体管道进行进一步的处理

6.解析出的是链接(URL),则把URL交给调度器等待抓取

三.Scrapy安装后

1.scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中)

2.items.py 设置数据存储模板，用于结构化数据.

基于python的数据处理案例，3.pipelines 数据处理行为，如：一般结构化的数据持久化

4.settings.py 配置文件，如：递归的层数、并发数，延迟下载等

5.spiders 爬虫目录，如：创建文件，编写爬虫规则

注意：一般创建爬虫文件时，以网站域名命名

项目结构及其爬虫应用简介

project_name/

python 入门案例，scrapy.cfg

project_name/

__init__.py

items.py

pipelines.py

settings.py

python数据分析5个案例，spiders/

__init__.py

爬虫1.py

爬虫2.py

文件说明：

scrapy.cfg 项目的主配置信息。(真正爬虫相关的配置信息在settings.py文件中)

python经典案例。items.py 设置数据存储模板，用于结构化数据，如：Django的Model

pipelines 数据处理行为，如：一般结构化的数据持久化

settings.py 配置文件，如：递归的层数、并发数，延迟下载等

spiders 爬虫目录，如：创建文件，编写爬虫规则

四.编写爬虫

代码：

python数据挖掘分析案例？import scrapy

from scrapy.http.response.html import HtmlResponse

class XiaohuarSpider(scrapy.Spider):

name='xiaohuar'

allowed_domains=['xiaohuar.com']

start_urls=['http://www.xiaohuar.com/hua/']

python项目开发案例集锦，def parse(self,response):

print(resopnse,type(response))

print(response.body_as_unicode())

current_url=reponse.url #爬取时请求url

body=response.body #返回的html

unicode_body=response.body_as_unicode() #返回html unicode编码

关于windows的编码问题

import sys,io

sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

备注：

1.爬虫文件需要定义一个类，并继承scrapy.spiders.Spider

2.必须定义name，即爬虫名，如果没有name，会报错。因为源码中是这样定义的。

3.编写函数parse，这里需要注意的是，该函数名不能改变，因为Scrapy源码中默认callback函数的函数名就是parse；

4.定义需要爬取的url，放在列表中，因为可以爬取多个url，Scrapy源码是一个For循环，从上到下爬取这些url，使用生成器迭代将url发送给下载器下载url的html。

运行：进入spiders目录，运行命令：

格式：scrapy crawl +爬虫名-nolog 即不显示日志

注：urllib.urlretrieve(ab_src, file_path) ，接收文件路径和需要保存的路径，会自动去文件路径下载并保存到我们指定的本地路径。

例子1：mySpider代码编写

抓取：传智播客课程培训师资库网站里的所有讲师的姓名、职称和个人信息。

步骤：

1.打开mySpider目录下的items.py

2.Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。

3.可以通过创建一个 scrapy.Item 类， 并且定义类型为scrapy.Field的类属性来定义一个Item(可以理解成类似于ORM的映射关系)。

4.接下来，创建一个ItcastItem 类，和构建item模型(model)。

代码：

import scrapy

class ItcastItem(scrapy.Item):

name = scrapy.Field()

level = scrapy.Field()

info = scrapy.Field()

爬虫：

1. 爬数据在当前目录下输入命令，将在mySpider/spider目录下创建一个名为itcast的爬虫，并指定爬取域的范围：

scrapy genspider itcast "itcast.cn"

##打开 mySpider/spider目录里的 itcast.py，默认增加了下列代码:

import scrapy

class ItcastSpider(scrapy.Spider):

name = "itcast"

allowed_domains = ["itcast.cn"]

start_urls = (

'http://www.itcast.cn/',

)

def parse(self, response):

pass

解析：

要建立一个Spider， 你必须用scrapy.Spider类创建一个子类，并确定了三个强制的属性 和 一个方法。

name = "" ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。

allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。

start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。

parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数，主要作用如下：

负责解析返回的网页数据(response.body)，提取结构化数据(生成item)，生成需要下一页的URL请求。

将start_urls的值修改为需要爬取的第一个url

start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)

修改parse()方法

def parse(self, response):

filename = "teacher.html"

open(filename, 'w').write(response.body)

然后运行一下看看，在mySpider目录下执行：

scrapy genspider -t crawl itcast itcast.cn

#也就是使用 scrapy genspider命令的唯一爬虫名。

2. 取数据

爬取整个网页完毕，接下来的就是的取过程了，首先观察页面源码：

xxx

xxxxx

xxxxxxxx

之前在mySpider/items.py 里定义了一个ItcastItem类。 这里引入进来

from mySpider.items import ItcastItem

然后将我们得到的数据封装到一个 ItcastItem 对象中，可以保存每个老师的属性：

import scrapy

class ItcastSpider(scrapy.Spider):

name = 'itcast'

allowed_domains = ['itcast.cn']

start_urls = ("http://www.itcast.cn/channel/teacher.shtml",)

def parse(self, response):

filename = "teacher.html"

open(filename, 'w').write(response.body)

from mySpider.items import ItcastItem

def parse(self, response):

open("teacher.html","wb").write(response.body).close()

# 存放老师信息的集合

items = []

for each in response.xpath("//div[@class='li_txt']"):

# 将我们得到的数据封装到一个 `ItcastItem` 对象

item = ItcastItem()

#extract()方法返回的都是unicode字符串

name = each.xpath("h3/text()").extract()

title = each.xpath("h4/text()").extract()

info = each.xpath("p/text()").extract()

#xpath返回的是包含一个元素的列表

item['name'] = name[0]

item['title'] = title[0]

item['info'] = info[0]

items.append(item)

# 直接返回最后数据

return items

scrapy保存信息的最简单的方法主要有四种，-o 输出指定格式的文件，，命令如下：

#json格式，默认为Unicode编码

scrapy crawl itcast -o teachers.json

#json lines格式，默认为Unicode编码

scrapy crawl itcast -o teachers.jsonl

#csv 逗号表达式，可用Excel打开

scrapy crawl itcast -o teachers.csv

#xml格式

scrapy crawl itcast -o teachers.xml

将代码改成下面形式，结果完全一样。

# 存放老师信息的集合

#items = []

for each in response.xpath("//div[@class='li_txt']"):

# 将我们得到的数据封装到一个 `ItcastItem` 对象

item = ItcastItem()

#extract()方法返回的都是unicode字符串

name = each.xpath("h3/text()").extract()

title = each.xpath("h4/text()").extract()

info = each.xpath("p/text()").extract()

#xpath返回的是包含一个元素的列表

item['name'] = name[0]

item['title'] = title[0]

item['info'] = info[0]

#items.append(item)

#将获取的数据交给pipelines

yield item

# 返回数据，不经过pipeline

#return items

上述步骤总结：

scrapy startproject mySpider

cd mySpider

scrapy genspider itcast "itcast.cn"

scrapy crawl itcast

scrapy crawl itcast -o teachers.xml

例子2：

信息，需要爬取的内容为：职位名称，职位的详情链接，职位类别，招聘人数，工作地点，发布时间。

1.创建Scrapy项目

scrapy startproject Tencent

#根据提示输入cd+项目名字进入项目

cd Tencent

命令执行后，会创建一个Tencent文件夹，结构如下：

2.编写item文件，根据需要爬取的内容定义爬取字段

import scrapy

class TencentItem(scrapy.Item):

# 职位名

positionname = scrapy.Field()

# 详情连接

positionlink = scrapy.Field()

# 职位类别

positionType = scrapy.Field()

# 招聘人数

peopleNum = scrapy.Field()

# 工作地点

workLocation = scrapy.Field()

# 发布时间

publishTime = scrapy.Field()

3.编写spider文件

进入Tencent目录，使用命令创建一个基础爬虫类：

# tencentPostion为爬虫名，tencent.com为爬虫作用范围

scrapy genspider tencentPostion "tencent.com"

执行命令后会在spiders文件夹中创建一个tencentPostion.py的文件，如下：

现在开始对其编写：

import scrapy

class TencentpositionSpider(scrapy.Spider):

"""功能：爬取腾讯社招信息"""

# 爬虫名

name = "tencentPosition"

# 爬虫作用范围

allowed_domains = ["tencent.com"]

url = "http://hr.tencent.com/position.php?&start="

offset = 0

# 起始url

start_urls = [url + str(offset)]

def parse(self, response):

filename = "teninfo.csv"

open(filename, 'w').write(response.body)

from Tencent.items import TencentItem

def parse(self, response):

#open("teninfo.csv", "wb").write(response.body).close()

# 存放招聘信息

for each in response.xpath('//*[@id="position"]/div[1]/table/tr[1]'):

# 初始化模型对象

item = TencentItem()

# 职位名称

item['positionname'] = each.xpath("./td[1]/text()").extract()[0]

# 详情连接

item['positionlink'] = each.xpath("./td[1]/a/@href").extract()[0]

# 职位类别

item['positionType'] = each.xpath("./td[2]/text()").extract()[0]

# 招聘人数

item['peopleNum'] = each.xpath("./td[3]/text()").extract()[0]

# 工作地点

item['workLocation'] = each.xpath("./td[4]/text()").extract()[0]

# 发布时间

item['publishTime'] = each.xpath("./td[5]/text()").extract()[0]

yield item

if self.offset < 1680:

self.offset += 10

# 每次处理完一页的数据之后，重新发送下一页页面请求

# self.offset自增10，同时拼接为新的url，并调用回调函数self.parse处理Response

yield scrapy.Request(self.url + str(self.offset), callback=self.parse)