scrapy项目3中已经对网页规律作出解析，这里用crawlspider类对其内容进行爬取；
项目结构与项目3中相同如下图，唯一不同的为book.py文件
crawlspider类的爬虫文件book的生成命令为：scrapy genspider -t crawl book ‘category.dangdang.com’
book.py代码如下：
# -*- coding: utf-8 -*-
import scrapy
# 创建用于提取响应中连接的对象
from scrapy.linkextractors import LinkExtractor
# Rule 用于发送从 LinkExtractor 中提取的连接
from scrapy.spiders import CrawlSpider, Rule
from dangdang05.items import Dangdang05Itemclass BookSpider(CrawlSpider):
name = 'book'
allowed_domains = ['category.dangdang.com']
start_urls = ['http://category.dangdang.com/cp01.54.12.00.00.00.html']
# 提取连接信息，并将提取到的向提取到的url发送请求，调用回调函数处理请求
# 注意follow表示是否继续对response中的连接进行提取，True表示提取，False表示不再提取
# 当未指定回调函数时，follow的默认值为True,当指定回调函数时follow的默认值为False
rules = [Rule(LinkExtractor(allow=r'/pg\d+-cp01.54.12.00.00.00.html'),callback='parse_item',follow=True)] def parse_item(self, response):
# 实例化items中的类
item = Dangdang05Item()
# 网页解析第一步，返回selector对对象
book_list = response.xpath('//ul[@class="bigimg"]/li') for book_info in book_list:
# 书籍名称
item['name'] = book_info.xpath('./p[@class="name"]/a/@title').extract()[0]
# 书籍价格
item['price'] = book_info.xpath('./p[@class="price"]/span[1]/text()').extract()[0]
yield item
