上篇已经对数据进行了清洗，本篇对反爬虫做一些应对措施，主要包括随机UserAgent、随机代理。
一、随机UA
分析：构建随机UA可以采用以下两种方法
- 我们可以选择很多UserAgent，形成一个列表，使用的时候通过middleware获取到settings.py文件中的配置，然后进行随机选择
- 使用第三方库fake-useragent，这个库可以方便的生成一个随机UA，使用起来也很方便
本篇我们使用第二种方式来构建随机UA
-
安装第三方库fake_useragent，使用命令pip install fake-useragent
-
生成ua的方式很简单
from fake_useragent import UserAgentua = UserAgent(verify_ssl=False) #正常不需要这个参数，如果无法获取请添加这个参数
print(ua.random)
下面开始项目代码的编写
-
在middlewares.py文件中，我们对scrapy默认的UserAgentMiddleware进行改写
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware #导入默认的UA中间件的类
from fake_useragent import UserAgent
class LagouUserAgentMiddleware(UserAgentMiddleware): #新建一个拉钩网的UA中间件类继承自默认的类
def process_request(self, request, spider):
request.headers.setdefault(b'User-Agent', UserAgent(verify_ssl=False).random) #设置一个随机的UA
print('当前ua %s' % request.headers['User-Agent']) #打印出来看一下
-
把我们在lagou_c.py文件中custom_settings中的UA注释掉
-
这样UA就设置好了，还需要到settings.py文件中把它激活
DOWNLOADER_MIDDLEWARES = {
#'lagou.middlewares.LagouDownloaderMiddleware': 543, #有注释，是未激活的中间件
'lagou.middlewares.LagouUserAgentMiddleware': 333, #优先级是333，自己随便设置，数字越小代表优先级越高
}
-
我们运行一下爬虫，看下结果，可以看到UA在随机的更换
二、随机代理
分析：构建随机代理可以采用以下两种方法
- 我们可以选择很多proxy，形成一个列表，使用的时候通过middleware获取到settings.py文件中的配置，然后进行随机选择
- 构建一个随机代理池，通过middleware对随机代理进行设置
这里我们采用第二种方式，网上有别人构建的代理池，我就直接拿来用了，毕竟重复造轮子的时间，你可以用来做很多其他事情了。
我这里使用的是阿里云ECS服务器Centos 7，本地windows操作一样
-
首先使用git命令下载仓库（没有git的去下载一个，这个必学，可以简单理解为git本地仓库，github远程仓库，本地的可以上传，远程的可以下载）
git clone https://github.com/Python3WebSpider/ProxyPool.git
- 进入到PrxxyPool文件夹，然后再进入proxypool文件夹
- 编辑里面的setting.py文件，修改TEST_URL = ‘http://www.lagou.com’，这么做的目的就是让这些代理去请求拉勾网，如果成功就说明这个代理有效
- 我们接下来把这个代理池运行起来，在run.py文件目录下，运行run.py程序
- 可以看到代理自动获取并且在测试可用性，我们可以打开浏览器，看下获取一个随机代理，如果是远程服务器，地址为ip:5555/random （ip为远程服务器ip），如果是阿里云服务器需要设置安全组，放开5555端口。
现在开始编写我们的爬虫代码
-
在middlewares.py文件，新增一个LagouProxyMiddleware类
import requests
from requests.exceptions import ConnectionErrorclass LagouProxyMiddleware(object):
def __init__(self,proxy_url):
self.proxy_url = proxy_url def get_random_proxy(self):
’‘’
使用requests获取代理
‘’‘
try:
response = requests.get(self.proxy_url)
if response.status_code == 200:
random_proxy = response.text
return random_proxy
except ConnectionError:
return False def process_request(self, request, spider):
if request.meta.get('retry_times'): #如果重试次数为0，就使用默认的ip地址进行页面爬取，否则使用代理
random_proxy = self.get_random_proxy()
if random_proxy:
uri = 'https://{}'.format(random_proxy)
print('当前代理为{}'.format(request.meta['proxy']))
request.meta['proxy'] = uri #设置随机代理 @classmethod
def from_crawler(cls,crawler):
’‘’
类函数，使用crawler来获取settings中的PROXY_URL,也就是生成随机代理的url
‘’‘
settings = crawler.settings
return cls(
proxy_url=settings.get('PROXY_URL')
)
-
在settings.py中激活这个中间件，并且定义PROXY_URL
DOWNLOADER_MIDDLEWARES = {
#'lagou.middlewares.LagouDownloaderMiddleware': 543,
'lagou.middlewares.LagouUserAgentMiddleware': 333,
'lagou.middlewares.LagouProxyMiddleware': 444,
}PROXY_URL = 'http://localhost:5555/random' #哪台设备运行的代理池，就把localhost修改为那台设备的ip，本机不用修改
至此我们就完成了随机UA和随机代理的设置，老规矩，运行下爬虫。当然，因为本地ip没有被封，所以一直就会使用本地ip，不会使用代理ip，毕竟免费的代理慢。
