第四个模块 robotparser:
主要是用来识别网站的 robots.txt 文件,然后判断哪些网站可以爬,哪些网站不可以爬的,其实用的比较少。
贡献者
分享
程序员连胜
这家伙很懒,只想把你留下。
该资源仅限VIP专享下载