首页 技术 正文
技术 2022年11月16日
0 收藏 430 点赞 3,212 浏览 1972 个字

一.安装

pip3 install -U gerapy

  使用python3.68版本安装gerapy,报错提示:ModuleNotFoundError: No module named ‘setuptools_rust’

  解决方法更新pip3

pip3 install --upgrade pip

  安装后,测试是否安装成功:

[root@iZwz927xptl8kw8zqrmwvcZ bin]# gerapy
Usage: gerapy [-v] [-h] ...Gerapy 0.9.10 - Distributed Crawler Management FrameworkOptional arguments:
-v, --version Get version of Gerapy
-h, --help Show this help message and exit

二.初始化

 在当前目录下创建gerapy工作目录

[root@iZwz927xptl8kw8zqrmwvcZ local]# pwd
/usr/local
[root@iZwz927xptl8kw8zqrmwvcZ local]# gerapy init
Initialized workspace gerapy
[root@iZwz927xptl8kw8zqrmwvcZ local]# ls
aegis bin etc games gerapy include lib lib64 libexec sbin share src

  数据库初始化,这将生成一个 SQLite 数据库,该数据库将用于保存每个主机的配置信息、部署版本、定时任务等。最后一行创建了一个dbs文件夹

[root@iZwz927xptl8kw8zqrmwvcZ local]# cd gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
logs projects
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy migrate
Operations to perform:
Apply all migrations: admin, auth, authtoken, contenttypes, core, django_apscheduler, sessions
Running migrations:
Applying contenttypes.0001_initial... OK
Applying auth.0001_initial... OK
...
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# pwd
/usr/local/gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
dbs logs projects

  创建用户

[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy initadmin
No Admin user exists, create temp admin user
Created admin account: admin(admin@gerapy.com), initial password: admin, just use it temporarily and change the pass word for safety

    修改用户信息参考:https://www.cnblogs.com/MrHSR/p/16505221.html

三. 启动服务

  启动服务命令

gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &

  在浏览器中打开http://localhost:8000进入Gerapy

四.主机管理

  登录进入Gerapy,主机管理–>创建,  下面是连接了本机的scrapyd服务,还可以配置多个服务器的scrapyd服务,进行统一管理

  

五.项目管理

   Gerapy的工作目录下有一个空的projects文件夹,也就是存放Scrapy目录的文件夹。

   如果我们要部署 Scrapy 项目,只需将项目文件放在项目文件夹中即可。 

  可以手动上传到projects目录下,也可以使用git上传参考:https://www.cnblogs.com/MrHSR/p/16505022.html   

   打包项目,点击打包成功如下所示:

  上面打包成功后,点击部署,就部署成功了

  通过postman查看,有了一个时间截版本号

六. 调试

  总结:在打包egg文件上,使用Gerapy可视化界面打包方便,轻松部署到多台scrapyd服务器上。   另一个打包是在开发环境,使用 scrapyd-deploy打包上传到指定的scrapyd服务器上。二种方案都可以,用gerapy统一管理比较好。

参考文档:https://docs.gerapy.com/en/latest/installation.html

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,083
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,558
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,407
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,180
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,817
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,900