首页 技术 正文
技术 2022年11月10日
0 收藏 935 点赞 4,364 浏览 935 个字

Strom并发模型:    topology是如何运行的?(可与mapreduce对比)        第一层:cluster        第二层:supervisor(host、node、机器)        第三层:worker(进程)        第四层:executor(线程)        第五层:task(线程的一个个对象、如Spout和Blot)//topology:N workers==每个==>1 excutor=>1 task//此时,它和mapreduce那个是一样的

topology代码   
conf.setNumWorkers(2)//进程topologyBuilder.setSpout(“blue-spout”,new Blue(),2)//线程topologyBuilder.setBolt(“green-spot”,new Green(),2).setNumTasks(4).shuffleGrouping(“blue-sqout”)//线程、对象topologyBuilder.serBolt(“yellow-sqout”,new Yellow(),6).shuffleGrouping(“green-bolt”)   

总结:worker一开始设置多少个就是topology里面有多少个,executor并行度那里设置多少个就是多少个,task如果没有设置那就是一个executor对应一个task,如果有写那就是task数就是task设定的数除以executor数来决定。【注】hadoop的mapreduce并发模型,一个job有很多很多的Tasks,然后有1000个map,有100个reduce,一个集群呢有很多个节点,比如说有500个节点,那这个时候呢,就是我的每个节点上起一些map task,起一些reduce task,这个时候呢我的1000个map发到每个机器上去运行,每个maptask呢是一个进程,每个reduce task呢也是一个进程,hadoop它的并发模型很简单,就两级,它有很多机器,每个机器上面都有很多的task进程,task进程里面呢运行的就是我们mapreduce的函数来自为知笔记(Wiz)

下一篇: JSP三大指令
相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,115
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,587
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,433
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,204
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,839
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,925