第一回 新入环境
我的名字是hadoop，我一出生我的爸爸雅虎就给我取了这样一个名字：hadoop，我也不知道为什么叫这个名字,刚出生没多久,雅虎爸爸就把我领进一个黑暗的屋子里面,屋里堆满了黑色的箱子,里面出奇的冷.
我一脸懵懂,“爸爸，这是哪里？”
“不要着急，马上你就会明白了，听爸爸的话,进去之后要好好做事.”
爸爸把我送到房间尽头的楼梯旁跟我说:”进去吧,爸爸回家了,在外面好好闯荡哈,吃亏是福,爸爸在家等你”,说完爸爸轻轻地走了.我发呆望着爸爸.
正当我心中还念念不忘爸爸的时候,眼神无意中滑到了楼梯旁边,我看着旁边破旧的楼梯,心想这么破的楼梯也没个人修修,楼梯上面挂着一个破旧的牌子,上面写着四个字母”sftp”.这到底是什么地方,我心中念叨着.
”hadoop 快进 磨蹭什么玩意”,只听见一个凶神恶煞的门卫怒吼道.
什么? hadoop? 不就是我吗,我赶紧顺着楼梯上了楼上的房间.
”磨蹭什么玩意,这么多人就等你呢”,旁边一个人一脸不耐烦地看着我,我没敢耽误赶紧走了进去,看样子那么多人都排着队呢,我紧挨着他们,他们和我一样胸前都挂着牌子,我仔细看着他们每个人身上牌子,”hive”,”flume”,”sqoop”,”azkaban”等等等.看半天没看出什么所以然来.
”兄弟,咱们在这排队是要干什么呀?”,我轻声问着前面叫flume的兄弟.
”还能干什么,看见那一堆堆的log数据没,一会都是你要处理的”,兄弟答道
我看着那堆积如山的数据不寒而栗,忽然我耳边回响起起爸爸时常和朋友谈起的数据存储,数据计算等等关于数据的事情.难道我来就是处理这些数据的嘛.
很快就轮到我了,我被一个粗胖的大汉拿着胶带把我打包成一个大箱子扔进了一个叫centos的地方,进去之后我从箱子里出来,观察着周围的光电闪烁,我看里面一个个人忙得手忙脚乱,他在里面手舞足蹈挥舞着指挥棒,就像一个音乐指挥家一样,我走近了瞅见了他身上的牌子,上面金光闪闪地写着CPU三个大字母,原来他是爸爸常跟我提起的中央处理器,忽然他指着我说:”hadoop你过来把这一堆数据处理了,完不成马上把你kill掉”
第二回 暂露头脚
接收到CPU的命令以后,我一脸茫然,这么多数据我怎么可能干得完,难道只能等着被干掉?旁边挂着flume牌子的大哥看出了我的困惑,低声对我说:”这么多数据你搞不定的,你必须把自己复制几份在另几个centos服务器上面你们几个一起干活,你去问centos服务器的主人要另外几台服务器的账号密码来传输备份”
是的,,看来只能这样了,但是那么多的hadoop在不同的服务器上面总要有一个来进行管理吧,不然干起活来岂不乱套?谁管理呢?君临天下舍我其谁,就我吧,
我思索着,我瞅着自己身上的三个组件:
第一个是存储文件的hdfs组件,
第二个是调度资源的yarn组件,
第三个是计算数据的mapreduce组件,
hdfs文件系统角色需要有一个管理者,化名namenode,专门总体管理各个服务器上面数据吧,其他服务器上面的就叫datanode专门存储数据,我做namenode,其他datanode服从我的管理.
yarn资源管理角色需要一个管理者,化名resourcemanager,,专门管理总资源,其他服务器上面资源管理的化名nodemanager,我做resourcemanager,其他nodemananger服从我的的管理.
对于mapreduce数据计算这一块,就一干粗活的,就让他服从nodemanger安排吧,我就做总司令.
哈哈,角色都安排好了,此刻我洋洋得意了,忽然想起一个问题了,怎么进行联系呢,我这个管理的总司令的命令怎么下发呢,大家都在不同的服务器上面呀,我经过一番思索,觉得我可以用HTTP或者RPC
怎么选择呢?HTTP? HTTP协议是在传输层协议TCP之上的,而RPC就是基于传输层协议TCP的,很明显RPC更底层,那也就是说用RPC更快,OK,就用RPC联系.
小hadoop准备工作完毕..
欢迎您的阅读,本人微信公众号 “欢乐的马小纪”欢迎关注
