首页 技术 正文
技术 2022年11月8日
0 收藏 913 点赞 1,282 浏览 920 个字

定于2月17日——2月23日的某一天,邀请咱们学员分享一下hadoop工作经验。对于没工作过的同学或者没从事过hadoop工作的同学,抓住机会啊,你可以提前准备自己关心的各种问题!

具体时间请关注QQ群(3群261520795),超人学院其他群的朋友不必重复加到3群,每个群都会发公告的。

你的未来或许因为这次聆听而改变!

分享内容大纲原文如下:

1.分享内容

漫谈**移动互联网公司hadoop环境下**业务的报表研发流程、技术及其他相关内容

2.面向观众

初入职场和对数据处理有兴趣的同学。提示:互联网公司数据处理工作经验丰富同学请绕道,不耽误您时间

3.本人情况

超人学院二期学员

计算机专业研究生,即将毕业,在某大型互联网公司实习70天

所做项目:hadoop环境下某业务报表研发(日志拉取-预处理入hive-预聚合入mysql-前端报表展示)

4.具体分享点

1)公司报表系统现状和报表研发组人员安排及工作分工现状

公司目前的新旧报表系统现状:

公司集群说明:

本组项目介绍、人员分工情况和工作内容说明:

2)以**业务报表研发流程为例漫谈其流程、所涉及技术、团队项目沟通方式和软件

a、需求产生过程及遇到的问题和注意事项:

b、报表研发过程(数据处理流程):

<1>需求整理及确认、遇到的问题和需注意事项

<2>日志拉取过程、所遇问题和需注意事项

<3>日志预处理(清洗,入hive)过程、所遇问题以及需注意事项

<4>预聚合过程(指标形成过程)、所遇问题和需注意事项

c、其他

<1>整个流程的监控机制、任务调度机制、数据正确性保证机制

<2>项目沟通方式和项目管理软件使用情况:

<3>所需掌握技能的个人总结

3)初入移动互联网职场工作感悟

总之

<1>职业是很严谨的,思想上先认真再认真对待,不论大小事;

<2>高效执行需求不可有拖延症;

<3>大小事都需过脑子,思路清晰透彻,切不可想当然,草率了事,踏踏实实将每一件事情办扎实;

<4>项目沟通中需精炼准确描述问题,尤其注意不可省略问题的前后场景;面对提问,需直答问题,不可给出替代答案;

<5>形成规范的做事流程和做事方法可节约较多时间并有利于做对事情和个人能力提升;

最后

愿大家都能正确评判自己所处位置并坚定好目标,然后不遗余力的前行。

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,083
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,558
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,407
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,180
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,816
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,899