首页 技术 正文
技术 2022年11月23日
0 收藏 745 点赞 4,364 浏览 1267 个字

本人对大数据方面也是刚刚研究,由于工作需要在实时查询与统计的性能方面要深入学习。现测试性能如下: 环境:VirtualBox  host-onlyubuntu版本: Linux master 4.4.0-47-generic #68-Ubuntu SMP Wed Oct 26 19:39:52 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux XXX.XXX.XXX.101  masterXXX.XXX.XXX.102  Slave1XXX.XXX.XXX.103  Slave2XXX.XXX.XXX.104  Client1XXX.XXX.XXX.1    HOST   数据库安装于宿主机器内 在master中start-all 成功启动后。slave1与Slave2 Work启动成功。在Client机器中启动 spark-shell –master  spark://master:7077  –jars ../lib/ojdbc6.jar  启动成功 执行下面的指令 val url = “jdbc:oracle:thin:@XXX.XXX.XXX.1:1521:orcl” val tableName = “mytables” val prop = new java.util.Properties prop.setProperty(“user”,”test”) prop.setProperty(“password”,”test”)prop.setProperty(“driver”,”oracle.jdbc.driver.OracleDriver”)val predicates = Array( “2013-01-01” -> “2014-01-01”, “2014-01-01” -> “2015-01-01”, “2015-01-01” -> “2016-01-01″,”2016-01-01” -> “2017-01-01″ ).map { case (start, end) => s” indbtime>= to_date(‘$start’,’yyyy-mm-dd’) ” + s” AND indbtime<= to_date( ‘$end’,’yyyy-mm-dd’)” }val jdbcDF = sqlContext.read.jdbc(url,tableName,predicates,prop)  scala> jdbcDF.count()16/11/29 17:19:49 INFO DAGScheduler: Job 0 finished: count at <console>:30, took 41.144126 sres4: Long = 1441039  结论:1441039的数据耗时要41秒,而在数据库里直接用select count(*) from tables ,不到一秒就返回结果。我知道集群的spark应该会比单机的oracle功能更强大,请高手指点,哪儿出的问题? 对数据库表里上亿条的数据各种组合条件与统计字段交叉,要求10秒内返回结果,请问大牛们,如何实现??大数据初学,问题有些低级,望专业人士不要见笑。 

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:8,912
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,436
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,251
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,063
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,694
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,732