首页 技术 正文
技术 2022年11月20日
0 收藏 733 点赞 3,415 浏览 3406 个字

上次我们在ubantu上安装了hadoop,那我们现在再进一步,开始我们的学习之旅–hive板块吧!

第一步:准备!

软件:

  I、一个搭建好的hadoop环境

  II、hive的bin文件(前往apache官网,参考链接:http://www.apache.org/dyn/closer.cgi/hive/);

  III、MySQL(在ubantu上通过apt-get命令下载, 命令顺序:apt-get update  >>  apt-get install -y mysql-server)

  IV、MySQL的jar包,下载mysql-connector-java-5.1.10-bin.jar(网上找找)

必要了解:

  hive通过将hadoop结构化的数据文件映射成一张表,将SQL查询解析为mapreduce任务实现统计查询,在大数据中主要干的是数据仓库和离线分析的事儿。hive中的元数据(metastore)存储有多种方式,这里为本地MySQL(hive也有自带的Derby实现)。

第二步:MySQL配置

  下载MySQL,安装时会要求你输入root密码(我们这里设置为1234)。我们需要做的事情有:创建hive访问MySQL的用户名和密码,hive的metastore存储数据库 

  I、登录MySQL:mysql -uroot -p1234

  II、创建hive元数据存放的数据库以及用户名并赋权限

mysql > create database hive;
mysql > GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql > FLUSH PRIVILEGES;

  III、将下载的MySQL的jar包(mysql-connector-java-5.1.10-bin.jar)放到/home/shj/hive/lib

第三步:配置HIVE

  我们需要将配置系统文件和hive配置文件。这一步难点就在hive-site.xml文件

  I、将下载的hive解压到指定目录。这里解压到:/home/shj/hive

  II、使用root账号配置/etc/bash.bashrc文件(也可以用普通账号,作用域不同而已)

   sudo su (输入密码)  >> vim /etc/bash.bashrc  >>(添加信息)export HIVE_HOME=/home/shj/hive  export PATH=$PATH:/home/shj/hive/bin:.

  III、配置/home/shj/hive/conf/hive-site.xml和对应参数说明(新建该文件)

   part1:文件内容

   hive.metastore.warehouse.dir:数据在hdfs中的存储位置

   hive.exec.scratchdir:用于存储不同map/reduce阶段的执行计划和这些阶段的中间输出结果

   javax.jdo.option.CoonectionURL:元数据库的URL

   javax.jdo.option.ConnectionDriverName:JDBC的driver,默认org.apache.derby.jdbc.EmbeddedDriver。我们这里使用的MySQL的JDBC

   javax.jdo.option.ConnectionUserName:链接使用的账号,是我们之前在MySQL中创建的那个

   javax.jdo.option.ConnectionPassword:MySQL中对应账号指定的密码

   part2:路径补充+赋权限

   对于配置文件中的路劲要有,创建他们并赋予权限

    hadoop fs -mkdir -p /usr/hive/warehouse   >>  hadoop fs -chmod 766 /usr/hive/warehouse

    hadoop fs -mkdir -p /usr/hive/tmp   >> hadoop fs -chmod 766 /usr/hive/tmp

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" rel="external nofollow" ?> <configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/usr/hive/warehouse</value>
</property> <property>
<name>hive.exec.scratchdir</name>
<value>/usr/hive/tmp</value>
<description>Scratch space for Hive jobs</description>
</property><property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property> <property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property> <property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property> <property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
</configuration>

  VI、配置hive运行环境文件:hive-env.sh

   >>  cp /home/shj/hive/conf/hive-env.sh templete /home/shj/hive/conf/hive-env.sh

   >>  在hive-env.sh中添加:export HADOOP_HOME=/home/shj/hadoop

   V、调整jline文件,hive和hadoop的jline版本不同。我们使用hive的jline替换hadoop

    rm /home/shj/hadoop/share/hadoop/yarn/lib/0.9****

    cp /home/shj/hive/lib/jline-2.12.jar /home/shj/hadoop/share/hadoop/yarn/lib/

第四步:执行hive

   >>启动hive的metastore服务:hive –service metastore &

   >>执行输入hive命令,不出问题的话就会有这个图片了。

在ubantu上安装hive

 

补充问题说明

  如果执行了hive,报错了,那么肯定是某一步出了问题。以下是我趟过得坑,供参考。

  第一种:执行hive后系统报错,出现问题:Error creating transactional connection factory

    问题是:没有下载MySQL的jar包,需要下载mysql-connector-java-5.1.10-bin.jar,并放在hive安装目录的lib下

  第二种:java.sql.SQLException: Unable to open a test connection to the given database. JDBC url =。。。。name…password

    你在MySQL中设置的用户名和密码与配置文件(hive-site.xml)中的配置存在差异

  第三种:CommunicationsException: Communications link failure

    查看自己的hive-site.xml是否有问题,链接不对。可能和jdbc/mysql/配置文件相关,具体哪一个部分还是要看具体信息

  

结尾:

hive都给你整好了,可以自己玩耍了!

原创博客,转载请注明出处!欢迎邮件沟通:shj8319@sina.com

上一篇: links
相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:8,994
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,507
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,350
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,135
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,768
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,845