1.准备环境
java 1.7以上
hadoop版本参见hive官网的支持版本号,并启动hadoop集群。
2.下载、解压hive安装包
Hive官网地址: http://hive.apache.org/
下载安装包后用tar -xzvf命令解压,并用mv对文件夹重命名为hive
3.配置环境变量
vim /etc/profile,加入下面几行
HIVE_HOME=/home/hive
CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
PATH=$PATH:$HIVE_HOME/bin
export HIVE_HOME CLASSPATH PATH
保存后使用命令:source /etc/profile使环境变量立即生效
4. 创建hive-env.sh、hive-site.xml文件
进入hive/conf根据各template创建这两个文件
4.1修改hive-env.sh文件
HADOOP_HOME=/home/hadoop
export HIVE_CONF_DIR=/home/hive/conf
4.2修改hive-site.xml文件
此处需要修改的部分2.1.0版本都不用修改,低版本可能需要修改
<value>auth</auth>修改为<value>auth</value>
把hive.metastore.schema.verification=true,修改为 hive.metastore.schema.verification=false
至此hive的相关配置工作完成。
5.MySQL
5.1安装MySQL
Hive默认使用derby数据库存储元数据,但是该数据库不适用于生产环境,这边使用MySQL作为元数据的存储数据库。
所以需要先安装好MySQL
。
安装过程使用sudo apt-get install mysql-server mysql-client命令安装即可,但是注意如果出现Encountered a section with no Package: header错误时,使用如下命令解决:
sudo rm /var/lib/apt/lists/* -vf
sudo apt-get update
安装MySQL过程中会为root用户设置密码,安装完毕后输入mysql -u root -p以及密码启动MySQL来创建数据库用户
5.2创建MySQL用户
-
create user 'hive' identified by 'hive';
-
grant all privileges on *.* to 'hive' with grant option;
-
flush privileges;
-
create database hive;
5.3拷贝MySQL驱动文件
下载地址:http://dev.mysql.com/downloads/connector/j/ ,解压后拷贝其中的mysql-connector-java-5.1.39-bin.jar
到hive的lib文件夹下。
6.修改hive-site.xml文件
-
<property>
-
<name>javax.jdo.option.ConnectionURL</name>
-
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
-
<description>JDBC connect string for a JDBC metastore</description>
-
</property>
-
<property>
-
<name>javax.jdo.option.ConnectionDriverName</name>
-
<value>com.mysql.jdbc.Driver</value>
-
<description>Driver class name for a JDBC metastore</description>
-
</property>
-
<property>
-
<name>javax.jdo.option.ConnectionUserName</name>
-
<value>hive</value>
-
<description>username to use against metastore database</description>
-
</property>
-
<property>
-
<name>javax.jdo.option.ConnectionPassword</name>
-
<value>hive</value>
-
<description>password to use against metastore database</description>
-
</property>
7.初始化数据库
在使用hive或者hive --service cli来运行之前需要初始化数据库,如果在初始化之前已经运行了上述命令并且失败,则需要删除产生的metastore_db文件
使用命令schematool -initSchema -dbType mysql初始化mysql数据库
出现以下几行说明初始化成功:
-
Starting metastore schema initialization to 2.1.0
-
Initialization script hive-schema-2.1.0.derby.sql
-
Initialization script completed
-
schemaTool completed
8.启动hive
在使用hive或者hive --service cli运行hive时出现java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D错误
需要修改hive-site.xml的以下部分
-
<property>
-
<name>hive.exec.scratchdir</name>
-
<value>/tmp/hive</value>
-
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description>
-
</property>
-
-
<property>
-
<name>hive.exec.local.scratchdir</name>
-
<value>/tmp/hive/local</value>
-
<description>Local scratch space for Hive jobs</description>
-
</property>
-
-
<property>
-
<name>hive.downloaded.resources.dir</name>
-
<value>/tmp/hive/resources</value>
-
<description>Temporary local directory for added resources in the remote file system.</description>
-
</property>
然后即可正常运行。
9.测试
使用命令:
show tables;
create table test1(id int,name string);
select * from test1;
drop table test1;
来测试HiveQL是否能使用。
相关推荐
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
因为配置大数据的基础环境特别费事,因此这里搭建好了一份基础环境
hadoop2.7.1+hbase2.1.4+zookeeper3.6.2集合
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
描述了centOS6.5(虚拟机)环境下,hadoop2.7.1+hbase1.3.5版本的安装配置过程,以及个人在安装过程中遇到的问题与总结
毕业设计,采用Hadoop+Hive构建数据仓库,使用django+echarts构建前端web网站对业务指标进行可视化呈现 1. Hadoop+Hive构建数据仓库 2. django+echarts网站开发 3. 数据清洗,数据模型构建 毕业设计,采用Hadoop+...
hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+...
Centos+Hadoop+Hive+HBase
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结
HADOOP+HBASE+HIVE整合工程和文档
hadoop-2.7.1 + hive-1.2.1 稳定
NULL 博文链接:https://aperise.iteye.com/blog/2282670
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
毕业设计,采用Hadoop+Hive构建数据仓库,使用django+echarts构建前端web网站对业务指标进行可视化呈现 毕业设计,采用Hadoop+Hive构建数据仓库,使用django+echarts构建前端web网站对业务指标进行可视化呈现 毕业...
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
采用Hadoop+Hive构建数据仓库,使用django+echarts构建前端web网站对业务指标进行可视化呈现.zip毕业设计,采用Hadoop+Hive构建数据仓库,使用django+echarts构建前端web网站对业务指标进行可视化呈现.zip毕业设计,...