linuxhive
① hive的安装配置
你可以下载一个已打包好的hive稳定版,也可以下载源码自己build一个版本。
安装需要 java 1.6,java 1.7或更高版本。 Hadoop 2.x或更高, 1.x. Hive 0.13 版本也支持 0.20.x, 0.23.x linux,mac,windows操作系统。以下内容适用于linux系统。 安装打包好的hive
需要先到apache下载已打包好的hive镜像,然后解压开该文件 $tar-xzvfhive-x.y.z.tar.gz设置hive环境变量 $cdhive-x.y.z$exportHIVE_HOME={{pwd}}设置hive运行路径 $exportPATH=$HIVE_HOME/bin:$PATH编译Hive源码
下载hive源码
此处使用maven编译,需要下载安装maven。
以Hive 0.13版为例 编译hive 0.13源码基于hadoop 0.23或更高版本
$cdhive$mvncleaninstall-Phadoop-2,dist$cdpackaging/target/apache-hive-{version}-SNAPSHOT-bin/apache-hive-{version}-SNAPSHOT-bin$lsLICENSENOTICEREADME.txtRELEASE_NOTES.txtbin/(alltheshellscripts)lib/(requiredjarfiles)conf/(configurationfiles)examples/(sampleinputandqueryfiles)hcatalog/(hcataloginstallation)scripts/(upgradescriptsforhive-metastore) 编译hive 基于hadoop 0.20
$cdhive$antcleanpackage$cdbuild/dist#lsLICENSENOTICEREADME.txtRELEASE_NOTES.txtbin/(alltheshellscripts)lib/(requiredjarfiles)conf/(configurationfiles)examples/(sampleinputandqueryfiles)hcatalog/(hcataloginstallation)scripts/(upgradescriptsforhive-metastore) 运行hive
Hive运行依赖于hadoop,在运行hadoop之前必需先配置好hadoopHome。 exportHADOOP_HOME=<hadoop-install-dir>在hdfs上为hive创建 mp目录和/user/hive/warehouse(akahive.metastore.warehouse.dir) 目录,然后你才可以运行hive。
在运行hive之前设置HiveHome。 $exportHIVE_HOME=<hive-install-dir>在命令行窗口启动hive $$HIVE_HOME/bin/hive若执行成功,将看到类似内容如图所示
② 为什么linux 查看hive数据库中文不乱码,到 HUE里查看就是乱码
在元数据库执行以下语句:
alter database hue character set latin1;
alter table beeswax_queryhistory modify `query` longtext CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;
③ linux中安装的hive所连接的数据库是哪个
sudo apt-get install mysql-server mysql-client
1). 建立数据库hive,
create database hive;
2). 创建用户hive
create user ‘hive’@’%’ identified by ‘hive’;
3).创建hive用户,并授权
grant all on hive.* to hive@’%’ identified by ‘hive’;
flush privileges
在启动mysql时可能遇到的问题:
④ linux下运行hive出错,我的hadoop,java,mysql运行都正常无错误,根据网上文档一步步配置的
安装了 jdbc 解析器了吗?另外,据说mysql的hive账户必须得有密码才行。 从http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz 下载连接器(不要用wget直接下,网页打开再找下载链接),并把解压后的 mysql-connector-java-5.1.22-bin.jar 文件拷贝至机器下的 /usr/lib/hive/lib下。
⑤ linux rhive环境变量怎么设置
有几种方法:
1、重新登录;
2、重启机器;
3、使用source命令,如:#soure .bash_profile
就可以直接让环境变量的修改生效了。
4、使用点号也可以让环境变量生效,如:#. .bash_profile
“.” 命令是soure命令的缩写。
⑥ linux中搭建的话hive和hbase是怎么结合的
应该是Hadoop在hbase和Hive中的作用吧。 hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。而hbase是作为分布式数据库,而hive是作为分布式数据仓库。当然hive还是借用hadoop的MapRece来完成一些hive中的命令的执行。而hbase与hive都是单独安装的。你需要哪个安装哪个,所以不存在重复信息。linux中搭建的话hive和hbase是怎么结合的
⑦ Linux里面hive是个数据库吗
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapRece任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapRece统计,使MapRece变得更加简单,而不必开发专门的MapRece应用程序。hive十分适合对数据仓库进行统计分析。
⑧ 为什么linux的hive无法启动hiveserver2
需要先启动Hive的thriftserver:hiveserver2,然后在beelin命令行中通过!connect jdbc:hive2://localhost:10000 scott tiger org.apache.hive.jdbc.HiveDriver命令来连接Hive.
⑨ linux hive 查 哪些database
为什么使用Hive? 为什么使用Hive?那么,在哪里使用Hive呢?在载入了60亿行(经度、维度、时间、数据值、高度)数据集到MySQL后,系统崩溃了,并经历过数据丢失。这可能部分是因为我们最初的策略是将所有的数据都存储到单一的一张表中了
⑩ 如何在linux硬盘上追加导入hive表中
如果你想把查询的结果保存到linux系统上的某个文件中,可以执行这个HQL。insertoverwritelocaldirectory'/tmp/output'select*fromtablea;这时查询的结果会被保存在HiveServer所在节点的的/tmp/output目录下。如果你使用的Hive版本是0.11及以上,还可以指定列之间的分隔符,具体可以看这个问题单HIVE-3682