hive元数据库
1. hive 元数据是什么
管理hive的数据,所有的表名,库名,都是存储在元数据中的
2. 如何使用RDS创建Hive元数据库
用户可以使用不同的数据库客户端或命令行语句访问RDS数据库。下面分别介绍Mysql和SQL Server的访问方法。
一、提供3种访问MySQL数据库方法
点击了解如何提升RDS响应速度
方法1:客户端:Mysql-Front
首先,启动Mysql-Front后会有一个添加对话的对话框弹出,在名称处可输入任意名称。
其次,点击“连接”选项卡。
在服务器处:填写RDS的数据实例链接名(如example201108.mysql.alibabalabs.com)。
在端口处:3306。
然后,点击注册选项卡,在用户和密码处输入申请数据库时填写的数据库用户名和密码后,点击下图箭头所示的小方框,就可以选取要连接的数据库
最后,弹出数据库登录的对话框时,请继续点击确定按钮。便可链接并使用RDS数据库。
方法2:Navicat_mysql
在连接输入框中输入数据实例链接地址,端口(默认3306),数据库用户名和数据库密码后,点击确定即可。
方法3:Mysql命令登录
用户安装MySQL客户端后,可进入命令行方式链接数据库。
命令格式:mysql -u user_name -h example.mysql.alibabalabs.com -P3306 -pxxxx
其中,-u 指定的是用户名, -h指定的是主机名, -P指定的是端口, -p指定的是密码。
二、访问SQL Server数据库方法
使用SQL Server Management Studio访问RDS SQL Server数据,输入RDS实例连接地址,端口号,数据库用户名和密码。链接端口号请输入3433
3. 拿到hive的元数据库权限能否拿到所有用户的数据
概述
一、存储Hive版本的元数据表(VERSION)
二、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)
1、DBS
2、DATABASE_PARAMS
三、Hive表和视图相关的元数据表
1、TBLS
2、TABLE_PARAMS
3、TBL_PRIVS
四、Hive文件存储信息相关的元数据表
1、SDS
2、SD_PARAMS
3、SERDES
4、SERDE_PARAMS
五、Hive表字段相关的元数据表
1、COLUMNS_V2
六、Hive表分区相关的元数据表
1、PARTITIONS
2、PARTITION_KEYS
3、PARTITION_KEY_VALS
4、PARTITION_PARAMS
七、其他不常用的元数据表
4. python怎么读取hive元数据,执行大sql
#!/usr/bin/env pythonimport syssys.path.append('/usr/local/hive-0.10.0/lib/py')from hive_service import ThriftHivefrom hive_service.ttypes import HiveServerExceptionfrom thrift import Thriftfrom thrift.transport import TSocketf...
5. Hive元数据库是用来做什么的,存储哪些信息
本质上只是用来存储hive中有哪些数据库,哪些表,表的模式,目录,分区,索引以及命名空间。为数据库创建的目录一般在hive数据仓库目录下。
6. hive的元数据存储在derby和mysql 中有什么区别
hive的元数据如果放在derby,一般只能允许1个会话连接;而mysql则没有这个限制;为了共享知识,请点个赞支持下
7. 远程连接元数据库hive.metastore.uris怎么写
hive配置远程metastore的方法:
1)首先配置hive使用本地MySQL存储metastore(服务器A 111.121.21.23)(也可以使用远程mysql存储)
2)配置完成后,在服务器A启动服务:/etc/init.d/Hadoop-hive-metastore start (默认监听端口是:9083)
3)配置hive客户端,修改hive-site.xml:(服务器B-需要有hadoop环境)
<property>
<name>hive.metastore.local</name>
<value>false</value>
<description>controls whether to connect to remote metastore server or open a new metastore server in Hive Client JVM</description>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://127.0.0.1:9083</value>
<description></description>
</property>
4)hive 执行测试hql
8. 如何查看hive的元数据存储位置
导入数据设置HADOOP_HOME
$ HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments...
下载合适的Sqoop并解压到硬盘,所谓合适即Sqoop的版本应该和Hadoop的版本相匹配。笔者的Hadoop版本是1.03,下载的Sqoop是版本1.4.2。
$ tar zvxf sqoop-1.4.2.bin__hadoop-1.0.0.tar.gz
下载合适的JDBC驱动,将下载的JDBC的驱动放到Sqoop的lib文件夹下。
导入数据
$ sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.111:1521:DBNAME --username USERNAME --password PASSWORD --verbose -m 1 --table TABLENAME
DBNAME:数据库名
USERNAME:用户名
PASSWORD:密码
TABLENAME:表名
-m:导入数据的进程的并发数,默认是4。如果导入的数据不大的话,不妨设置成1,这样导入更快。一般来说Sqoop会使用主键来平均地分割数据。并发导入的时候可以设置相关的分割列等等,具体的做法参考官方的文档。
如果Oracle是安装在远程的电脑上,要确保Sqoop可以ping通Oracle所在的电脑。例如如果Oracle安装在Win7上面,可能需要关闭Win7的防火墙。另外,需要将Oracle配置成可以远程访问的。
注意,用户名和表名应该要是大写的,除非它们在创建的时候是名字是放在引号中的大小写混合的形式。