当前位置:首页 » 操作系统 » hive元数据库

hive元数据库

发布时间: 2022-02-13 23:46:36

1. hive 元数据是什么

管理hive的数据,所有的表名,库名,都是存储在元数据中的

2. 如何使用RDS创建Hive元数据库

用户可以使用不同的数据库客户端或命令行语句访问RDS数据库。下面分别介绍Mysql和SQL Server的访问方法。

一、提供3种访问MySQL数据库方法

点击了解如何提升RDS响应速度
方法1:客户端:Mysql-Front

首先,启动Mysql-Front后会有一个添加对话的对话框弹出,在名称处可输入任意名称。

其次,点击“连接”选项卡。
在服务器处:填写RDS的数据实例链接名(如example201108.mysql.alibabalabs.com)。

在端口处:3306。

然后,点击注册选项卡,在用户和密码处输入申请数据库时填写的数据库用户名和密码后,点击下图箭头所示的小方框,就可以选取要连接的数据库
最后,弹出数据库登录的对话框时,请继续点击确定按钮。便可链接并使用RDS数据库。

方法2:Navicat_mysql

在连接输入框中输入数据实例链接地址,端口(默认3306),数据库用户名和数据库密码后,点击确定即可。

方法3:Mysql命令登录

用户安装MySQL客户端后,可进入命令行方式链接数据库。
命令格式:mysql -u user_name -h example.mysql.alibabalabs.com -P3306 -pxxxx
其中,-u 指定的是用户名, -h指定的是主机名, -P指定的是端口, -p指定的是密码。

二、访问SQL Server数据库方法

使用SQL Server Management Studio访问RDS SQL Server数据,输入RDS实例连接地址,端口号,数据库用户名和密码。链接端口号请输入3433

3. 拿到hive的元数据库权限能否拿到所有用户的数据

概述
一、存储Hive版本的元数据表(VERSION)
二、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)
1、DBS
2、DATABASE_PARAMS
三、Hive表和视图相关的元数据表
1、TBLS
2、TABLE_PARAMS
3、TBL_PRIVS
四、Hive文件存储信息相关的元数据表
1、SDS
2、SD_PARAMS
3、SERDES
4、SERDE_PARAMS
五、Hive表字段相关的元数据表
1、COLUMNS_V2
六、Hive表分区相关的元数据表
1、PARTITIONS
2、PARTITION_KEYS
3、PARTITION_KEY_VALS
4、PARTITION_PARAMS
七、其他不常用的元数据表

4. python怎么读取hive元数据,执行大sql

#!/usr/bin/env pythonimport syssys.path.append('/usr/local/hive-0.10.0/lib/py')from hive_service import ThriftHivefrom hive_service.ttypes import HiveServerExceptionfrom thrift import Thriftfrom thrift.transport import TSocketf...

5. Hive元数据库是用来做什么的,存储哪些信息

本质上只是用来存储hive中有哪些数据库,哪些表,表的模式,目录,分区,索引以及命名空间。为数据库创建的目录一般在hive数据仓库目录下。

6. hive的元数据存储在derby和mysql 中有什么区别

hive的元数据如果放在derby,一般只能允许1个会话连接;而mysql则没有这个限制;为了共享知识,请点个赞支持下

7. 远程连接元数据库hive.metastore.uris怎么写

hive配置远程metastore的方法:
1)首先配置hive使用本地MySQL存储metastore(服务器A 111.121.21.23)(也可以使用远程mysql存储)
2)配置完成后,在服务器A启动服务:/etc/init.d/Hadoop-hive-metastore start (默认监听端口是:9083)

3)配置hive客户端,修改hive-site.xml:(服务器B-需要有hadoop环境)
<property>
<name>hive.metastore.local</name>
<value>false</value>
<description>controls whether to connect to remote metastore server or open a new metastore server in Hive Client JVM</description>
</property>

<property>
<name>hive.metastore.uris</name>
<value>thrift://127.0.0.1:9083</value>
<description></description>
</property>
4)hive 执行测试hql

8. 如何查看hive的元数据存储位置

导入数据设置HADOOP_HOME
$ HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments...
下载合适的Sqoop并解压到硬盘,所谓合适即Sqoop的版本应该和Hadoop的版本相匹配。笔者的Hadoop版本是1.03,下载的Sqoop是版本1.4.2。
$ tar zvxf sqoop-1.4.2.bin__hadoop-1.0.0.tar.gz

下载合适的JDBC驱动,将下载的JDBC的驱动放到Sqoop的lib文件夹下。
导入数据
$ sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.111:1521:DBNAME --username USERNAME --password PASSWORD --verbose -m 1 --table TABLENAME
DBNAME:数据库名
USERNAME:用户名
PASSWORD:密码
TABLENAME:表名
-m:导入数据的进程的并发数,默认是4。如果导入的数据不大的话,不妨设置成1,这样导入更快。一般来说Sqoop会使用主键来平均地分割数据。并发导入的时候可以设置相关的分割列等等,具体的做法参考官方的文档。
如果Oracle是安装在远程的电脑上,要确保Sqoop可以ping通Oracle所在的电脑。例如如果Oracle安装在Win7上面,可能需要关闭Win7的防火墙。另外,需要将Oracle配置成可以远程访问的。

注意,用户名和表名应该要是大写的,除非它们在创建的时候是名字是放在引号中的大小写混合的形式。

热点内容
wincc图形编译在哪里 发布:2024-09-17 03:58:26 浏览:977
androidubuntu 发布:2024-09-17 03:50:27 浏览:701
识梦源码 发布:2024-09-17 03:50:18 浏览:26
诺基亚密码忘了打什么电话 发布:2024-09-17 03:27:09 浏览:555
树深度优先算法 发布:2024-09-17 03:26:58 浏览:472
跳转页源码 发布:2024-09-17 03:13:05 浏览:543
html文件上传表单 发布:2024-09-17 03:08:02 浏览:785
聊天软件编程 发布:2024-09-17 03:00:07 浏览:726
linuxoracle安装路径 发布:2024-09-17 01:57:29 浏览:688
两个安卓手机照片怎么同步 发布:2024-09-17 01:51:53 浏览:207