hive庫表數據文件存儲位置

Ⅰ hive 的元數據存儲在 derby 和 mysql 中有什麼區別

Hive 的元數據存儲在RDBMS中，一般常用 MySQL 和 Derby。默認情況下，Hive元數據保存在內嵌的 Derby 資料庫中，只能允許一個會話連接，只適合簡單的測試。實際生產環境中不適用，為了支持多用戶回話，需要一個獨立的元資料庫，所以使用 MySQL。
總結：
1、Derby 只支持一個會話連接
2、 MySQL 支持多個會話連接，並且可以獨立部署

Ⅱ hive中創建外部分區表使用location是指定數據存放位置還是指數據來源

指定數據存放位置，如果沒有指定，就會在hdfs的默認位置建立表文件。

Hive 沒有專門的數據存儲格式，也沒有為數據建立索引，用戶可以非常自由的組織 Hive 中的表，只需要在創建表的時候告訴 Hive 數據中的列分隔符和行分隔符，Hive 就可以解析數據。

Hive 中所有的數據都存儲在 HDFS 中，Hive 中包含以下數據模型：表(Table)，外部表(External Table)，分區(Partition)，桶(Bucket)。

(2)hive庫表數據文件存儲位置擴展閱讀：

Hive中的表和資料庫中的表在概念上相似。 每個表在Hive中都有一個對應的目錄來存儲數據。

例如，一個表pvs，其在HDFS中的路徑為：/ wh / pvs，其中wh是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的數據倉庫的目錄，所有表數據（ 不包括外部表）存儲在此目錄中。

Partition對應於資料庫中的 Partition 列的密集索引，但是Hive中的Partition的組織方式與資料庫中的完全不同。 在Hive中，表中的Partition與表下的目錄相對應，所有Partition的數據都存儲在相應的目錄中。

Ⅲ hive能存儲數據嗎

能，hive的存儲位置是HDFS

Ⅳ 如何查看hive的元數據存儲位置

導入數據設置HADOOP_HOME
$ HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments...
下載合適的Sqoop並解壓到硬碟，所謂合適即Sqoop的版本應該和Hadoop的版本相匹配。筆者的Hadoop版本是1.03，下載的Sqoop是版本1.4.2。
$ tar zvxf sqoop-1.4.2.bin__hadoop-1.0.0.tar.gz

下載合適的JDBC驅動，將下載的JDBC的驅動放到Sqoop的lib文件夾下。
導入數據
$ sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.111:1521:DBNAME --username USERNAME --password PASSWORD --verbose -m 1 --table TABLENAME
DBNAME：資料庫名
USERNAME：用戶名
PASSWORD：密碼
TABLENAME：表名
-m：導入數據的進程的並發數，默認是4。如果導入的數據不大的話，不妨設置成1，這樣導入更快。一般來說Sqoop會使用主鍵來平均地分割數據。並發導入的時候可以設置相關的分割列等等，具體的做法參考官方的文檔。
如果Oracle是安裝在遠程的電腦上，要確保Sqoop可以ping通Oracle所在的電腦。例如如果Oracle安裝在Win7上面，可能需要關閉Win7的防火牆。另外，需要將Oracle配置成可以遠程訪問的。

注意，用戶名和表名應該要是大寫的，除非它們在創建的時候是名字是放在引號中的大小寫混合的形式。

Ⅳ hive工作時，數據是存儲在mysql還是hdfs

存儲的數據都在hdfs，元數據等可能存儲於mysql或者deby等

Ⅵ Hive日誌默認存儲在什麼位置

hive.log.dir就是日誌存儲在目錄/tmp/${user.name}(當前用戶名)/下
而hive.log就是hive日誌文件的名稱

Ⅶ 分布式環境下hive的外部表是如何存儲的

第一、hive本身是不存儲數據的，不論外表、內表，hive的所有數據是存放在hdfs文件系統的。
第二、基於上面，你的問題就轉變為hdfs的文件是如何存儲的了，hdfs的文件是以塊block存儲的，每個塊分布在多台機器上面，每個塊的信息以及存放路徑則存放在nameNode節點的元數據里邊。

Ⅷ Hive幾種數據導入方式

零．Hive的幾種常見的數據導入方式
常用的的有三種：
1.從本地文件系統中導入數據到Hive表；
2.從HDFS上導入數據到Hive表；
3.在創建表的時候通過從別的表中查詢出相應的記錄並插入到所創建的表中。
Hive配置：
HDFS中Hive數據文件存放目錄（啟動hive後HDFS自動創建）：
HDFS： /usr/hive/warehouse
hadoop fs -mkdir /usr/hive/warehouse 命令創立
本地數據存放目錄：
本地：/home/santiago/data/hive
一．從本地文件系統中導入數據到Hive表
1.在hive中建表
hive> show databases;
OKdefaultTime taken: 1.706 seconds, Fetched: 1 row(s)
hive> create table guo_test(Name string,String string)
> row format delimited
> fields terminated by ','
> stored as textfile；
hive> show tables;
OK
guo_test
Time taken: 0.024 seconds, Fetched: 1 row(s)123456789101112

2.在本地文件建立同類型數據表
santi@hdp:~/data/hive$ ls
hive_test.txt
santi@hdp:~/data/hive$ cat hive_test.txt
santi,you are a zhazha.1234

3.導入數據並測試
hive>load data local inpath '/home/santi/data/hive/hive_test.txt' into table guo_test;
hive> select * from guo_test;
hive>dfs -ls /usr/hive/warehouse/guo_test;

#hadoop fs -ls /usr/hive/warehouse
Found 1 items
drwxrwxr-x - santiago supergroup 0 2017-01-14 21:13
/usr/hive/warehouse/guo_test12345678

發現hive-site,xml設置的HDFS文件存儲位置中多了guo_test這個文件夾
#hadoop fs -ls /usr/hive/warehouse/guo_test
Found 1 items-rwxrwxr-x 1 santiago supergroup 24 2017-01-14 21:13
/usr/hive/warehouse/guo_test/hive_test.txt

hive> select * from guo_test;
OK
santi you are a zhazha.12345678

在該文件夾中找到了所寫入hive數據倉庫的文件。
[注]本地數據寫入成功，但是從本地將數據導入到Hive表的過程中，其實是先將數據臨時復制到HDFS的一個目錄下（典型的情況是復制到上傳用戶的HDFS home目錄下,比如/home/santi/），然後再將數據從臨時目錄下移動到對應的Hive表的數據目錄裡面(臨時目錄不保留數據)。
二．從HDFS文件系統中導入數據到Hive表
1.在HDFS文件系統上建立數據文件
hdfs上沒有vim命令，則需要將本地數據文件手動傳入到HDFS上
/data/hive# vim data_HDtoHive/data/hive# cat data_HDtoHivedata from, HDFS to Hive #hadoop fs -put /home/santi/data/hive/data_HDtoHive /usr/data/input//數據傳入# hadoop fs -ls /usr/data/input12345

2導入數據
hive> load data inpath '/usr/data/input/data_HDtoHive' into table guo_test;
hive> select * from guo_test;
OK
data from HDFS to Hive
santi you are a zhazha.
Time taken: 0.172 seconds, Fetched: 2 row(s)123456

數據寫入成功
數據存hive配置的數據存儲位置中。
[注]
從本地導入數據語句為
hive>load data local inpath 『/home/santi/data/hive/hive_test.txt』 into table guo_test;
從HDFS中導入數據的語句為
hive> load data inpath 『/usr/data/input/data_HDtoHive』 into table guo_test;
差距在local這個命令這里。
而從HDFS系統上導入到Hive表的時候，數據轉移。HDFS系統上查找不到相關文件。
三．從HIVE表選取數據插入新的HIVE表
命令為create table 表名 as selecr xxx from 表名。
hive> create table hivedata_test1
> as
> select name
> from guo_test;
hive> select * from hivedata_test1;
OK
data fromsanti
Time taken: 0.116 seconds, Fetched: 2 row(s)123456789

[注]hive是分區表有稍微區別
在Hive中，表的每一個分區對應表下的相應目錄，所有分區的數據都是存儲在對應的目錄中。比表有a和b兩個分區，則對應a=xxx,b=xx對應表的目錄為/user/hive/warehouse/a=xxx
user/hive/warehouse/b=xx，所有屬於這個分區的數據都存放在這個目錄中。
hive> create table hivedata_test2(
> Name string)
> partitioned by
> (String string)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY ','> STORED AS TEXTFILE;

hive> insert into table hivedata_test2
> partition(String='best')
> select Name
> from guo_test;
hive> select * from hivedata_test2;
OK
data from best
santi best
Time taken: 1.549 seconds, Fetched: 2 row(s)# hadoop fs -ls /usr/hive/warehouse/hivedata_test2Found 1 items
drwxrwxr-x -santiago supergroup 0 2017-02-14 17:40
/usr/hive/warehouse/hivedata_test2/string=best

Ⅸ hive初始化元資料庫後生成的文件在哪

導入數據
設置HADOOP_HOME
$ HADOOP_HOME=/path/to/some/hadoop sqoop import --arguments...
下載合適的Sqoop並解壓到硬碟，所謂合適即Sqoop的版本應該和Hadoop的版本相匹配。筆者的Hadoop版本是1.03，下載的Sqoop是版本1.4.2。
$ tar zvxf sqoop-1.4.2.bin__hadoop-1.0.0.tar.gz
下載合適的JDBC驅動，將下載的JDBC的驅動放到Sqoop的lib文件夾下。
導入數據
$ sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.111:1521:DBNAME --username USERNAME --password PASSWORD --verbose -m 1 --table TABLENAME
DBNAME：資料庫名
USERNAME：用戶名
PASSWORD：密碼
TABLENAME：表名
-m：導入數據的進程的並發數，默認是4。如果導入的數據不大的話，不妨設置成1，這樣導入更快。一般來說Sqoop會使用主鍵來平均地分割數據。並發導入的時候可以設置相關的分割列等等，具體的做法參考官方的文檔。
如果Oracle是安裝在遠程的電腦上，要確保Sqoop可以ping通Oracle所在的電腦。例如如果Oracle安裝在Win7上面，可能需要關閉Win7的防火牆。另外，需要將Oracle配置成可以遠程訪問的。

Ⅹ Hive元資料庫是用來做什麼的，存儲哪些信息

本質上只是用來存儲hive中有哪些資料庫，哪些表，表的模式，目錄，分區，索引以及命名空間。為資料庫創建的目錄一般在hive數據倉庫目錄下。