hive調用python
⑴ hive中如何調用python函數
ADD FILE /home/taobao/dw_hive/hivelets/smoking/ext/tsa/hivesql/bjx_topic_t1/splitsysin.py.bak;
create table if not exists splittest_t1
(
topic_id string,
topic_title string,
topic_desc string,
biz_date string,
gmt_create string
) PARTITIONED BY(pt string)
row format delimited fields terminated by '\001'
lines terminated by '\n'
STORED AS textfile;
select TRANSFORM(topic_id,topic_title,topic_desc,biz_date,gmt_create)
USING 'splitsysin.py'
as topic_id,topic_title,topic_desc,biz_date,gmt_create
from r_bjx_dim_topic_t1;
⑵ python 連接hive後處理導出excel 問題
你的原始數據裡面有空值，因此導致的錯誤，在寫入或者讀取之前填充以下缺失值，或者先對要寫入或者讀取的數據判斷下是否為空，再做操作。
要不然你就加入try except，來主動跳過
⑶ CDH Hive 配置HiveServer2
翻譯： https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hiveserver2_configure.html
版本：5.14.2
在使用HiveServer2之前，您必須進行以下配置更改。不這樣做可能會導致不可預知的行為。
警告： HiveServer1在CDH 5.3起不推薦使用，並且將在未來的CDH版本中刪除。HiveServer1的用戶應該盡快升級到 HiveServer2 。
重要提示：這些數字只是一般性指導，可能會受到諸如列數，分區，復雜聯接和客戶端活動等因素的影響。根據您的預期部署，通過測試進行優化以達到您的環境的最佳值。
有關為HiveServer2配置堆以及Hive Metastore和Hive客戶端的信息，請參閱 Hive組件的堆大小和垃圾收集 以及以下視頻：
解決HiveServer2服務崩潰問題
當您啟動視頻，請點擊YouTube上在播放器窗口的右下角看它在YouTube上，你可以調整它的大小更清晰的觀看。 （!--）
您必須正確配置並啟用Hive的表鎖管理器。這需要安裝ZooKeeper並設置一個ZooKeeper集合; 請參閱 ZooKeeper安裝 。
重要提示：如果不這樣做將會阻止HiveServer2處理並發查詢請求，並可能導致數據損壞。
通過設置屬性啟用鎖管理器 /etc/hive/conf/hive-site.xml 如下所示（用實例中的實際ZooKeeper節點名替換）：
重要提示：啟用表鎖管理器而不指定有效的Zookeeper法定節點列表將導致不可預知的行為。確保兩個屬性都已正確配置。
（如果您仍在使用HiveServer1，還需要上述設置。不推薦使用HiveServer1;盡快遷移到HiveServer2。）
如果ZooKeeper沒有使用ClientPort默認值，你需要設置 hive.zookeeper.client.port 與ZooKeeper使用的值相同。檢查/etc/zookeeper/conf/zoo.cfg 以找到ClientPort值。如果ClientPort 設置為除2181（默認值）以外的任何值，設置hive.zookeeper.client.port 。例如，如果ClientPort 設置為2222，設置 hive.zookeeper.client.port 也是2222：
HiveServer2和HiveServer1的連接URL格式和驅動程序類別不同：
HiveServer2可以 配置 為驗證所有連接; 默認情況下，它允許任何客戶端連接。HiveServer2支持 Kerberos 或 LDAP 身份驗證; 配置屬性為hive.server2.authentication 。您還可以配置 可插入身份驗證 ，它允許您為HiveServer2使用自定義身份驗證提供程序; 和 HiveServer2 Impersonation ，它允許用戶以連接用戶的身份執行查詢和訪問HDFS文件，而不是啟動HiveServer2守護進程的超級用戶。有關更多信息，請參閱 Hive安全配置 。
警告：由於並發和安全問題，HiveServer1和Hive CLI在CDH 5中不推薦使用，並且將在未來版本中刪除。Cloudera建議您盡快遷移到 Beeline 和 HiveServer2 。如果您使用HiveServer2的Beeline，則不需要Hive CLI。
HiveServer2和HiveServer1可以在同一個系統上並發運行，共享相同的數據集。這允許您運行HiveServer1以支持使用本機HiveServer1 Thrift綁定的Perl或Python腳本。
默認情況下，HiveServer2和HiveServer1都綁定到埠10000，所以至少其中一個必須配置為使用不同的埠。您可以通過hive -site.xml中的hive.server2.thrift.port 設置HiveServer2的埠屬性。例如：
您也可以通過設置這些環境變數來指定埠（以及HiveServer2的主機IP地址）：
⑷ 在hive查詢中使用變數
Hive配置屬性存儲於 hiveconf 命名空間中，該命名空間中的屬性是可讀寫的。在查詢語句中插入 '${hiveconf:變數名}' ，就可以通過 hive -hiveconf來替換變數。例如，查詢語句和執行方式如下：
需要注意的是：
Hive命令行變數，存儲於 hivevar 命名空間中，該命名空間中的變數是可讀寫的。使用方式和hive配置屬性類似，只是在查詢語句中插入的是 '${hivecar:變數名}' ，其中命名空間"hivecar:"可以省略。例如：
因為命令行變數的命名空間是唯一可以省略的，因此：
其他替換變數的方法：
利用shell腳本設置hive查詢語句中的變數
利用Python替換Hive查詢語句中的變數