kettle調用python

① java集成kettle調用kjb作業文件時報錯，錯誤信息如下，這個是什麼原因

Unable to get VFS File object for filename 'file:///D:/tDataWarehouseMonitor/wuzilb.ktr' : Unknown scheme "sftp" in URI "{1}".這個錯誤是沒有找到文件的路徑，看看這路徑下有沒有文件

② kettle調用存儲過程的時候，找不到資料庫中的存儲過程（資料庫已經正確的連接上了）

無參數的存儲過程嗎，kettle是不顯示的，直接手動輸入存儲過程名稱就可以了

③ python可以調用kettle作業嗎

是可以的，之前子健老師的課程裡面有提到。但是我個人推薦的是使用Python，直接使用Python去請求api.然後解析XML文件，畢竟快速解析還是重要的業務實現。

④ Python爬蟲數據應該怎麼處理

一、首先理解下面幾個函數

設置變數 length()函數 char_length() replace() 函數 max() 函數
1.1、設置變數 set @變數名=值

set @address='中國-山東省-聊城市-莘縣';select @address

1.2 、length()函數 char_length()函數區別

select length('a')
,char_length('a')
,length('中')
,char_length('中')

1.3、 replace() 函數 和length()函數組合

set @address='中國-山東省-聊城市-莘縣';select @address
,replace(@address,'-','') as address_1
,length(@address) as len_add1
,length(replace(@address,'-','')) as len_add2
,length(@address)-length(replace(@address,'-','')) as _count

etl清洗欄位時候有明顯分割符的如何確定新的數據表增加幾個分割出的欄位

計算出com_instry中最多有幾個 - 符 以便確定增加幾個欄位 最大值+1 為可以拆分成的欄位數 此表為3 因此可以拆分出4個行業欄位 也就是4個行業等級

select max(length(com_instry)-length(replace(com_instry,'-',''))) as _max_count
from etl1_socom_data

1.4、設置變數 substring_index()字元串截取函數用法

set @address='中國-山東省-聊城市-莘縣';
select
substring_index(@address,'-',1) as china,
substring_index(substring_index(@address,'-',2),'-',-1) as province,
substring_index(substring_index(@address,'-',3),'-',-1) as city,
substring_index(@address,'-',-1) as district

1.5、條件判斷函數 case when
case when then when then else 值 end as 欄位名

select case when 89>101 then '大於' else '小於' end as betl1_socom_data

二、kettle轉換etl1清洗

首先建表 步驟在視頻里
欄位索引 沒有提 索引演算法建議用BTREE演算法增強查詢效率

2.1.kettle文件名：trans_etl1_socom_data
2.2.包括控制項：表輸入>>>表輸出
2.3.數據流方向：s_socom_data>>>>etl1_socom_data

網站頁面數據

etl2_socom_data表數據

清洗工作完成。

⑤ 如何使用Kettle調度存儲過程

如附件為例子，順次執行的話，放3個調用DB的存儲過程即可