prestosql
① PRESTO格式 是什麼的縮寫
Presto是一個開源的分布式sql查詢引擎,適用於互動式分析查詢,數據量支持GB到PB位元組,用於查詢分布在一個或多個不同數據源中的大數據集。
② 怎麼查看presto執行的sql
怎麼查看presto執行的sql
Presto支持在線數據查詢,包括Hive, Cassandra, 關系資料庫以及專有數據存儲。 一條Presto查詢可以將多個數據源的數據進行合並,可以跨越整個組織進行分析。
③ 大數據運算的三種引擎是什麼有什麼區別
現在流行的開源引擎可不止三個,先羅列5個給你:
1)Hive,披著SQL外衣的Map-Rece。Hive是為方便用戶使用Map-Rece而在外面封裝了一層SQL,由於Hive採用了SQL,它的問題域比Map-Rece更窄,因為很多問題,SQL表達不出來,比如一些數據挖掘演算法,推薦演算法、圖像識別演算法等,這些仍只能通過編寫Map-Rece完成。
2) Impala:Google Dremel的開源實現(Apache Drill類似),因為互動式實時計算需求,Cloudera推出了Impala系統,該系統適用於互動式實時處理場景,要求最後產生的數據量一定要少。
3)Shark/Spark:為了提高Map-Rece的計算效率,Berkeley的AMPLab實驗室開發了Spark,Spark可看做基於內存的Map-Rece實現,此外,伯克利還在Spark基礎上封裝了一層SQL,產生了一個新的類似Hive的系統Shark。
4) Stinger Initiative(Tez optimized Hive):Hortonworks開源了一個DAG計算框架Tez,Tez可以理解為Google Pregel的開源實現,該框架可以像Map-Rece一樣,可以用來設計DAG應用程序,但需要注意的是,Tez只能運行在YARN上。Tez的一個重要應用是優化Hive和PIG這種典型的DAG應用場景,它通過減少數據讀寫IO,優化DAG流程使得Hive速度提供了很多倍。
5)Presto:FaceBook於2013年11月份開源了Presto,一個分布式SQL查詢引擎,它被設計為用來專門進行高速、實時的數據分析。它支持標準的ANSI SQL,包括復雜查詢、聚合(aggregation)、連接(join)和窗口函數(window functions)。Presto設計了一個簡單的數據存儲的抽象層,來滿足在不同數據存儲系統(包括HBase、HDFS、Scribe等)之上都可以使用SQL進行查詢。
④ presto 配置 優先順序
presto主要配置文件如下: catalog/:配置各數據源的信息。presto是由facebook開源,基於內存的分布式查詢引擎。支持多數據源,可支持PB級海量數據查詢,本身不作數據存儲。由於基於內存查詢,減少了IO開銷,故查詢效率很高,但不適用於多表聯合查詢。
拓展資料:
1、presto架構 :
與眾多分布式框架類似,由某組件進行請求處理以及分發任務至各執行節點。在presto架構中,Coordinator即為這樣的角色。負責解析SQL,生成執行計劃,分發任務到各節點。 Worker即各實際執行查詢的節點。worker收到任務後,通過各種connector取各數據源中的數據。 Discovery service即聯系Coordinator及Worker的服務。Worker啟動會向Discovery server注冊服務,Coordinator向Discovery server獲取Worker節點信息。
2、Presto因其優秀的查詢速度被我們所熟知,它本身基於MPP架構,可以快速的對Hive數據進行查詢,同時支持擴展Connector,目前對Mysql、MongoDB、Cassandra、Hive等等一系列的資料庫都提供了Connector進行支持。是我們常用的SQL on Hadoop的解決方案。那麼我們今天就來看一下,當我們選擇Presto作為我們的查詢引擎之後,我們需要考慮的問題。
3、單機維度
GENERAL_POOL每次內存申請時,都會判斷內存使用量是否超過了最大內存,如果超過了就報錯,錯誤為「Query exceeded local memory limit of x」,這保護了Presto會無限申請內存,只會導致當前查詢出錯。同時,如果該節點的GENERAL_POOL可使用內存以及可回收內存為0,那麼認為該node為Block node。RESERVED_POOL可以認為是查詢最大的SQL,其能滿足GENERAL_POOL的內存限制策略,那麼肯定會滿足RESERVED_POOL的策略(復用了GENERAL_POOL策略)。
4、Resource Groups
Resource Groups 可以認為是Presto實現了一個弱資源限制和隔離功能。其可以為每個group指定隊列大小、並發大小、內存使用大小。為每個group設置合理的hardConcurrencyLimit(最大並發數)、softMemoryLimit(內存最大使用值)及maxQueued(隊列大小)一方面可以使不同業務影響降低,另一方面也大概率避免OOM問題,當然善於運用user及做下二次開發,就可以讓Presto支持多用戶共用同一分組和許可權認證功能。
⑤ presto怎麼查詢余額
怎麼查看presto執行的sql Presto支持在線數據查詢,包括Hive, Cassandra, 關系資料庫以及專有數據存儲。 一條Presto查詢可以將多個數據源的數據進行合並,可以跨越整個組織進行分析。
⑥ Linux裡面presto作用是什麼
Presto是一個開源的分布式SQL查詢引擎,適用於互動式分析查詢,數據量支持GB到PB位元組。
Presto的設計和編寫完全是為了解決像Facebook這樣規模的商業數據倉庫的互動式分析和處理速度的問題。
Presto支持在線數據查詢,包括Hive, Cassandra, 關系資料庫以及專有數據存儲。一條Presto查詢可以將多個數據源的數據進行合並,可以跨越整個組織進行分析。
Presto以分析師的需求作為目標,他們期望響應時間小於1秒到幾分鍾。 Presto終結了數據分析的兩難選擇,要麼使用速度快的昂貴的商業方案,要麼使用消耗大量硬體的慢速的「免費」方案。
目前用的不是很多。
⑦ 在presto SQL中兩個with as 函數怎麼union在一起
向表中插入行。
INSERT INTO table_name query1
目前尚不支持指定列名。
因此, 查詢語句中的列與要插入的表中的列必須完全匹配。
例如:
INSERT INTO orders SELECT * FROM new_orders;INSERT INTO cities VALUES (1, 'San Francisco');NSERT INTO cities VALUES (2, 'San Jose'), (3, 'Oakland');
⑧ presto sql如何忽略中英文括弧匹配
中英文括弧是不同的符號,匹配不上很正常。
可以通過下面幾種方式處理:
1. 統一輸入,所有公司名在輸入的時候都把括弧統一成中文或英文(直接用字元串替換就行了),搜索的時候也統一一下。
舊的數據可以直接操作資料庫替換(操作前記得備份)
2. 搜索前將括弧替換為通配符,使用like做條件檢索。
如:搜索關鍵字 你好(北京)信息技術有限公司
則sql語句生成為 where companyname like '你好%北京%信息技術有限公司' (如果之前是用 = 作條件的話,兩邊不加% ,如果之前就是用like,在之前的條件中調整)
⑨ presto中如何提取文本中的純漢字
沒辦法提取純文字。
Presto是一款功能強大的分布式sql查詢引擎。
Presto是專門為程序員查詢大數據研究開發的,能夠支持gb到pb位元組大小的海量數據,提高了資料庫搜索的回應速度,只需要幾秒就可以得到搜索結果,大大節省了搜索時間,提高效率。