sparksql函數
㈠ sparksql怎樣取分組後的topn
sparksql怎樣取分組後的topn
Spark SQL 開窗函數
1、Spark 1.5.x版本以後，在Spark SQL和DataFrame中引入了開窗函數，比如最經典的就是我們的row_number()，可以讓我們實現分組取topn的邏輯。
2、做一個案例進行topn的取值（利用Spark的開窗函數），不知道是否還有印象，我們之前在最早的時候，做過topn的計算，當時是非常麻煩的。但是現在用了Spark SQL之後，非常方便。
㈡ spark sql 如何分區控制最後輸出文件數量
sparksql如何分區控制最後輸出文件數量因為Spark內部寫文件方式其實調用的都是Hadoop的函數，所以我們也可以通過Spark實現多文件輸出。Spark內部沒有多文件輸出的函數供大家直接調用，我們自己實現這個功能也是很簡單的。我們可以通過調用saveAsHadoopFile函數並自定義一個OutputFormat類即可
㈢ spark sql 字元串轉化為精確到日日期格式
1、首先打開SQL SERVER的管理工具，然後我們選定一個資料庫，點擊新建查詢。
㈣ SparkAPI中的spark.sql(sql)支持limit查詢嗎例如select * from tablename limit 1,10。
支持limit的，但不支持limit(2,10),想要分頁還得使用類似hive的開窗函數row_number
㈤ sparksql開窗函數有哪些
這個問題問的有些看不懂 Row_number()是SQL2005里的開窗函數 前台使用什麼語言並不影響sql返回的執行結果 樓主既然不要寫sql方式那麼是會用這個函數的 那為什麼還要提問呢。。。
㈥ sparksql 開窗函數怎麼用
row_number方法，相當於groupTopN。分組排序應用非常廣泛。
package com.dt.spark
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkContext, SparkConf}
object SparkSQLWindowFunctionOps {
def main(args:Array[String]) {
val conf: SparkConf = new SparkConf().setAppName("SparkSQLWindowFunctionOps").setMaster("spark://Master:7077")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc) //構建SQL上下文！
㈦ sparksql連續超過上限一段時間
需要用到開窗函數。
以當前時間為基準值，獲取到前面兩月的日期以及後面兩月的日期，通過lag和lead獲取，注意它們的默認值，以及over中的排序為升序。
㈧ 如何使用 Spark SQL
一、啟動方法
/data/spark-1.4.0-bin-cdh4/bin/spark-sql --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2
註：/data/spark-1.4.0-bin-cdh4/為spark的安裝路徑
/data/spark-1.4.0-bin-cdh4/bin/spark-sql –help 查看啟動選項
--master MASTER_URL 指定master url
--executor-memory MEM 每個executor的內存，默認為1G
--total-executor-cores NUM 所有executor的總核數
-e <quoted-query-string> 直接執行查詢SQL
-f <filename> 以文件方式批量執行SQL
二、Spark sql對hive支持的功能
1、查詢語句：SELECT GROUP BY ORDER BY CLUSTER BY SORT BY
2、hive操作運算：
1) 關系運算：= ==, <>, <, >, >=, <=
2) 算術運算：+, -, *, /, %
3) 邏輯運算：AND, &&, OR, ||
4) 復雜的數據結構
5) 數學函數：(sign, ln, cos, etc)
6) 字元串函數：
3、 UDF
4、 UDAF
5、 用戶定義的序列化格式
6、join操作：JOIN {LEFT|RIGHT|FULL} OUTER JOIN LEFT SEMI JOIN CROSS JOIN
7、 unions操作：
8、 子查詢： SELECT col FROM ( SELECT a + b AS col from t1) t2
9、Sampling
10、 Explain
11、 分區表
12、 視圖
13、 hive ddl功能：CREATE TABLE、CREATE TABLE AS SELECT、ALTER TABLE
14、 支持的數據類型：TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING BINARY TIMESTAMPDATE ARRAY MAP STRUCT
三、Spark sql 在客戶端編程方式進行查詢數據
1、啟動spark-shell
./spark-shell --master spark://master:7077 --total-executor-cores 10 --executor-memory 1g --executor-cores 2
2、編寫程序
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.json("../examples/src/main/resources/people.json")
查看所有數據：df.show()
查看錶結構：df.printSchema()
只看name列：df.select("name").show()
對數據運算：df.select(df("name"), df("age") + 1).show()
過濾數據：df.filter(df("age") > 21).show()
分組統計：df.groupBy("age").count().show()
1、查詢txt數據
import sqlContext.implicits._
case class Person(name: String, age: Int)
val people = sc.textFile("../examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")
val teenagers = sqlContext.sql("SELECT name, age FROM people WHERE age >= 13 AND age <= 19")
2、parquet文件
val df = sqlContext.read.load("../examples/src/main/resources/users.parquet")
3、hdfs文件
val df = sqlContext.read.load("hdfs://namenode.Hadoop:9000/user/hive/warehouse/spark_test.db/test_parquet/part-r-00001.gz.parquet")
4、保存查詢結果數據
val df = sqlContext.read.load("../examples/src/main/resources/users.parquet")
df.select("name", "favorite_color").write.save("namesAndFavColors.parquet「)
四、Spark sql性能調優
緩存數據表：sqlContext.cacheTable("tableName")
取消緩存表：sqlContext.uncacheTable("tableName")
spark.sql.inMemoryColumnarStorage.compressedtrue當設置為true時，Spark SQL將為基於數據統計信息的每列自動選擇一個壓縮演算法。
spark.sql.inMemoryColumnarStorage.batchSize10000柱狀緩存的批數據大小。更大的批數據可以提高內存的利用率以及壓縮效率，但有OOMs的風險
㈨ spark SQL和hive到底什麼關系
Hive是一種基於HDFS的數據倉庫，並且提供了基於SQL模型的，針對存儲了大數據的數據倉庫，進行分布式交互查詢的查詢引擎。
SparkSQL並不能完全替代Hive，它替代的是Hive的查詢引擎，SparkSQL由於其底層基於Spark自身的基於內存的特點，因此速度是Hive查詢引擎的數倍以上，Spark本身是不提供存儲的，所以不可能替代Hive作為數據倉庫的這個功能。
SparkSQL相較於Hive的另外一個優點，是支持大量不同的數據源，包括hive、json、parquet、jdbc等等。SparkSQL由於身處Spark技術堆棧內，基於RDD來工作，因此可以與Spark的其他組件無縫整合使用，配合起來實現許多復雜的功能。比如SparkSQL支持可以直接針對hdfs文件執行sql語句。