資料庫大數據
Ⅰ 資料庫 大數據操作
下面以關系資料庫系統Informix為例,介紹改善用戶查詢計劃的方法。 1.合理使用索引 索引是資料庫中重要的數據結構,它的根本目的就是為了提高查詢效率。現在大多數的資料庫產品都採用IBM最先提出的ISAM索引結構。索引的使用要恰到好處,其使用原則如下: ●在經常進行連接,但是沒有指定為外鍵的列上建立索引,而不經常連接的欄位則由優化器自動生成索引。 ●在頻繁進行排序或分組(即進行group by或order by操作)的列上建立索引。 ●在條件表達式中經常用到的不同值較多的列上建立檢索,在不同值少的列上不要建立索引。比如在雇員表的「性別」列上只有「男」與「女」兩個不同值,因此就無必要建立索引。如果建立索引不但不會提高查詢效率,反而會嚴重降低更新速度。 ●如果待排序的列有多個,可以在這些列上建立復合索引(compound index)。 ●使用系統工具。如Informix資料庫有一個tbcheck工具,可以在可疑的索引上進行檢查。在一些資料庫伺服器上,索引可能失效或者因為頻繁操作而使得讀取效率降低,如果一個使用索引的查詢不明不白地慢下來,可以試著用tbcheck工具檢查索引的完整性,必要時進行修復。另外,當資料庫表更新大量數據後,刪除並重建索引可以提高查詢速度。 2.避免或簡化排序 應當簡化或避免對大型表進行重復的排序。當能夠利用索引自動以適當的次序產生輸出時,優化器就避免了排序的步驟。以下是一些影響因素: ●索引中不包括一個或幾個待排序的列; ●group by或order by子句中列的次序與索引的次序不一樣; ●排序的列來自不同的表。 為了避免不必要的排序,就要正確地增建索引,合理地合並資料庫表(盡管有時可能影響表的規范化,但相對於效率的提高是值得的)。如果排序不可避免,那麼應當試圖簡化它,如縮小排序的列的范圍等。 3.消除對大型錶行數據的順序存取 在嵌套查詢中,對表的順序存取對查詢效率可能產生致命的影響。比如採用順序存取策略,一個嵌套3層的查詢,如果每層都查詢1000行,那麼這個查詢就要查詢10億行數據。避免這種情況的主要方法就是對連接的列進行索引。例如,兩個表:學生表(學號、姓名、年齡……)和選課表(學號、課程號、成績)。如果兩個表要做連接,就要在「學號」這個連接欄位上建立索引。 還可以使用並集來避免順序存取。盡管在所有的檢查列上都有索引,但某些形式的where子句強迫優化器使用順序存取。下面的查詢將強迫對orders表執行順序操作: SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008 雖然在customer_num和order_num上建有索引,但是在上面的語句中優化器還是使用順序存取路徑掃描整個表。因為這個語句要檢索的是分離的行的集合,所以應該改為如下語句: SELECT * FROM orders WHERE customer_num=104 AND order_num>1001 UNION SELECT * FROM orders WHERE order_num=1008 這樣就能利用索引路徑處理查詢。 4.避免相關子查詢 一個列的標簽同時在主查詢和where子句中的查詢中出現,那麼很可能當主查詢中的列值改變之後,子查詢必須重新查詢一次。查詢嵌套層次越多,效率越低,因此應當盡量避免子查詢。如果子查詢不可避免,那麼要在子查詢中過濾掉盡可能多的行。 5.避免困難的正規表達式 MATCHES和LIKE關鍵字支持通配符匹配,技術上叫正規表達式。但這種匹配特別耗費時間。例如:SELECT * FROM customer WHERE zipcode LIKE 「98_ _ _」 即使在zipcode欄位上建立了索引,在這種情況下也還是採用順序掃描的方式。如果把語句改為SELECT * FROM customer WHERE zipcode >「98000」,在執行查詢時就會利用索引來查詢,顯然會大大提高速度。 另外,還要避免非開始的子串。例如語句:SELECT * FROM customer WHERE zipcode[2,3]>「80」,在where子句中採用了非開始子串,因而這個語句也不會使用索引。 6.使用臨時表加速查詢 把表的一個子集進行排序並創建臨時表,有時能加速查詢。它有助於避免多重排序操作,而且在其他方面還能簡化優化器的工作。例如: SELECT cust.name,rcvbles.balance,……other columns FROM cust,rcvbles WHERE cust.customer_id = rcvlbes.customer_id AND rcvblls.balance>0 AND cust.postcode>「98000」 ORDER BY cust.name 如果這個查詢要被執行多次而不止一次,可以把所有未付款的客戶找出來放在一個臨時文件中,並按客戶的名字進行排序: SELECT cust.name,rcvbles.balance,……other columns FROM cust,rcvbles WHERE cust.customer_id = rcvlbes.customer_id AND rcvblls.balance>0 ORDER BY cust.name INTO TEMP cust_with_balance 然後以下面的方式在臨時表中查詢: SELECT * FROM cust_with_balance WHERE postcode>「98000」 臨時表中的行要比主表中的行少,而且物理順序就是所要求的順序,減少了磁碟I/O,所以查詢工作量可以得到大幅減少。 注意:臨時表創建後不會反映主表的修改。在主表中數據頻繁修改的情況下,注意不要丟失數據。 7.用排序來取代非順序存取 非順序磁碟存取是最慢的操作,表現在磁碟存取臂的來回移動。SQL語句隱藏了這一情況,使得我們在寫應用程序時很容易寫出要求存取大量非順序頁的查詢。 有些時候,用資料庫的排序能力來替代非順序的存取能改進查詢。 實例分析 下面我們舉一個製造公司的例子來說明如何進行查詢優化。製造公司資料庫中包括3個表,模式如下所示: 1.part表 零件號?????零件描述????????其他列 (part_num)?(part_desc)??????(other column) 102,032???Seageat 30G disk?????…… 500,049???Novel 10M network card??…… …… 2.vendor表 廠商號??????廠商名??????其他列 (vendor _num)?(vendor_name) (other column) 910,257?????Seageat Corp???…… 523,045?????IBM Corp?????…… …… 3.parven表 零件號?????廠商號?????零件數量 (part_num)?(vendor_num)?(part_amount) 102,032????910,257????3,450,000 234,423????321,001????4,000,000 …… 下面的查詢將在這些表上定期運行,並產生關於所有零件數量的報表: SELECT part_desc,vendor_name,part_amount FROM part,vendor,parven WHERE part.part_num=parven.part_num AND parven.vendor_num = vendor.vendor_num ORDER BY part.part_num 如果不建立索引,上述查詢代碼的開銷將十分巨大。為此,我們在零件號和廠商號上建立索引。索引的建立避免了在嵌套中反復掃描。關於表與索引的統計信息如下: 表?????行尺寸???行數量?????每頁行數量???數據頁數量 (table)?(row size)?(Row count)?(Rows/Pages)?(Data Pages) part????150?????10,000????25???????400 Vendor???150?????1,000???? 25???????40 Parven???13????? 15,000????300?????? 50 索引?????鍵尺寸???每頁鍵數量???頁面數量 (Indexes)?(Key Size)?(Keys/Page)???(Leaf Pages) part?????4??????500???????20 Vendor????4??????500???????2 Parven????8??????250???????60 看起來是個相對簡單的3表連接,但是其查詢開銷是很大的。通過查看系統表可以看到,在part_num上和vendor_num上有簇索引,因此索引是按照物理順序存放的。parven表沒有特定的存放次序。這些表的大小說明從緩沖頁中非順序存取的成功率很小。此語句的優化查詢規劃是:首先從part中順序讀取400頁,然後再對parven表非順序存取1萬次,每次2頁(一個索引頁、一個數據頁),總計2萬個磁碟頁,最後對vendor表非順序存取1.5萬次,合3萬個磁碟頁。可以看出在這個索引好的連接上花費的磁碟存取為5.04萬次。
Ⅱ 資料庫和大數據的區別
對於資料庫研究人員和從業人員而言,從資料庫(DB)到大數據(BD)的轉變可以用「池塘捕魚」到「大海捕魚」做類比。「池塘捕魚」代表著傳統資料庫時代的數據管理方式,而 「大海捕魚」則是大數據時代的數據管理方式。這些差異主要體現在如下幾個方面:
1、數據規模
資料庫和大數據最明顯的區別就是規模。資料庫規模相對較小,即便是先前認為比較大的資料庫,比如 VLDB(Very Large Database),和大數據XLDB(Extremely Large Database)比起來還是差很遠。
資料庫的處理對象一般以 MB 為基本單位,而大數據則是GB、TB、PB 為基本處理單位。
Ⅲ 資料庫和大數據的區別
在大數據處理當中,資料庫提供底層支持,實現了穩固的大數據存儲,才能更好地支持下一步的大數據計算。今天的大數據基礎知識分享,我們來聊聊大數據當中,資料庫和數據倉庫的區別,怎麼去理解這兩者,又該怎麼去應用? 首先,資料庫是什麼?
從定義上來說,資料庫是用來存放數據的倉庫,資料庫由很多表組成,表是二維的,一張表裡面有很多欄位。欄位一字排開,對數據就一行一行的寫入表中。
資料庫的表,在於能夠用二維表現多維的關系,如:oracle、DB2、MySQL、Sybase、MSSQL Server等,都是典型的資料庫。
那麼,數據倉庫又是什麼?
數據倉庫,可以理解為是資料庫概念的升級。從邏輯上理解,資料庫和數據倉庫沒有區別,都是通過資料庫軟體實現存放數據的地方,只不過從數據量來說,數據倉庫要比資料庫更龐大。
資料庫和數據倉庫的區別:
1.資料庫只存放在當前值,數據倉庫存放歷史值;
2.資料庫內數據是動態變化的,只要有業務發生,數據就會被更新,而數據倉庫則是靜態的歷史數據,只能定期添加、刷新;
3.資料庫中的數據結構比較復雜,有各種結構以適合業務處理系統的需要,而數據倉庫中的數據結構則相對簡單;
4.資料庫中數據訪問頻率較高,但訪問量較少,而數據倉庫的訪問頻率低但訪問量卻很高;
5.資料庫中數據的目標是面向業務處理人員的,為業務處理人員提供信息處理的支持,而數據倉庫則是面向高層管理人員的,為其提供決策支持;
6.資料庫在訪問數據時要求響應速度快,其響應時間一般在幾秒內,而數據倉庫的響應時間則可長達數幾小時。
關於,資料庫基礎,大數據資料庫和數據倉庫的區別,以上就是詳細的介紹了。在大數據當中,資料庫和數據倉庫的知識的,都是值得關注的,也是在學習當中需要去重視的。
Ⅳ 資料庫是大數據的主要課程嗎
這個怎麼說呢?資料庫應該是大數據的課程之一,但是應該不算是主要課程。
因為大數據有5V特性,那麼大數據課程也應該集中於這五個方面。
第一個V(Volume(大量)),那麼就會有數據治理與數據整理,從大量甚至海量的數據中,找到有價值的數據,或者說有關聯的對分析有幫助的數據。
第二個V(Velocity(高速)),這部分主要是數據實時性,比如現在有時某些城市會有所謂的堵車報告,或者實時概況,這種就是高速提高的實時性。比如今天才得到去年的信息,那有什麼用?
第三個V(Variety(多樣)),大數據並不是特定收集某些相關數據,而是從第一個V大量的數據中找到很多信息,信息非常的多,這里主要的內容應該是數據分析,以及數據關聯性等等
第四個V(Value(低價值密度)),每一條數據拿出來其實都是沒神勇的,只有將數據放在一起,進行分析管理才能得到一些趨勢,概率,密度等等這些內容,其實大數據要做的就是講得到的低價值密度的信息進行提煉,提煉為價值密度更高的信息。
第五個V(Veracity(真實性)),這個其實就是一個數據治理的過程,只是這里更多的存在一些去偽存真的意思,就好比現在的「刷X」,如果能判斷出來哪些是刷的,哪些是真的,那麼這不就是數據治理嗎。而且只有真實的有效的信息才能對大數據有用,虛假的信息指揮干擾分析結果,所以真實性也很重要。
那為什麼資料庫還是大數據的課程之一?上面五個V和資料庫沒關系啊,但是大數據的數據最後還是要分層次,分系統的展現給用戶,這里還是需要資料庫來做,所以資料庫還是有作用的,而且不管現在用的是什麼大數據分析工具和怎麼做的數據分析,分析工具都是作用在資料庫內的數據上(這里的資料庫並不特指都一個產品,而是所有的資料庫產品),所以資料庫本身還是要學習的,只是與在大數據中,資料庫並不是那麼重要而已。
舉例來說:你可以不懂資料庫,但是你可以涉及演算法,演算法就是大數據的主要核心之一,然後再由動資料庫的將演算法轉換成資料庫語言,只是這樣的人一般都是大牛,平常人能做到轉換這一步就不錯了。
Ⅳ 如何查詢大資料庫數據存在
傳統資料庫處理大數據很困難吧,不建議使用傳統資料庫來處理大數據。
建議研究下,Hadoop,Hive等,可處理大數據。
如果有預算,可以使用一些商業大數據產品,國內的譬如永洪科技的大數據BI產品,不僅能高性能處理大數據,還可做數據分析。
當然如果是簡單的查詢,傳統資料庫如果做好索引,可能可以提高性能。
Ⅵ 大數據和資料庫的區別
大數據和以前的數據相比,有4個特點(4V):Volume(大量)、Velocity(高速)、Variety(多樣)、value(價值)。volume指量,數據量大,這是大數據的基礎;Velocity是指處理的速度;Variety指數據的維度;value指大數據能展現的價值,這是大數據的目的。
Ⅶ 大數據常用哪些資料庫
通常資料庫分為關系型資料庫和非關系型資料庫,關系型資料庫的優勢到現在也是無可替代的,比如MySQL、SQL Server、Oracle、DB2、SyBase、Informix、PostgreSQL以及比較小型的Access等等資料庫,這些資料庫支持復雜的SQL操作和事務機制,適合小量數據讀寫場景;但是到了大數據時代,人們更多的數據和物聯網加入的數據已經超出了關系資料庫的承載范圍。
大數據時代初期,隨著數據請求並發量大不斷增大,一般都是採用的集群同步數據的方式處理,就是將資料庫分成了很多的小庫,每個資料庫的數據內容是不變的,都是保存了源資料庫的數據副本,通過同步或者非同步方式保證數據的一致性,每個庫設定特定的讀寫方式,比如主資料庫負責寫操作,從資料庫是負責讀操作,等等根據業務復雜程度以此類推,將業務在物理層面上進行了分離,但是這種方式依舊存在一定的負載壓力的問題,企業數據在不斷的擴增中,後面就採用分庫分表的方式解決,對讀寫負載進行分離,但是這種實現依舊存在不足,且需要不斷進行資料庫伺服器擴容。
NoSQL資料庫大致分為5種類型
1、列族資料庫:BigTable、HBase、Cassandra、Amazon SimpleDB、HadoopDB等,下面簡單介紹幾個
(1)Cassandra:Cassandra是一個列存儲資料庫,支持跨數據中心的數據復制。它的數據模型提供列索引,log-structured修改,支持反規范化,實體化視圖和嵌入超高速緩存。
(2)HBase:Apache Hbase源於Google的Bigtable,是一個開源、分布式、面向列存儲的模型。在Hadoop和HDFS之上提供了像Bigtable一樣的功能。
(3)Amazon SimpleDB:Amazon SimpleDB是一個非關系型數據存儲,它卸下資料庫管理的工作。開發者使用Web服務請求存儲和查詢數據項
(4)Apache Accumulo:Apache Accumulo的有序的、分布式鍵值數據存儲,基於Google的BigTable設計,建立在Apache Hadoop、Zookeeper和Thrift技術之上。
(5)Hypertable:Hypertable是一個開源、可擴展的資料庫,模仿Bigtable,支持分片。
(6)Azure Tables:Windows Azure Table Storage Service為要求大量非結構化數據存儲的應用提供NoSQL性能。表能夠自動擴展到TB級別,能通過REST和Managed API訪問。
2、鍵值資料庫:Redis、SimpleDB、Scalaris、Memcached等,下面簡單介紹幾個
(1)Riak:Riak是一個開源,分布式鍵值資料庫,支持數據復制和容錯。(2)Redis:Redis是一個開源的鍵值存儲。支持主從式復制、事務,Pub/Sub、Lua腳本,還支持給Key添加時限。
(3)Dynamo:Dynamo是一個鍵值分布式數據存儲。它直接由亞馬遜Dynamo資料庫實現;在亞馬遜S3產品中使用。
(4)Oracle NoSQL Database:來自Oracle的鍵值NoSQL資料庫。它支持事務ACID(原子性、一致性、持久性和獨立性)和JSON。
(5)Oracle NoSQL Database:具備數據備份和分布式鍵值存儲系統。
(6)Voldemort:具備數據備份和分布式鍵值存儲系統。
(7)Aerospike:Aerospike資料庫是一個鍵值存儲,支持混合內存架構,通過強一致性和可調一致性保證數據的完整性。
3、文檔資料庫:MongoDB、CouchDB、Perservere、Terrastore、RavenDB等,下面簡單介紹幾個
(1)MongoDB:開源、面向文檔,也是當下最人氣的NoSQL資料庫。
(2)CounchDB:Apache CounchDB是一個使用JSON的文檔資料庫,使用Javascript做MapRece查詢,以及一個使用HTTP的API。
(3)Couchbase:NoSQL文檔資料庫基於JSON模型。
(4)RavenDB:RavenDB是一個基於.NET語言的面向文檔資料庫。
(5)MarkLogic:MarkLogic NoSQL資料庫用來存儲基於XML和以文檔為中心的信息,支持靈活的模式。
4、圖資料庫:Neo4J、InfoGrid、OrientDB、GraphDB,下面簡單介紹幾個
(1)Neo4j:Neo4j是一個圖資料庫;支持ACID事務(原子性、獨立性、持久性和一致性)。
(2)InfiniteGraph:一個圖資料庫用來維持和遍歷對象間的關系,支持分布式數據存儲。
(3)AllegroGraph:AllegroGraph是結合使用了內存和磁碟,提供了高可擴展性,支持SPARQ、RDFS++和Prolog推理。
5、內存數據網格:Hazelcast、Oracle Coherence、Terracotta BigMemorry、GemFire、Infinispan、GridGain、GigaSpaces,下面簡單介紹幾個
(1)Hazelcast:Hazelcast CE是一個開源數據分布平台,它允許開發者在資料庫集群之上共享和分割數據。
(2)Oracle Coherence:Oracle的內存數據網格解決方案提供了常用數據的快速訪問能力,一致性支持事務處理能力和數據的動態劃分。
(3)Terracotta BigMemory:來自Terracotta的分布式內存管理解決方案。這項產品包括一個Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop連接器。
(4)GemFire:Vmware vFabric GemFire是一個分布式數據管理平台,也是一個分布式的數據網格平台,支持內存數據管理、復制、劃分、數據識別路由和連續查詢。
(5)Infinispan:Infinispan是一個基於Java的開源鍵值NoSQL數據存儲,和分布式數據節點平台,支持事務,peer-to-peer 及client/server 架構。
(6)GridGain:分布式、面向對象、基於內存、SQL+NoSQL鍵值資料庫。支持ACID事務。
(7)GigaSpaces:GigaSpaces內存數據網格能夠充當應用的記錄系統,並支持各種各樣的高速緩存場景。
Ⅷ 大數據用什麼資料庫
大數據,是一個比較吃香的專業了,
現在找工作相對容易,而且薪水比較高,
其實大數據,學習起來其實並不難,但是提前是用心學,
沒有什麼基礎的話,
最好是能找系統的學校學習,把握好課堂上的幾十分鍾,
聽老師的思路,多問多練,保持平常心態,
我們的很多學生都是學有所成,祝你一切順利
Ⅸ 資料庫大數據
傳統資料庫處理大數據很困難吧,不建議使用傳統資料庫來處理大數據。
建議研究下,Hadoop,Hive等,可處理大數據。
如果有預算,可以使用一些商業大數據產品,國內的譬如永洪科技的大數據BI產品,不僅能高性能處理大數據,還可做數據分析。
當然如果是簡單的查詢,傳統資料庫如果做好索引,可能可以提高性能。