當前位置:首頁 » 存儲配置 » elasticsearch數據存儲

elasticsearch數據存儲

發布時間: 2022-07-15 16:38:21

① 可否完全使用ElasticSearch代替資料庫存儲

我們使用Elasticsearch存儲的文檔數量接近50億(算上1份復制,接近
100億文檔),總共10個數據節點和2個元數據節點(48GB內存,8核心CPU,ES使用內存達到70%),每天的文檔增量大概是3000W條(速度
持續增加中)。目前來看,單個文檔的查詢效率基本處於實時狀態;對於1到2周的數據的聚合統計操作也可以在10秒之內返回結果。

② 可否完全使用ElasticSearch代替資料庫存儲

我們使用Elasticsearch存儲的文檔數量接近50億(算上1份復制,接近
100億文檔),總共10個數據節點和2個元數據節點(48GB內存,8核心CPU,ES使用內存達到70%),每天的文檔增量大概是3000W條(速度
持續增加中)。目前來看,單個文檔的查詢效率基本處於實時狀態;對於1到2周的數據的聚合統計操作也可以在10秒之內返回結果。

但是,還有提升的空間:
1. 對於查詢單條數據的應用場景來說,我們可以使用ES的路由機制,將同一索引內的具有相同特徵(比如具有相同的userid)的文檔全部存儲於一個節點上,這樣我們之後的查詢都可以直接定位到這個節點上,而不用將查詢廣播道所有的節點上;

2. 隨著數據節點的增加,適當增加分片數量,提升系統的分布水平,也可以通過分而治之的方式優化查詢性能;


個人以為Elasticsearch作為內部存儲來說還是不錯的,效率也基本能夠滿足,在某些方面替代傳統DB也是可以的,前提是你的業務不對操作的事
性務有特殊要求;而許可權管理也不用那麼細,因為ES的許可權這塊還不完善。由於我們對ES的應用場景僅僅是在於對某段時間內的數據聚合操作,沒有大量的單文
檔請求(比如通過userid來找到一個用戶的文檔,類似於NoSQL的應用場景),所以能否替代NoSQL還需要各位自己的測試。如果讓我選擇的話,我
會嘗試使用ES來替代傳統的NoSQL,因為它的橫向擴展機制太方便了。

③ elasticsearch數據存儲目錄data會存哪些信息

如果是默認配置的話,就是放在ES目錄下的data文件夾
如果是默認配置的話,就是放在ES目錄下的data文件夾下

④ elasticsearch適合存儲什麼數據

一般提這種問題的都是新手,好吧,簡單回答下吧。 1、從MySQL 3.23開始,MySQL單表最大限制就已經擴大到了64PB了(官方文檔顯示)。也就是說,從目前的技術環境來看,MySQL資料庫的MyISAM存儲 引擎單表大小限制已經不是有MySQL資料庫本身來決定,而是由所在主機的OS上面的文件系統來決定了。 2、沒有人會那麼去存數據的,因為查詢速度太慢了,這時候就分表了,比如垂直分割,水平分割等等

⑤ 如何查看IT大數據中ElasticSearch組件的數據存儲路徑

默認配置,放ES目錄data文件夾
默認配置,放ES目錄data文件夾
-

⑥ 海量日誌數據存儲用 elasticsearch 和 hbase 哪個好

從基本功能來說這兩個確實有相似性,但是根據業務需求不同,我覺得有幾點可以考慮:
1. 查詢復雜度:HBase支持簡單的行或者range查詢,比如給一個PK查該行的數據,或者給一個begin/end查這個范圍的數據,如果想完成更復雜的功能就不太容易。而ES支持的查詢比較豐富,或者說這些查詢都帶有一點復雜計算的味道了。比如你有個論壇,你想查帖子裡面是否包含敏感詞,如果採用HBase就比較麻煩,使用HBase你可以將帖子存進來、讀出去,但是要查內容裡面的東西,只能一點點過濾;而ES是可以比較方便的幫助你完成這個功能的;
2. 數據量:按道理說兩者都是支持海量數據的,但是據我個人感覺,HBase可能更容易支持更多的數據,因為其一開始設計就是解決海量問題的;而ES是後來慢慢增強其存儲擴展性的;那麼也就是說,HBase上手起來擴展性不太會阻礙你使用;ES可能要多費點勁。當然,聽說也有人寫了ES基於Azure或者S3的存儲插件,但是穩定性不知道如何;
3. 剩下的就是比較遠的考慮,比如維護性,HBase基於Hadoop那一套,組件多,維護起來代價也不低,而ES自成體系,維護起來稍微好點;當然這個是相對的,絕對來說都不會容易。比如新功能開發,比如成本控制等等。。。

⑦ elasticsearch數據存儲目錄data會存哪些信息

如果是默認配置的話,就是放在ES目錄下的data文件夾下 如果是默認配置的話,就是放在ES目錄下的data文件夾下

⑧ 可否完全使用ElasticSearch代替資料庫存儲

我們使用Elasticsearch存儲的文檔數量接近50億(算上1份復制,接近
100億文檔),總共10個數據節點和2個元數據節點(48GB內存,8核心CPU,ES使用內存達到70%),每天的文檔增量大概是3000W條(速度
持續增加中)。目前來看,單個文檔的查詢效率基本處於實時狀態;對於1到2周的數據的聚合統計操作也可以在10秒之內返回結果。

但是,還有提升的空間:
1. 對於查詢單條數據的應用場景來說,我們可以使用ES的路由機制,將同一索引內的具有相同特徵(比如具有相同的userid)的文檔全部存儲於一個節點上,這樣我們之後的查詢都可以直接定位到這個節點上,而不用將查詢廣播道所有的節點上;

2. 隨著數據節點的增加,適當增加分片數量,提升系統的分布水平,也可以通過分而治之的方式優化查詢性能;

個人以為Elasticsearch作為內部存儲來說還是不錯的,效率也基本能夠滿足,在某些方面替代傳統DB也是可以的,前提是你的業務不對操作的事
性務有特殊要求;而許可權管理也不用那麼細,因為ES的許可權這塊還不完善。由於我們對ES的應用場景僅僅是在於對某段時間內的數據聚合操作,沒有大量的單文
檔請求(比如通過userid來找到一個用戶的文檔,類似於NoSQL的應用場景),所以能否替代NoSQL還需要各位自己的測試。如果讓我選擇的話,我
會嘗試使用ES來替代傳統的NoSQL,因為它的橫向擴展機制太方便了。

⑨ elasticsearch數據存儲目錄data會存哪些信息

如果是默認配置的話,就是放在ES目錄下的data文件夾下如果是默認配置的話,就是放在ES目錄下的d

⑩ elasticsearch數據存儲目錄data會存哪些信息

elasticsearch
數據存儲目錄data會存哪些信息
如果是默認配置的話,就是放在ES目錄下的data文件夾下
如果是默認配置的話,就是放在ES目錄下的data文件夾下

熱點內容
華為電腦伺服器系統進不去提示 發布:2024-10-08 00:13:42 瀏覽:490
登錄密碼如何獲取 發布:2024-10-07 23:58:40 瀏覽:424
王者榮耀人機腳本 發布:2024-10-07 23:58:33 瀏覽:807
地標建築腳本 發布:2024-10-07 23:48:51 瀏覽:242
sqlorderby 發布:2024-10-07 23:42:13 瀏覽:958
qq秒源碼 發布:2024-10-07 23:41:37 瀏覽:471
51單片機編譯器 發布:2024-10-07 23:28:04 瀏覽:798
安卓手機陌陌封設備了怎麼搞 發布:2024-10-07 23:17:00 瀏覽:180
sql管理系統代碼 發布:2024-10-07 23:00:51 瀏覽:524
安卓什麼瀏覽器可以打開 發布:2024-10-07 23:00:51 瀏覽:121