elk編譯環境

『壹』 elk不出索引,重啟伺服器就好了,這是為什麼

可利用ALTER TABLE或DROP INDEX語句來刪除索引。類似於CREATE INDEX語句，DROP INDEX可以在ALTER TABLE內部作為一條語句處理，語法如下。
DROP INDEX index_name ON talbe_name
ALTER TABLE table_name DROP INDEX index_name
ALTER TABLE table_name DROP PRIMARY KEY
其中，前兩條語句是等價的，刪除掉table_name中的索引index_name。

『貳』 如何用elk工具手機伺服器異常信息

分布式採集分析可以減輕伺服器壓力，對於大型機房每天海量的日誌信息來說分布式部署可以更高效的對日誌進行採集分析，你網路一下 《logsys日誌管理系統》，這是一款的日誌管理工具，安裝簡單，下一步下一步就行了。可以裝一個虛擬機試試。注意裝的時候可選擇集中部署和分布式部署!

『叄』 linux下安裝了elk怎麼卸載

使用make install安裝的話可以手工刪除，如果編譯腳本中帶卸載參數的話可以make uninstall

『肆』 有熟悉elk 日誌系統的嗎

2.1 日誌的採集
靈活性是我們選擇日誌採集方案更看重的因素，所以logstash屬於首先方案， 它可以兼顧多種不同系統和應用類型等因素的差異，從源頭上進行一些初步的日誌預處理。
logstash唯一的小缺憾是它的不輕便， 因為它是使用jruby開發並跑在java虛擬機上的agent， 當然啦，同時也是優點，即各種平台上都可以用。
2.2 日誌的匯總與過濾
kafka在我們挖財已經屬於核心的中間件服務， 所以， 日誌的匯總自然而然會傾向於使用kafka。
日誌的過濾和處理因為需求的多樣性，可以直接對接訂閱kafka， 然後根據各自的需求進行日誌的定製處理， 比如過濾和監控應用日誌的異常，即使通過zabbix進行預警； 或者數據倉庫方面在原始日誌的基礎上進行清洗和轉換，然後載入到新的數據源中；
2.3 日誌的存儲
原始的日誌存儲我們採用ElasticSearch， 即ELK技術棧中E的原本用途，遵循ELK技術棧中各個方案之間的通用規范， 比如日誌如索引採用logstash與kibana之間約定的index pattern。
日誌的衍生數據則日誌使用各方根據需求自行選擇。
2.4 日誌的分析與查詢
ELK技術棧中的Kibana已經可以很好的滿足這一需求，這里我們不折騰。
3 需要解決哪些技術問題？
因為我們在ELK技術棧的處理鏈路上插入了一些擴展點，所以，有些問題需要解決和澄清...
3.1 logstash與kafka的對接
ELK技術棧中， Logstash和Elastic Search是通過logstash的elasticsearch或者elasticsearch_http這幾個output直接對接的， 為了讓logstash轉而對接kafka，我們有幾種選擇：
logstash-kafka
logstash-output-kafka
logstash的httpoutput
第一種和第二種方案都需要編譯打包相應的依賴到logstash，然後隨同logstash一起部署到服務結點， 雖然可以work， 但依賴重， 資源消耗多， 通用性不強；
個人更傾向於第三種方案，即使用logstash默認提供的http這個output， 因為http比較通用， 而且本身我們的kafka前面就有為了多系統對接而提供的http proxy方案部署。另外，依賴的管理和升級都在服務端維護，對每個服務結點是透明的。 當然， 唯一的弱點是效率可能不如基於長連接的消息傳遞高，只是暫時不是問題，即使將來成為瓶頸，也可以通過sharding的形式進行擴展。
3.2 kafka到elastic search的數據鏈路對接
kafka和es之間我們要加入一套日誌過濾與處理系統， 這套系統是我們發揮整個體系最大威力的地方。 在整個系統的處理pipeline中，我們可以根據需求添加任意需要的Filter/Processor, 比如服務於應用報警的Filter/Processor，服務於數據倉庫ETL的Filter/Processor等等。 但不管前面做了多少事情， 日誌最終是要接入到ES進行存儲的。
因為ELK技術棧中三者的對接遵循一些規范或者說規則， 而我們又需要繼續復用這個技術棧中的服務提供的特定功能， 所以，即使是我們在整個處理鏈路中插入了擴展點，但數據的存儲依然需要遵循ELK原來的規范和規則， 以便Kibana可以從ES中撈日誌出來分析和展示的時候不需要任何改動。
logstash存入ES的日誌，一般遵循如下的index pattern：
logstash-%{+YYYY.MM.dd}
使用日期進行索引（index）界定的好處是， 可以按照日期范圍定期進行清理。
NOTE
進一步深入說明一下， 針對不同的日誌類別， index pattern也最好分類對應。
更多信息:
Each log line from the input file is associated with a logstash event. Each logstash event has fields associated with it. By default, "message", "@timestamp", "@version", "host", "path" are created. The "message" field, referenced in the conditional statement, contains all the original text of the log line.
日誌處理系統可以使用ES的java客戶端或者直接通過ES的HTTP服務進行採集到的日誌索引操作。

『伍』 winodws環境下安裝elk為什麼不能用service命令

：刪除的辦法有兩個：辦法一： 用sc.exe這個Windows命令開始——運行——cmd.exe，然後輸入sc就可以看到了。使用辦法很簡單：sc delete "服務名" (如果服務名中間有空格，就需要前後加引號）

『陸』 如何通過elk檢索出錯誤日誌並實時報警

1、假設已經安裝了MinGW，安裝目錄：C:/MinGW，將C:/MinGW/bin添加到系統環境變數中。如果閑下載安裝MinGW麻煩，可以直接下載一個Dev-CPP或許Code::Blocks開發環境，這兩個IDE中都是自帶MinGW的。
2、下載eclipse-cpp-helios-SR2-win32.zip
3、安裝opencv，假設安裝目錄為：C:/OpenCV
4、解壓eclipse-cpp-helios-SR2-win32.zip，啟動eclipse.exe
新建C++項目->可執行程序->Hello World C++ Project
5、添加頭文件和庫文件
右鍵項目選擇「屬性」->C/C++ Build->Settings。
Tool Settings 標簽頁，GCC C++ Compiler->Includes中添加OpenCV的頭文件目錄，MinGW C++ Linker->Libraries中添加OpenCV的庫文件目錄以及相應的庫文件名稱（注意：這里的庫文件不加後綴名）

『柒』 elk 的jdk路徑可以設置嗎

看看是不是環境變數沒設置正確.在下載了jdk後須設置環境變數才可以使用．首先在」我的電腦」點右鍵，選擇」屬性」，再選擇」高級」選項，點」環境變數」，在系統變數中找到classpath變數，點」編輯」，在原來的內容後面先寫個分號，再寫個小數點，再寫個分號，然後再把你安裝的bin文件的路徑寫上去，如C:\ProgramFiles\Java\jdk1.6.0_10\bin這樣就把classpath變數設置好了．下一步再找到path變數，點」編輯」，也是在原內容後面寫上分號點分號，然後把你安裝的tools.jar文件的路徑寫上去，如C:\ProgramFiles\Java\jdk1.6.0_10\lib＼tools.jar這樣就把path變數也設置好了，下一步是設置JAVA_HOME變數，這個變數原來沒有，所以得點」新建」，在值中寫入你安裝的jdk的路徑，如C:\ProgramFiles\Java\jdk1.6.0_10這樣就把環境變數設置好了，可以編譯你的java文件了．

『捌』 elk 如何創建新的索引

創建kibana索引

若只需要收集顯示nginx的訪問日誌，則可以建立一個名為nginx+時間的索引
若是需要收集一個伺服器下的多個服務日誌，則可以在一個conf下添加多個input並根據type來區分和實現

環境
192.168.2.112 ES/kibana
192.168.2.118 logstash/nginx
192.168.2.117 logstash/mysql/nginx

• 建立nginx索引

1）在118服的logstash/etc目錄下建立的nginxlog.conf，添加

• input {


• file {


• path => "/usr/local/nginx/logs/access.log"


• type => "nginx"


• }


• }


• output {


• elasticsearch {


• hosts => "192.168.2.112:9200"


• index => "nginx-%{+YYYY.MM.dd}"


• }


• }12345678910111213



其中，index即代表對應的索引名稱

2）然後啟動logstash

• [root@localhost etc]# pwd/usr/local/logstash/etc


• [root@localhost etc]# ../bin/logstash -f nginxlog.conf1234



3）登陸kibana設置索引

4）然後手動訪問nginx頁面後，可以在kibana的discover界面看到

• 收集nginx日誌和mysql日誌

1）把118服的logstash目錄復制到117服對應目錄下

• scp -r logstash/* [email protected]:/usr/local/logstash1



2）在117服logstash/etc目錄下建立all.conf

• input {


• file {


• path => "/usr/local/nginx/logs/access.log"


• type => "nginx"


• }


• }



• input {


• file {


• path => "/var/log/mysqld.log"


• type => "mysql"


• }


• }



• output { if [type] == "nginx"{


• elasticsearch {


• hosts => "192.168.2.112:9200"


• index => "nginx-%{+YYYY.MM.dd}"


• }


• }if [type] == "mysql"{


• elasticsearch {


• hosts => "192.168.2.112:9200"


• index => "mysql-%{+YYYY.MM.dd}"


• }


• }


• }



3）在kibana頁面建立mysql索引

4）啟動logstash

• [root@host107 etc]# pwd/usr/local/logstash/etc


• [root@host107 etc]# ../bin/logstash -f all.conf1234



5）然後啟動及關閉mysql服務，就可以看到日誌數據

6）同樣的，訪問nginx頁面後，也會收到nginx日誌數據

備註：
1）其中上面的host列顯示0.0.0.0，是因為沒有設置主機名，在/etc/hosts下加上
127.0.0.1 hostmysqlnginx
然後hostname hostmysqlnginx
重啟下logstash，就可以看到host