elk服务器搭建
㈠ 如何搭建日志监控系统
ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台（开源实时日志分析ELK平台部署）
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。
集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。
kibana也是一个开源和免费的工具，他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 工作原理如下所示：
在需要收集日志的所有服务上部署logstash，作为logstash agent（logstash shipper）用于监控并过滤收集日志，将过滤后的内容发送到logstash indexer，logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch，可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。
四大组件：
Logstash: logstash server端用来搜集日志；
Elasticsearch: 存储各类日志；
Kibana: web化接口用作查寻和可视化日志；
Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server；
㈡ elk-bledom是什么东西
ELK-bledom
1、
这是最简单的一种ELK架构方式。优点是搭建简单，易于上手。缺点是Logstash耗资源较大，运行占用CPU和内存高。另外没有消息队列缓存，存在数据丢失隐患。
此架构由Logstash分布于各个节点上搜集相关日志、数据，并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储。Elasticsearch将数据以分片的形式压缩存储并提供多种API供用户查询，操作。用户亦可以更直观的通过配置Kibana Web方便的对日志查询，并根据数据生成报表。
2、
此种架构引入了消息队列机制，位于各个节点上的Logstash Agent先将数据/日志传递给Kafka（或者Redis），并将队列中消息或数据间接传递给Logstash，Logstash过滤、分析后将数据传递给Elasticsearch存储。最后由Kibana将日志和数据呈现给用户。因为引入了Kafka（或者Redis）,所以即使远端Logstash server因故障停止运行，数据将会先被存储下来，从而避免数据丢失。
㈢ ELK在日志分析行业的优缺点是什么
日志分析领域有关ELK产品的探讨、争议也是非常多的。
zd|先说ELK在日志分析的优：
1. 强大的搜索功能，elasticsearch可以以分布式搜索的方式快速检索，而且支持DSL的语法来进行搜索，简单的说，就是通过类似配置的语言，快速筛选数据。
2. 完美的展示功能，可以展示非常详细的图表信息，而且可以定制展示内容，将数据可视化发挥的淋漓尽致。
3. 分布式功能，能够解决大型集群运维工作很多问题，包括监控、预警、日志收集解析等。
再说说缺点：
尽管研究一段时间，可以实现部署、测试。但对于中大型企业来说，功能点：告警、权限管理、关联分析等还是差之千里。团队支出需要多少成本，技术人才、时间的投入。
ELK产品需要部署多个产品。ELK指的是多个产品。
推荐一下日志分析领域日志易——可视化的海量日志（实时）搜索分析引擎。目前已经服务上百家大型企业，产品的优点呢是：实时、海量、智能运维、关联分析、权限管理、告警等；可以集群化部署！
缺点也有：收费 ，提供SaaS版的免费体验500MB/天
㈣ 如何在CentOS 7上安装Elastic Stack
步骤 1 - 操作系统初始化
禁用 CentOS 7 服务器上的 SELinux
我们将禁用 CentOS 7 服务器上的 SELinux。 编辑 SELinux 配置文件。
vim /etc/sysconfig/selinux
将 SELINUX 的值从 enforcing改成disabled
SELINUX=disabled
然后重启服务器：
reboot
再次登录服务器并检查 SELinux 状态。
getenforce
disabled
步骤 2 - 安装 java环境
部署 Elastic stack 依赖于Java，Elasticsearch 需要 Java 8 版本，推荐使用 Oracle JDK 1.8 。从官方的 Oracle rpm 包安装 Java 8。
wget http://download.oracle.com/otn-pub/java/jdk/8u77-b02/jdk-8u77-linux-x64.rpm
\\下载java8的版本
rpm -ivh jdk-8u77-linux-x64.rpm \\rpm安装jdk环境
java -version \\查看java的版本 检查能否工作
步骤 3 - 安装和配置 Elasticsearch
在此步骤中，我们将安装和配置 Elasticsearch。 从 elastic.co 网站提供的 rpm 包安装 Elasticsearch，并将其配置运行在 localhost 上（以确保该程序安全，而且不能从外部访问）。
将 elastic.co 的密钥添加到服务器
elastic.co网站是一个https的网站（私有证书），我们需要添加证书秘钥才能安全的顺利下载。
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
步骤 3 - 安装和配置 Elasticsearch
在此步骤中，我们将安装和配置 Elasticsearch。 从 elastic.co 网站提供的 rpm 包安装 Elasticsearch，并将其配置运行在 localhost 上（以确保该程序安全，而且不能从外部访问）。
将 elastic.co 的密钥添加到服务器
elastic.co网站是一个https的网站（私有证书），我们需要添加证书秘钥才能安全的顺利下载。
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
下载安装 Elasticsearch 5.1
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.rpm
rpm -ivh elasticsearch-5.1.1.rpm
安装完成后我们编辑配置文件
配置文件名称：elasticsaerch.yml
cd /etc/elasticsearch/
vim elasticsearch.yml
bootstrap.memory_lock: true
\\去掉第 40 行的注释，启用 Elasticsearch 的内存锁。这将禁用 Elasticsearch 的内存交换。
network.host: localhost
http.port: 9200
\\在 Network 块中，取消注释 network.host 和 http.port 行。
编辑 elasticsearch.service 文件的内存锁配置。
vim /usr/lib/systemd/system/elasticsearch.service
MAX_LOCKED_MEMORY=unlimited
\\去掉第 60 行的注释，确保该值为 unlimited。
设置服务启动
Elasticsearch监听端口号9200，启用 CentOS 服务器上启用mlockall 来禁用内存交换，设置Elasticsearch开机自启动，然后启动服务。
sudo systemctl daemon-reload
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
检查对外监听端口：
netstat -plntu
内存锁启用 mlockall，检查 Elasticsearch 是否正在运行。
curl -XGET 'localhost:9200/_nodes?filter_path=**.mlockall&pretty'
curl -XGET 'localhost:9200/?pretty'
步骤 4 - 安装和配置 Kibana 和 Nginx
先安装Kibana，然后安装nginx，最后设置nginx反向代理kibana
安装并配置Kibana
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-x86_64.rpm
rpm -ivh kibana-5.1.1-x86_64.rpm
编辑 Kibana 配置文件。
vim /etc/kibana/kibana.yml
在配置文件中找的一下三行，修改配置
server.port: 5601
server.host: "localhost"
elasticsearch.url: "http://localhost:9200"
将 Kibana 设为开机启动
sudo systemctl enable kibana
sudo systemctl start kibana
检查Kibana 对外监听端口 5601 确保其正常启动。
netstat -plntu
安装并配置nginx服务器
yum -y install epel-release
nginx 服务的yum包在epel包中可以找的 直接yum安装
yum -y install nginx httpd-tools
httpd-tools 软件包包含 Web 服务器的工具，可以为 Kibana 添加 htpasswd 基础认证。
编辑 Nginx 配置文件并删除 server {}模块，这样我们添加新的虚拟主机配置。
cd /etc/nginx/
vim nginx.conf
\\删除 server { } 块。
创建kibana.conf的虚拟主机：
vim /etc/nginx/conf.d/kibana.conf
server {
listen 80;
server_name elk-stack.co;
auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/.kibana-user;
location / {
proxy_pass http://localhost:5601;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}
使用 htpasswd 命令创建一个新的基本认证文件。
sudo htpasswd -c /etc/nginx/.kibana-user admin
“输入你的密码”
启动 Nginx。
nginx -t
systemctl enable nginx
systemctl start nginx
步骤 5 - 安装和配置 Logstash
在此步骤中，我们将安装 Logstash，并将其配置为：从配置了 filebeat 的 logstash 客户端里集中化服务器的日志，然后过滤和转换 Syslog 数据，并将其移动到存储中心（Elasticsearch）中。
下载 Logstash 并使用 rpm 进行安装。
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.1.1.rpm
rpm -ivh logstash-5.1.1.rpm
生成新的 SSL 证书文件，以便客户端可以识别 elastic 服务端。
cd /etc/pki/tls
\\ 进入 tls 目录并编辑 openssl.cnf 文件。
vim openssl.cnf
在 [v3_ca] 部分添加服务器标识。
[ v3_ca ]
# Server IP Address
subjectAltName = IP: 10.0.15.10
使用 openssl 命令生成证书文件。
openssl
req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes
-newkey rsa:2048 -keyout /etc/pki/tls/private/logstash-forwarder.key
-out /etc/pki/tls/certs/logstash-forwarder.crt
证书文件可以在 /etc/pki/tls/certs/ 和 /etc/pki/tls/private/ 目录中找到。
接下来，我们会为
Logstash 创建新的配置文件。创建一个新的 filebeat-input.conf 文件来为 filebeat 配置日志源，然后创建一个
syslog-filter.conf 配置文件来处理 syslog，再创建一个 output-elasticsearch.conf
文件来定义输出日志数据到 Elasticsearch。
转到 logstash 配置目录，并在 conf.d 子目录中创建新的配置文件。
cd /etc/logstash/
vim conf.d/filebeat-input.conf
输入配置，粘贴以下配置：
input {
beats {
port => 5443
ssl => true
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
}
创建 syslog-filter.conf 文件
vim conf.d/syslog-filter.conf
粘贴以下配置：
filter {
if [type] == "syslog" {
grok {
match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp}
%{SYSLOGHOST:syslog_hostname}
%{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?:
%{GREEDYDATA:syslog_message}" }
add_field => [ "received_at", "%{@timestamp}" ]
add_field => [ "received_from", "%{host}" ]
}
date {
match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ]
}
}
}
我们使用名为 grok 的过滤器插件来解析 syslog 文件。
创建输出配置文件 output-elasticsearch.conf。
vim conf.d/output-elasticsearch.conf
output {
elasticsearch { hosts => ["localhost:9200"]
hosts => "localhost:9200"
manage_template => false
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}
启动logstash服务
sudo systemctl enable logstash
sudo systemctl start logstash
步骤 6 - 在 CentOS 客户端上安装并配置 Filebeat
Beat
作为数据发送人的角色，是一种可以安装在客户端节点上的轻量级代理，将大量数据从客户机发送到 Logstash 或 Elasticsearch
服务器。有 4 种 beat，Filebeat 用于发送“日志文件”，Metricbeat 用于发送“指标”，Packetbeat
用于发送“网络数据”，Winlogbeat 用于发送 Windows 客户端的“事件日志”。
在本教程中，我将向您展示如何安装和配置 Filebeat，通过 SSL 连接将数据日志文件传输到 Logstash 服务器。
登录到客户端1的服务器上。 然后将证书文件从 elastic 服务器复制到客户端1的服务器上。
ssh root@client1IP
scp root@elk-serverIP:~/logstash-forwarder.crt .
.....
sudo mkdir -p /etc/pki/tls/certs/
mv ~/logstash-forwarder.crt /etc/pki/tls/certs/
接下来，在客户端 1 服务器上导入 elastic 密钥。
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
下载 Filebeat 并且用 rpm 命令安装。
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-x86_64.rpm
rpm -ivh filebeat-5.1.1-x86_64.rpm
Filebeat 已经安装好了，请转到配置目录并编辑 filebeat.yml 文件。
cd /etc/filebeat/
vim filebeat.yml
\\ 在第 21 行的路径部分，添加新的日志文件。 我们将创建两个文件，记录 ssh 活动的 /var/log/secure 文件 ，以及服务器日志 /var/log/messages :
paths:
- /var/log/secure
- /var/log/messages
\\在第 26 行添加一个新配置来定义 syslog 类型的文件:
document-type: syslog
\\在 83 行和 85 行添加注释来禁用 Elasticsearch 输出,更改为 Logshtash:
-------------------------------------------------------------------------------------
#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
# Array of hosts to connect to.
# hosts: ["localhost:9200"]
--------------------------------------------------------------------------------------
------------------现在添加新的 logstash 输出配置--------------------------------------
output.logstash:
# The Logstash hosts
hosts: ["10.0.15.10:5443"]
bulk_max_size: 1024
ssl.certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]
template.name: "filebeat"
template.path: "filebeat.template.json"
template.overwrite: false
--------------------------------------------------------------------------------------
PS:Filebeat 默认使用 Elasticsearch 作为输出目标。 在本教程中，我们将其更改为 Logshtash。
将 Filebeat 设定为开机启动并启动。
sudo systemctl enable filebeat
sudo systemctl start filebeat
步骤 7 - 在 Ubuntu 客户端上安装并配置 Filebeat
从服务端拷贝证书文件
ssh root@ubuntu-clientIP
scp root@elk-serverIP:~/logstash-forwarder.crt .
.......
sudo mkdir -p /etc/pki/tls/certs/
mv ~/logstash-forwarder.crt /etc/pki/tls/certs/
在服务器上导入 elastic 密钥。
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
下载 Filebeat .deb 包并且使用 dpkg 命令进行安装。
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-amd64.deb
dpkg -i filebeat-5.1.1-amd64.deb
转到配置目录并编辑 filebeat.yml 文件。
cd /etc/filebeat/
vim filebeat.yml
\\ 在第 21 行的路径部分，添加新的日志文件。 我们将创建两个文件，记录 ssh 活动的 /var/log/secure 文件 ，以及服务器日志 /var/log/messages :
paths:
- /var/log/secure
- /var/log/messages
\\在第 26 行添加一个新配置来定义 syslog 类型的文件:
document-type: syslog
\\在 83 行和 85 行添加注释来禁用 Elasticsearch 输出,更改为 Logshtash:
-------------------------------------------------------------------------------------
#-------------------------- Elasticsearch output ------------------------------
#output.elasticsearch:
# Array of hosts to connect to.
# hosts: ["localhost:9200"]
--------------------------------------------------------------------------------------
------------------现在添加新的 logstash 输出配置--------------------------------------
output.logstash:
# The Logstash hosts
hosts: ["10.0.15.10:5443"]
bulk_max_size: 1024
ssl.certificate_authorities: ["/etc/pki/tls/certs/logstash-forwarder.crt"]
template.name: "filebeat"
template.path: "filebeat.template.json"
template.overwrite: false
--------------------------------------------------------------------------------------
PS:Filebeat 默认使用 Elasticsearch 作为输出目标。 在本教程中，我们将其更改为 Logshtash。
将 Filebeat 设定为开机启动并启动。
sudo systemctl enable filebeat
sudo systemctl start filebeat
检查服务状态：
systemctl status filebeat
打开您的网络浏览器，并访问您在 Nginx 中配置的 elastic stack 域名，我的是“elk-stack.co”。 使用管理员密码登录，然后按 Enter 键登录 Kibana 仪表盘。
创建一个新的默认索引 filebeat-*，然后点击“创建”按钮。
默认索引已创建。 如果 elastic stack 上有多个 beat，您可以在“星形”按钮上点击一下即可配置默认 beat。
转到 “发现” 菜单，您就可以看到 elk-client1 和 elk-client2 服务器上的所有日志文件。
来自 elk-client1 服务器日志中的无效 ssh 登录的 JSON 输出示例。
使用其他的选项，你可以使用 Kibana 仪表盘做更多的事情。
Elastic Stack 已安装在 CentOS 7 服务器上。 Filebeat 已安装在 CentOS 7 和 Ubuntu 客户端上。
㈤ 如何配置 Topbeat并使用 Kibana 进行集中化检视
配置 Topbeat
在这一步中，我们将配置 Topbeat 使它连接到 ELK 服务器上的 Logstash 上去。这一节中我们将通过修改 Topbeat 的默认配置文件来完成对 Topbeat 的配置。
在客户端上打开 Topbeat 的配置文件：
sudo vi /etc/topbeat/topbeat.yml
注意：Topbeat 的配置文件是 YAML 格式，所以其对格式的要求非常高，注意要采用与原配置文件相同的缩进格式。
在该配置文件的首部是input小节，在这一小节中，你需要指定你要把什么类型的统计数据传到你的 ELK 服务器上，并且指定这些统计数据的单位。在这里我们将使用默认配置，但如果有需要的话你也可以自己做出更改。
在output小节下面，找到内容为elasticsearch:的一行，其下面的代码配置了 Elasticsearch 输出，这是我们不需要用到的，删除或者注释掉他们（直到#logstash:的上面一行）。
然后找到被注释掉的 Logstash 输出语句#logstash:，去掉它的注释使它能够作用。
同时，去掉hosts: ["localhost:5044"]的注释，并且将localhost换成你 ELK 服务器的 IP 地址
㈥ elk 如何创建新的索引
创建kibana索引
若只需要收集显示nginx的访问日志，则可以建立一个名为nginx+时间的索引
若是需要收集一个服务器下的多个服务日志，则可以在一个conf下添加多个input并根据type来区分和实现
环境
192.168.2.112 ES/kibana
192.168.2.118 logstash/nginx
192.168.2.117 logstash/mysql/nginx
建立nginx索引
- input {
- file {
- path => "/usr/local/nginx/logs/access.log"
- type => "nginx"
- }
- }
- output {
- elasticsearch {
- hosts => "192.168.2.112:9200"
- index => "nginx-%{+YYYY.MM.dd}"
- }
- }12345678910111213
- [root@localhost etc]# pwd/usr/local/logstash/etc
- [root@localhost etc]# ../bin/logstash -f nginxlog.conf1234
收集nginx日志和mysql日志
- scp -r logstash/* [email protected]:/usr/local/logstash1
- input {
- file {
- path => "/usr/local/nginx/logs/access.log"
- type => "nginx"
- }
- }
- input {
- file {
- path => "/var/log/mysqld.log"
- type => "mysql"
- }
- }
- output { if [type] == "nginx"{
- elasticsearch {
- hosts => "192.168.2.112:9200"
- index => "nginx-%{+YYYY.MM.dd}"
- }
- }if [type] == "mysql"{
- elasticsearch {
- hosts => "192.168.2.112:9200"
- index => "mysql-%{+YYYY.MM.dd}"
- }
- }
- }
- [root@host107 etc]# pwd/usr/local/logstash/etc
- [root@host107 etc]# ../bin/logstash -f all.conf1234
1）在118服的logstash/etc目录下建立的nginxlog.conf，添加
其中，index即代表对应的索引名称
2）然后启动logstash
3）登陆kibana设置索引
4）然后手动访问nginx页面后，可以在kibana的discover界面看到
1）把118服的logstash目录复制到117服对应目录下
2）在117服logstash/etc目录下建立all.conf
3）在kibana页面建立mysql索引
4）启动logstash
5）然后启动及关闭mysql服务，就可以看到日志数据
6）同样的，访问nginx页面后，也会收到nginx日志数据
备注：
1）其中上面的host列显示0.0.0.0，是因为没有设置主机名，在/etc/hosts下加上
127.0.0.1 hostmysqlnginx
然后hostname hostmysqlnginx
重启下logstash，就可以看到host
㈦ 如何在CentOS 7上使用Packetbeat和ELK收集基础结构指标
您的ELK服务器将需要的CPU，RAM和存储量取决于您要收集的日志的卷。在本教程中，我们将使用具有以下规格的VPS用于我们的ELK服务器：
OS: CentOS 7
RAM: 4GB
CPU: 2
注：根据自己的服务器资源分配各个节点的资源
安装 Java 8
Elasticsearch和Logstash需要Java，所以我们现在就安装它。我们将安装最新版本的Oracle Java 8，因为这是Elasticsearch推荐的版本。
㈧ 如何在CentOS 7上安装Elasticsearch，Logstash和Kibana
您的ELK服务器将需要的CPU，RAM和存储量取决于您要收集的日志的卷。在本教程中，我们将使用具有以下规格的VPS用于我们的ELK服务器：
OS: CentOS 7
RAM: 4GB
CPU: 2
注：根据自己的服务器资源分配各个节点的资源
安装 Java 8
Elasticsearch和Logstash需要Java，所以我们现在就安装它。我们将安装最新版本的Oracle Java 8，因为这是Elasticsearch推荐的版本。
注：建议本地下载完最新版的JDK，然后上传到服务器的/usr/local/src目录
# JDK下载地址：
http://www.oracle.com/technetwork/java/javase/downloads
123123
然后使用此yum命令安装RPM（如果您下载了不同的版本，请在此处替换文件名）：
yum -y localinstall jdk-8u111-linux-x64.rpm
# or
rpm -ivh jdk-8u111-linux-x64.rpm123123
现在Java应该安装在/usr/java/jdk1.8.0_111/jre/bin/java，并从/usr/bin/java 链接。
安装 Elasticsearch
Elasticsearch可以通过添加Elastic的软件包仓库与软件包管理器一起安装。
运行以下命令将Elasticsearch公共GPG密钥导入rpm：
# https://www.elastic.co/guide/en/elasticsearch/reference/current/rpm.html
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch123123
在基于RedHat的发行版的/etc/yum.repos.d/目录中创建一个名为elasticsearch.repo的文件,其中包括：
echo '[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
' | sudo tee /etc/yum.repos.d/elasticsearch.repo123456789123456789
Elasticsearch 源创建完成之后，通过makecache查看源是否可用，然后通过yum安装Elasticsearch ：
yum makecache
yum install elasticsearch -y1212
要将Elasticsearch配置为在系统引导时自动启动，请运行以下命令：
sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable elasticsearch.service1212
Elasticsearch可以按如下方式启动和停止：
sudo systemctl start elasticsearch.service
sudo systemctl stop elasticsearch.service1212
这些命令不会提供有关Elasticsearch是否已成功启动的反馈。相反，此信息将写入位于/ var / log / elasticsearch /中的日志文件中。
默认情况下，Elasticsearch服务不会记录systemd日志中的信息。要启用journalctl日志记录，必须从elasticsearch中的ExecStart命令行中删除–quiet选项。服务文件。
# 注释24行的 --quiet \
vim /etc/systemd/system/multi-user.target.wants/elasticsearch.service1212
当启用systemd日志记录时，使用journalctl命令可以获得日志记录信息：
使用tail查看journal：
sudo journalctl -f11
要列出elasticsearch服务的日记帐分录：
sudo journalctl --unit elasticsearch11
要从给定时间开始列出elasticsearch服务的日记帐分录：
sudo journalctl --unit elasticsearch --since "2017-1-4 10:17:16"
# since 表示指定时间之前的记录123123
使用man journalctl 查看journalctl 更多使用方法
检查Elasticsearch是否正在运行
您可以通过向localhost上的端口9200发送HTTP请求来测试Elasticsearch节点是否正在运行：
curl -XGET 'localhost:9200/?pretty'
1212
我们能得到下面这样的回显：
{
"name" : "De-LRNO",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "DeJzplWhQQK5uGitXr8jjA",
"version" : {
"number" : "5.1.1",
"build_hash" : "5395e21",
"build_date" : "2016-12-06T12:36:15.409Z",
"build_snapshot" : false,
"lucene_version" : "6.3.0"
},
"tagline" : "You Know, for Search"
}
配置 Elasticsearch
Elasticsearch 从默认的/etc/elasticsearch/elasticsearch.yml加载配置文件，
配置文件的格式考：
https://www.elastic.co/guide/en/elasticsearch/reference/current/settings.html
[root@linuxprobe ~]# egrep -v "^#|^$" /etc/elasticsearch/elasticsearch.yml
[root@linuxprobe ~]# egrep -v "^#|^$" /etc/elasticsearch/elasticsearch.yml
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.1.1.53 # 默认localhost，自定义为ip
http.port: 920012345671234567
RPM还具有系统配置文件（/etc/sysconfig/elasticsearch），允许您设置以下参数：
[root@linuxprobe elasticsearch]# egrep -v "^#|^$" /etc/sysconfig/elasticsearch
ES_HOME=/usr/share/elasticsearch
JAVA_HOME=/usr/java/jdk1.8.0_111
CONF_DIR=/etc/elasticsearch
DATA_DIR=/var/lib/elasticsearch
LOG_DIR=/var/log/elasticsearch
PID_DIR=/var/run/elasticsearch12345671234567
日志配置
Elasticsearch使用Log4j 2进行日志记录。 Log4j 2可以使用log4j2配置。属性文件。 Elasticsearch公开单个属性$ {sys：es。日志}，可以在配置文件中引用以确定日志文件的位置;这将在运行时解析为Elasticsearch日志文件的前缀。
例如，如果您的日志目录是/var/log/elasticsearch并且您的集群名为proction，那么$ {sys：es。 logs}将解析为/var/log/elasticsearch/proction。
默认日志配置存在：/etc/elasticsearch/log4j2.properties
安装 Kibana
Kibana的RPM可以从ELK官网或从RPM存储库下载。它可用于在任何基于RPM的系统（如OpenSuSE，SLES，Centos，Red Hat和Oracle Enterprise）上安装Kibana。
导入Elastic PGP Key
我们使用弹性签名密钥（PGP密钥D88E42B4，可从https://pgp.mit.e）签名所有的包，指纹：
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch11
创建kibana源
echo '[kibana-5.x]
name=Kibana repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
' | sudo tee /etc/yum.repos.d/kibana.repo123456789123456789
kibana源创建成功之后，makecache后使用yum安装kibana：
yum makecache && yum install kibana -y11
使用systemd运行Kibana
要将Kibana配置为在系统引导时自动启动，请运行以下命令：
sudo /bin/systemctl daemon-reload
sudo /bin/systemctl enable kibana.service1212
Kibana可以如下启动和停止
sudo systemctl start kibana.service
sudo systemctl stop kibana.service1212
配置Kibana
Kibana默认从/etc/kibana/kibana.yml文件加载其配置。
参考：https://www.elastic.co/guide/en/kibana/current/settings.html
注意：本实验教程把localhost都改成服务器IP，如果不更改localhost，需要设置反向代理才能访问到kibana。
在同一服务器上安装一个Nginx反向代理，以允许外部访问。
安装nginx
配置Kibana在localhost上监听，必须设置一个反向代理，允许外部访问它。本文使用Nginx来实现发向代理。
创建nginx官方源来安装nginx
# https://www.nginx.com/resources/wiki/start/topics/tutorials/install/
echo '[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=0
enabled=1
' | sudo tee /etc/yum.repos.d/nginx.repo1234567812345678
使用yum安装nginx和httpd-tools
yum install nginx httpd-tools -y11
使用htpasswd创建一个名为“kibanaadmin”的管理员用户（可以使用其他名称），该用户可以访问Kibana Web界面：
[root@linuxprobe ~]# htpasswd -c /etc/nginx/htpasswd.users kibanaadmin
New password: # 自定义
Re-type new password:
Adding password for user kibanaadmin12341234
使用vim配置nginx配置文件
[root@linuxprobe ~]# egrep -v "#|^$" /etc/nginx/conf.d/kibana.conf
server {
listen 80;
server_name kibana.aniu.co;
access_log /var/log/nginx/kibana.aniu.co.access.log main;
error_log /var/log/nginx/kibana.aniu.co.access.log;
auth_basic "Restricted Access";
auth_basic_user_file /etc/nginx/htpasswd.users;
location / {
proxy_pass http://localhost:5601;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection 'upgrade';
proxy_set_header Host $host;
proxy_cache_bypass $http_upgrade;
}
}
㈨ elk集群可以用多台redis服务器作队列输出到elasticsearch吗
1. redis中保存的是数组(序列化)，绝对不要保存SQL,保存SQL的方法很蛋疼 保存数组是为了数据库安全(万一sql语句有错误，任务就直接失败了)，灵活度和兼容性
2.服务器后台作一个shell脚本，死循环，不断从队列中取数据，进行处理．如次反复，如果没有数据，也立即尝试取数据－－－不要担心性能问题，后台单并发请求，不会造成性能问题
3.因为队列中保存的是数组，不存在这个问题
㈩ elk是什么
“ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。