ELK大数据分析课程
ELK大数据分析课程
十余年的荣县网站建设经验，针对设计、前端、开发、售后、文案、推广等六对一服务，响应快，48小时及时工作处理。全网整合营销推广的优势是能够根据用户设备显示端的尺寸不同，自动调整荣县建站的显示方式，使网站能够适用不同显示终端，在浏览器中调整网站的宽度，无论在任何一种浏览器上浏览网站，都能展现优雅布局与设计，从而大程度地提升浏览体验。创新互联从事“荣县网站设计”,“荣县网站推广”以来，每个客户项目都认真落实执行。
文档出自：广通学院 版本：1.0
QQ：430696786 微信号：winlone
官方资料：
beats文件采集：https://www.elastic.co/products/beats
logstash日志分析：https://www.elastic.co/products/logstash
elasticsearch日记存储：https://www.elastic.co/products/elasticsearch
kibana日志展示界面：https://www.elastic.co/products/kibana
一、概述：
Beats：分布在每个应用服务器的采集器
Beats平台集合了多种单一用途数据采集器，这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。
Logstash：接收Beats传过来的数据，分析数据，并发送到存储日志的地方
Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。
Elasticsearch：用来存储格式化好的统计数据
Elasticsearch是一个基于Lucene的搜索和数据分析工具，它提供了一个分布式服务。Elasticsearch是遵从Apache开源条款的一款开源产品，是当前主流的企业级搜索引擎。
Kibana：把统计数据通过图表形式展现出来
Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
二、安装：
2.1 准备工作
* 系统环境：Centos7.4
* 安装必备软件：
yum install java-1.8.0-openjdk
* 新建目录：
mkdir /tools
mkdir /tools/install/
mkdir /tools/download/
* 新建es用户：
groupadd es #增加es组
useradd es -g es -p es #增加es用户并附加到es组
chown -R es:es /usr/lib/jvm/ #java也需要分配给es用户访问权限
chown -R es:es /tools/ #安装目录分配权限
su es #切换到es用户
2.2 安装Elasticsearch
2.2.1 Elasticsearch下载：
cd /tools/download/
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz
2.2.2解压Elasticsearch程序包:
tar -xzf elasticsearch-6.4.3.tar.gz
mv /tools/download/elasticsearch-6.4.3 /tools/install/elasticsearch-6.4.3
chown -R es:es /tools/install/elasticsearch-6.4.3
2.2.3 Elasticsearch的配置
*进入elasticsearch-6.4.3目录
cd /tools/install/elasticsearch-6.4.3
*设置jvm虚拟内存：
vi config/jvm.options
-Xms512m
-Xms512m
* elasticsearch.yml配置：
vi config/elasticsearch.yml
如需远程主机需访问该elasticsearch服务，需配置对外出口ip和端口：
指定路径：可以不指定，默认当前路径的data和logs，指定路径后要配置es组的权限
配置下载：
* 启动elasticsearch
./bin/elasticsearch -d
* 停止elasticsearch
ps -ef |grep elasticsearch
kill -9 进程id
* 启动配置服务可能会出现的几个错误
1. max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
vi /etc/security/limits.conf
加入：
es soft nofile 65536
es hard nofile 65536
执行命令：ulimit -Hn
2. max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
3.max number of threads [1024] for user [elasticsearch] is too low, increase to at least [2048]
vi /etc/security/limits.d/90-nproc.conf
4. system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk
bootstrap.system_call_filter: false
2.2.4 启动成功的访问地址
curl 'http://localhost:9200/?pretty'
2.3 安装Kibana
2.3.1 Kibana下载：
cd /tools/download/
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz
2.3.2解压Kibana程序包:
tar -xzf kibana-6.4.3-linux-x86_64.tar.gz
mv /tools/download/kibana-6.4.3-linux-x86_64 /tools/install/kibana-6.4.3-linux-x86_64
chown -R es:es /tools/install/kibana-6.4.3-linux-x86_64
2.3.3 Kibana配置:
* 配置Kibana, 配置server.host地址，需远程连接，因此配置服务器内网IP即可。
vi config/kibana.yml
配置如下：
server.port: 5601
server.host: "172.16.151.119"
elasticsearch.url: "http://localhost:9200"
配置下载：
* 启动kibana
nohup ./bin/kibana &
* 访问kibana
访问：http://172.16.151.119:5601
外网：http://外网IP:5601
2.4 安装Filebeat
2.4.1 Filebeat下载：
cd /tools/download/
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.3-linux-x86_64.tar.gz
2.4.2解压Filebeat程序包:
tar -xzf filebeat-6.4.3-linux-x86_64.tar.gz
mv /tools/download/filebeat-6.4.3-linux-x86_64 /tools/install/filebeat-6.4.3-linux-x86_64
chown -R es:es /tools/install/filebeat-6.4.3-linux-x86_64
2.4.3 配置filebeat.yml文件
#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log
enabled: true
paths:
- /data/logs/*.log
fields_under_root: true
fields:
alilogtype: applog
#============================= Filebeat modules ===============================
filebeat.config.modules:
path: ${path.config}/modules.d/*.ymlreload.enabled: false
#==================== Elasticsearch template setting ==========================
setup.template.settings:
index.number_of_shards: 3
#----------------------------- Logstash output --------------------------------
output.logstash:
hosts: ["localhost:5044"]
配置下载：
2.4.4 启动filebeat
nohup ./filebeat -c ./filebeat.yml &
2.5 安装logstash
2.5.1 logstash下载：
cd /tools/download/
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz
2.5.2解压logstash程序包:
tar -xzf logstash-6.4.3.tar.gz
mv /tools/download/logstash-6.4.3 /tools/install/logstash-6.4.3
chown -R es:es /tools/install/logstash-6.4.3
2.5.3 配置logstash.conf文件
vi config/logstash.conf
配置如下：
input { beats {port => 5044
}
}
filter { grok {patterns_dir => ["/tools/install/logstash-6.4.3/patterns"]
match => { "message" => "%{IPORHOST:forwordip}.*%{HTTPDATE:logtime}.*"}
remove_field => ["message", "host", "tags", "input", "@timestamp", "offset", "host", "@version", "beat"]
}
}
output { elasticsearch {hosts => ["http://localhost:9200"]
index => "beat-mylog"
#user => "elastic"
#password => "changeme"
}
stdout { codec => rubydebug }}
配置下载：
正则配置：
2.5.4 配合jvm.options虚拟内存
-Xms1g
-Xmx1g
2.5.5 配置logstash.yml文件
vi config/logstash.yml
node.name: test
pipeline.id: main
pipeline.workers: 2
pipeline.batch.size: 125
pipeline.batch.delay: 50
pipeline.unsafe_shutdown: false
path.config: /tools/install/logstash-6.4.3/config/logstash.conf
http.host: "127.0.0.1"
http.port: 9600-9700
配置下载：
设置 | 描述 | 默认值 |
node.name | 节点的描述性名称 | 机器的主机名 |
path.data | Logstash及其插件用于任何持久需求的目录 | LOGSTASH_HOME/data |
pipeline.id | 管道的ID | main |
pipeline.workers | 将并行执行管道的过滤和输出阶段的工人数量，如果你发现事件正在备份，或者CPU没有饱和，请考虑增加这个数字，以更好地利用机器处理能力 | 主机CPU核心的数量 |
pipeline.batch.size | 在尝试执行过滤器和输出之前，单个工作线程将从输入中收集的最大事件数，更大的批处理大小通常更高效，但代价是增加内存开销，你可能需要增加jvm.options配置文件中的JVM堆空间，有关更多信息，请参阅Logstash配置文件 | 125 |
pipeline.batch.delay | 当创建管道事件批处理时，在向管道工作人员发送一个较小的批处理之前，等待每个事件的时间为多少毫秒 | 50 |
pipeline.unsafe_shutdown | 当设置为true时，即使内存中仍然存在游离事件，也会在关闭期间强制Logstash退出，默认情况下，Logstash将拒绝退出，直到所有接收到的事件都被推送到输出，启用此选项可能导致关闭期间的数据丢失 | false |
path.config | 主管道的Logstash配置路径，如果指定目录或通配符，配置文件将按字母顺序从目录中读取 | 特定于平台的，请参阅Logstash目录布局 |
config.string | 包含要用于主管道的管道配置的字符串，使用与配置文件相同的语法 | None |
config.test_and_exit | 当设置为true时，检查配置是否有效，然后退出，注意，在此设置中没有检查grok模式的正确性，Logstash可以从一个目录中读取多个配置文件，如果你把这个设置和log.level: debug结合起来，Logstash将对合并后的配置文件进行日志记录，并用它来自的源文件注解每个配置块 | false |
config.reload.automatic | 当设置为true时，定期检查配置是否已更改，并在更改配置时重新加载配置，这也可以通过SIGHUP信号手动触发 | false |
config.reload.interval | Logstash多久检查一次配置文件以查看更改 | 3s |
config.debug | 当设置为true时，将完整编译的配置显示为debug日志消息，你还必须设置log.level: debug，警告：日志消息将包含传递给插件配置的任意密码选项，可能会导致明文密码出现在日志中！ | false |
config.support_escapes | 当设置为true时，引号中的字符串将处理以下转义序列：变成文字换行符（ASCII 10），\r变成文字回车（ASCII 13），\t变成文字制表符（ASCII 9），\\变成字面反斜杠\，\"变成一个文字双引号，\'变成文字引号 | false |
modules | 当配置时，modules必须位于上表中描述的嵌套YAML结构中 | None |
queue.type | 用于事件缓冲的内部队列模型，为基于内存中的遗留队列指定memory，或者persisted基于磁盘的ACKed队列（持久队列） | memory |
path.queue | 启用持久队列时存储数据文件的目录路径（queue.type: persisted） | path.data/queue |
queue.page_capacity | 启用持久队列时使用的页面数据文件的大小（queue.type: persisted），队列数据由分隔成页面的仅追加的数据文件组成 | 64mb |
queue.max_events | 启用持久队列时队列中未读事件的最大数量（queue.type: persisted） | 0（无限） |
queue.max_bytes | 队列的总容量（字节数），确保磁盘驱动器的容量大于这里指定的值，如果queue.max_events和queue.max_bytes都指定，Logstash使用最先达到的任何标准 | 1024mb（1g） |
queue.checkpoint.acks | 当启用持久队列时，在强制执行检查点之前的最大ACKed事件数（queue.type: persisted），指定queue.checkpoint.acks: 0设置此值为无限制 | 1024 |
queue.checkpoint.writes | 启用持久队列时强制执行检查点之前的最大写入事件数（queue.type: persisted），指定queue.checkpoint.writes: 0设置此值为无限制 | 1024 |
queue.drain | 启用时，Logstash会一直等到持久队列耗尽后才关闭 | false |
dead_letter_queue.enable | 标记指示Logstash以插件支持的DLQ特性 | false |
dead_letter_queue.max_bytes | 每个dead letter队列的最大大小，如果条目将增加dead letter队列的大小，超过此设置，则删除条目 | 1024mb |
path.dead_letter_queue | 存储dead letter队列数据文件的目录路径 | path.data/dead_letter_queue |
http.host | 指标REST端点的绑定地址 | "127.0.0.1" |
http.port | 指标REST端点的绑定端口 | 9600 |
log.level | 日志级别，有效的选项是：fatal、error、warn、info、debug、trace | info |
log.format | 日志格式，设置为json日志以JSON格式，或plain使用Object#.inspect | plain |
path.logs | Logstash将其日志写到的目录 | LOGSTASH_HOME/logs |
path.plugins | 哪里可以找到自定义插件，你可以多次指定此设置以包含多个路径，插件应该在特定的目录层次结构中：PATH/logstash/TYPE/NAME.rb，TYPE是inputs、filters、outputs或codecs，NAME是插件的名称 | 特定于平台的，请参阅Logstash目录布局 |
2.5.6 logstash启动
nohup ./bin/logstash -f ./config/logstash.conf &
参数 | 说明 | 举例 |
-e | 立即执行，使用命令行里的配置参数启动实例 | ./bin/logstash -e "input {stdin {}} output {stdout {}}" |
-f | 指定启动实例的配置文件 | ./bin/logstash -f config/test.conf |
-t | 测试配置文件的正确性 | ./bin/logstash -f config/test.conf -t |
-l | 指定日志文件名称 | ./bin/logstash -f config/test.conf -l logs/test.log |
-w | 指定filter线程数量，默认线程数是5 | ./bin/logstash -f config/test.conf -w 8 |
2.5.7 相关地址
input监听：0.0.0.0:5044
Logstash API endpoint：http://127.0.0.1:9600
访问：http://127.0.0.1:9600
{"host":"iZbp1f69c0ocoflj7y2nlxZ","version":"6.4.3","http_address":"127.0.0.1:9600","id":"de36d17d-ca9d-4123-a33b-c2b9af00dcd9","name":"test","build_date":"2018-10-31T00:19:35Z","build_sha":"17e7a50dfb0beb05f5338ee5a0e8338e68eb130b","build_snapshot":false}三、格式化日志：
3.1 nginx日志参数配置：
nginx日志输出参数配置：
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent $request_body "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" $request_time';
nginx日志内容：
* POST：
219.135.135.2 - - [29/Nov/2018:18:41:13 +0800] "POST /portal/users/cartList HTTP/1.1" 302 5 ?appName=luckwine-portal-web&channelCode=01&traceId=1712884f4c9e4d8ad9bdb843824dd197& "http://47.106.219.117:8010/home?a=1" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" "-" 0.008
* GET：
219.135.135.2 - - [29/Nov/2018:18:16:32 +0800] "GET /portal/common/needLogin?dd=23 HTTP/1.1" 200 96 - "http://47.106.219.117:8010/home?a=1" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0" "-" 0.002
nginx日志参数：
$args #请求中的参数值
$query_string #同 $args
$arg_NAME #GET请求中NAME的值
$is_args #如果请求中有参数，值为"?"，否则为空字符串
$uri #请求中的当前URI(不带请求参数，参数位于$args)，可以不同于浏览器传递的$request_uri的值，它可以通过内部重定向，或者使用index指令进行修改，$uri不包含主机名，如"/foo/bar.html"。
$document_uri #同 $uri
$document_root #当前请求的文档根目录或别名
$host #优先级：HTTP请求行的主机名>"HOST"请求头字段>符合请求的服务器名.请求中的主机头字段，如果请求中的主机头不可用，则为服务器处理请求的服务器名称
$hostname #主机名
$https #如果开启了SSL安全模式，值为"on"，否则为空字符串。
$binary_remote_addr #客户端地址的二进制形式，固定长度为4个字节
$body_bytes_sent #传输给客户端的字节数，响应头不计算在内；这个变量和Apache的mod_log_config模块中的"%B"参数保持兼容
$bytes_sent #传输给客户端的字节数
$connection #TCP连接的序列号
$connection_requests #TCP连接当前的请求数量
$content_length #"Content-Length" 请求头字段
$content_type #"Content-Type" 请求头字段
$cookie_name #cookie名称
$limit_rate #用于设置响应的速度限制
$msec #当前的Unix时间戳
$nginx_version #nginx版本
$pid #工作进程的PID
$pipe #如果请求来自管道通信，值为"p"，否则为"."
$proxy_protocol_addr #获取代理访问服务器的客户端地址，如果是直接访问，该值为空字符串
$realpath_root #当前请求的文档根目录或别名的真实路径，会将所有符号连接转换为真实路径
$remote_addr #客户端地址
$remote_port #客户端端口
$remote_user #用于HTTP基础认证服务的用户名
$request #代表客户端的请求地址
$request_body #客户端的请求主体：此变量可在location中使用，将请求主体通过proxy_pass，fastcgi_pass，uwsgi_pass和scgi_pass传递给下一级的代理服务器
$request_body_file #将客户端请求主体保存在临时文件中。文件处理结束后，此文件需删除。如果需要之一开启此功能，需要设置client_body_in_file_only。如果将次文件传 递给后端的代理服务器，需要禁用request body，即设置proxy_pass_request_body off，fastcgi_pass_request_body off，uwsgi_pass_request_body off，or scgi_pass_request_body off
$request_completion #如果请求成功，值为"OK"，如果请求未完成或者请求不是一个范围请求的最后一部分，则为空
$request_filename #当前连接请求的文件路径，由root或alias指令与URI请求生成
$request_length #请求的长度 (包括请求的地址，http请求头和请求主体)
$request_method #HTTP请求方法，通常为"GET"或"POST"
$request_time #处理客户端请求使用的时间,单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。
$request_uri #这个变量等于包含一些客户端请求参数的原始URI，它无法修改，请查看$uri更改或重写URI，不包含主机名，例如："/cnphp/test.php?arg=freemouse"
$scheme #请求使用的Web协议，"http" 或 "https"
$server_addr #服务器端地址，需要注意的是：为了避免访问linux系统内核，应将ip地址提前设置在配置文件中
$server_name #服务器名
$server_port #服务器端口
$server_protocol #服务器的HTTP版本，通常为 "HTTP/1.0" 或 "HTTP/1.1"
$status #HTTP响应代码
$time_iso8601 #服务器时间的ISO 8610格式
$time_local #服务器时间（LOG Format 格式）
$cookie_NAME #客户端请求Header头中的cookie变量，前缀"$cookie_"加上cookie名称的变量，该变量的值即为cookie名称的值
$http_NAME #匹配任意请求头字段；变量名中的后半部分NAME可以替换成任意请求头字段，如在配置文件中需要获取http请求头："Accept-Language"，$http_accept_language即可
$http_cookie
$http_host #请求地址，即浏览器中你输入的地址（IP或域名）
$http_referer #url跳转来源,用来记录从那个页面链接访问过来的
$http_user_agent #用户终端浏览器等信息
$http_x_forwarded_for #当前端有代理服务器时，设置web节点记录客户端地址的配置，此参数生效的前提是代理服务器也要进行相关的http_x_forwarded_for设置
$sent_http_NAME #可以设置任意http响应头字段；变量名中的后半部分NAME可以替换成任意响应头字段，如需要设置响应头Content-length，$sent_http_content_length即可
3.2 Logstash捕获字段：
3.2.1 input组件
input { beats {port => 5044
}
}
3.2.2 output组件
output { elasticsearch {hosts => ["http://localhost:9200"]
index => "beat-mylog"
#user => "elastic"
#password => "changeme"
}
stdout { codec => rubydebug }}
3.2.3 filter组件
官方文档：https://www.elastic.co/guide/en/logstash/6.4/filter-plugins.html
完整规格：
filter {#正则捕获字段
grok {}#字段类型转换
mutate {}#时间数据赋值到另外字段
date {}#删除数据
drop {}}
3.2.3.1、Grok匹配日志字段：
a、新建分析nginx日志的配置logstash.conf
filter { grok {patterns_dir => ["/tools/install/logstash-6.4.3/patterns"]
match => { "message" => "%{nginx_log}"}
remove_field => ["message"]
}
date {match => [ "logtime", "dd/MMM/yyyy:HH:mm:ss Z"]
target => "@timestamp"
}
}
b、捕获方法名 正则表达式
* 规则如下：
nginx_log %{IPORHOST:clientip} - %{USER:user} \[%{HTTPDATE:logtime}\] "(?:%{WORD:method} %{URIPATH:requestURI}(%{URIPARAM:parms}|)(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:status} %{NUMBER:bytes} (%{URIPARAM:parms}|-) %{QS:referrer} %{QS:agent} "(%{IPORHOST:forwordip}|-)" %{NUMBER:reqtime}
grok正则捕获：
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
kinbana测试正则捕获是否正确：
3.2.3.2、Mutate字段转换
Mutate转化器文档：
https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-convert
https://blog.csdn.net/cromma/article/details/52919742
Mutate作用：用于每个输出的字段作后续转换操作
convert：
将字段的值转换为另一种类型，如将字符串转换为整数。如果字段值是数组，则将转换所有成员。如果字段是散列，则不采取任何操作
mutate { convert => {"bytes" => "integer"
"reqtime" => "float"
}
}
lowercase & uppercase:
大小写转换，数组类型，字段名字作为数据元素。
mutate {lowercase => [ "fieldname" ]
}
join：数组的分割字符串
使用固定连接符号，连接数组内的元素，如果给定的字段不是数组类型，什么也不做。
mutate {split => ["message", "|"]
}
mutate {join => ["message", ","]
}
#join处理前
"message" => “1|2|3|4”
#join处理后
"message" => “1,2,3,4”
merge：拼接字符串
字符串 + 字符串
数组 + 字符串
操作逻辑：把追加字段的字符拼接到目标字段字符上
mutate { merge => { "目标字段" => "追加字段" }}
split: 分割字符为数组
使用分隔符将字段拆分为数组。只对字符串字段有效。
mutate { split => { "fieldname" => "," }}
#split处理前
"message" => “1|2|3|4”
#split处理后
"message" => [
[0] "1",
[1] "2",
[2] "3",
[3] "4"
]
gsub：替换字符串
数组类型，没有默认设置。
该参数设置只针对string类型，如果不是string类型的，什么也不做。
mutate {gsub => [
"agent", "\"", "",
"referrer", "\"", ""
]
}
strip:
从字段中删除空白。注意:这只适用于开头和结尾的空格。
mutate {strip => ["field1", "field2"]
}
3.2.3.3、IP库:
geoip {source => "clientip"
target => "geoip"
}
获取到的IP数据：
lat：维度 lon：经度
"geoip" => {"country_code3" => "CN",
"latitude" => 39.9289,
"region_name" => "Beijing",
"location" => {"lat" => 39.9289,
"lon" => 116.3883
}
3.2.3.4、Drop删除过滤器:
说明：把url中包含图片、css样式、js等文件不要录入日志统计
if ([requestURI] =~ "jpg|png|gif|css|js|ico"){ drop {}}
3.2.3.5、使用新的配置文件启动：
nohup ./bin/logstash -f ./config/logstash.conf &
3.3 kibana界面配置：
界面配置：
https://www.elastic.co/guide/cn/kibana/current/tutorial-visualizing.html
1. 网站PV统计：
搜索统计条件：
配置搜索文件beat*：
2. 时间段访问字节汇总
配置Pie图形
统计方式：统计数量、汇总总数、排行统计等
统计的相关字段：可以统计多个字段，约束“时间”基础上再约束“字节数”
3. 耗时页面统计
配置柱状图
y轴耗时汇总：
x轴按地址划分统计：
再按时间拆分：
3.4 kibana统计汇总面板：
在线
客服在线
客服
问题汇总：
1、错误内容："No cached mapping for this field, refresh your mapping from the Settings > Indices page"
解决方案：
因为Elasticsearch有更改过字段类型，所以Kibana之前映射的字段类型和更改索引之后的字段类型都不同了
2、报警黄灯：
PUT aptech-test
{
"settings" : { "number_of_shards" : 5, "number_of_replicas" : 0 }
}
是因为设置了多份副本number_of_replicas的原因，当前是单机的，只能是0副本
3.4 部署静态网站（用于测试）：
3.4.1 安装nginx
yum install nginx
3.4.2 拷贝静态网站
* 把test.zip静态网站放到 /tools/apps
* 跳板机拷贝：scp -P 22 ./cpts_1406_cdz.zip root@IP:/tools/apps
* unzip 解压test.zip
3.4.3 nginx配置
worker_processes 1;
events {worker_connections 1024;
}
http {include mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent $request_body "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" $request_time';
sendfile on;
keepalive_timeout 65;
server {listen 80;
server_name localhost;
access_log /data/logs/nginx.access.log main;
location / {root /tools/apps/;
index index.html index.htm;
}
error_page 404 /404.html;
error_page 500 502 503 504 /50x.html;
location = /50x.html {root html;
}
}
}
3.4.4启动nginx
启动：nginx -c /etc/nginx/nginx.conf
停止：nginx -s stop
外网访问：http://公网IP:80
=========== 其他相关 ============
启动elasticsearch：./bin/elasticsearch -d
内网：http://局域网ip:9200/?pretty
外网：无
启动kibana：nohup ./bin/kibana &
内网：http://局域网ip:5601
外网：http://公网ip:5601
启动logstash: nohup ./bin/logstash -f ./config/logstash.conf &
内网：http://局域网ip:9600
外网：无
logstash接收数据
TCP监听端口：5044
验证: telnet 内网ip 5044
启动filebeat: nohup ./filebeat -c ./filebeat.yml &
内网：无
外网：无
标题名称：ELK大数据分析课程
URL网址：http://ybzwz.com/article/jescpd.html
