第1页 / 共28页
第2页 / 共28页
第3页 / 共28页
第4页 / 共28页
第5页 / 共28页
第6页 / 共28页
第7页 / 共28页
第8页 / 共28页
ELK大数据平台安装及使用手册.doc
一、安装单机es（linux）：
1、准备工作：
（1）创建用户组：
（2）创建用户：
（3）创建目录：
（4）修改目录所有者：
2、软件下载：
3、安装环境：
4、软件安装：
5、配置es信息：
（1）配置服务IP地址：
（2）配置服务端口号：
（3）配置数据存储路径：
（4）配置备份存储路径：
（5）配置日志存储路径：
（6）配置允许跨域访问：
6、配置jvm信息：
（1）配置jvm heap最小值：
（2）配置jvm heap最大值：
7、防火墙开启es端口：
8、软件启动：
（1）普通启动：
（2）后台启动：
9、设置es自动创建index：
10、软件停止：
11、访问测试：
二、安装es插件head（linux）：
1、下载插件：
2、创建目录：
3、解压插件包：
4、安装node环境：
（1）下载node安装包：
（2）创建目录：
（3）解压node安装包：
（4）配置环境变量：
（5）检查安装：
5、安装grunt环境：
（1）安装grunt命令行工具grunt-cli：
（2）安装grunt及其插件：
（3）检查安装：
6、配置head插件信息：
（1）配置head服务访问地址：
（2）配置head服务访问端口号：
（3）配置head连接es信息：
7、防火墙开放端口：
8、启动head服务：
（1）普通启动：
（2）后台启动：
9、关闭head服务：
10、访问测试：
三、安装单机logstash（linux）：
1、软件下载：
2、安装环境：
3、创建目录：
4、软件安装：
5、配置文件：
（1）配置运行内存大小：
（2）配置运行日志输出级别：
（3）配置运行日志文件存放位置：
6、使用测试：
（1）命令行测试使用：
（2）调用conf文件测试使用：
四、安装单机kibana（linux）：
1、软件下载：
2、安装环境：
3、创建目录：
4、软件安装：
5、配置信息：
（1）配置kibana访问IP：
（2）配置kibana访问端口：
（3）配置kibana访问es地址端口：
（4）配置kibana在es中存储索引名称：
（5）配置kibana日志存储文件：
（6）配置kibana日志是否输出：
6、防火墙开启kibana端口：
7、软件启动：
（1）普通启动：
（2）后台启动：
8、软件停止：
9、访问测试：
五、处理mysql数据到结果表：
1、创建前置表：
2、抽取数据到前置表：
六、全量导入mysql结果表中数据：
1、手动全量导入数据：
（1）创建*.conf格式配置文件：
（2）修改*.conf文件格式：
（3）部署*.conf文件到服务器：
（4）后台运行*.conf文件迁移数据：
（5）查看es中导入的数据：
2、创建索引别名：
七、增量导入mysql结果表中数据：
1、增量同步数据mysql到es思路：
2、增量同步执行技术点：
八、Java项目集成使用ES：
1、客户端类型选择：
（1）客户端介绍：
A、REST API：
B、Transport连接：
C、多种编程语言客户端：
（2）Java REST Client重点介绍：
A、Java Low Level REST Client:
B、Java High Level REST Client:
（3）强烈推荐使用客户端：
A、使用说明：
B、项目集成：
C、客户端初始化：
2、引入jar包：
3、多条件分页查询：
（1）创建es连接客户端：
（2）创建es常用分页查询方法工具类：
（3）项目service调用es分页查询工具类取数据：
九、备份es数据：
1、首次创建备份文件路径：
2、首次创建备份仓库：
3、查看备份仓库：
4、手动备份索引：
5、手动查看索引备份：
6、手动恢复索引备份：
7、手动删除索引备份：
十、常见异常：
1、java.lang.RuntimeException: can not run elasticsea
2、max file descriptors [65535] for elasticsearch pro
3、max number of threads [1024] for user [elastic] is
4、max virtual memory areas vm.max_map_count [65530]
5、system call filters failed to install; check the l
6、 Local Npm module "grunt-contrib-clean" not found：
ELK 大数据平台安装及使用手册
说明：ELK 软件：elasticsearch、logstash、kibana 以及 beats 软件都要
以 elasticsearch 版本为基准，使用同一个版本型号的软件，强烈建议
elasticsearch 使用 6.0 以上的高版本。
一、安装单机 es（linux）：
说明：elasticsearch（es）是用来存储数据的。
1、准备工作：
（1）创建用户组：
groupadd elastic
（2）创建用户：
useradd -g elastic elastic
（3）创建目录：
Elasticsearch 安装路径：
mkdir -p /wocloud/soft/elasticsearch
Elasticsearch 数据存储路径：
mkdir -p /wocloud/elasticsearch/data
Elasticsearch 日志存储路径：
mkdir -p /wocloud/elasticsearch/logs
Elasticsearch 数据备份路径：
mkdir -p /wocloud/elasticsearch_backup/data_backup
（4）修改目录所有者：
chown -R elastic.elastic
/wocloud/soft/elasticsearch
chown -R elastic.elastic
/wocloud/elasticsearch/data
chown -R elastic.elastic
/wocloud/elasticsearch/logs
chown -R elastic.elastic
/wocloud/elasticsearch_backup/data_backup
2、软件下载：
https://www.elastic.co/downloads/past-releases
使用 6.5.0 版本。
3、安装环境：
Elasticsearch 运行需要 java 环境，需要 jdk 是 1.8 及 1.8+。
4、软件安装：
将下载的 elasticsearch 压缩文件上传到 elasticsearch 安装目录并进行
解压，即可完成软件安装。
5、配置 es 信息：
（1）配置服务 IP 地址：
config/elasticsearch.yml 文件中，修改值：
（2）配置服务端口号：
config/elasticsearch.yml 文件中，修改值：
（3）配置数据存储路径：
config/elasticsearch.yml 文件中，修改值：
（4）配置备份存储路径：
config/elasticsearch.yml 文件中，修改值：
（5）配置日志存储路径：
config/elasticsearch.yml 文件中，修改值：
（6）配置允许跨域访问：
6、配置 jvm 信息：
（1）配置 jvm heap 最小值：
config/jvm.options 文件，此值给很小就行，一般建议 1g 以内。
尽量少给点内存，多给 es 查询留出内存空间，本次设备为 32g 内存。
（2）配置 jvm heap 最大值：
config/jvm.options 文件，此值给很小就行，一般建议 1g 以内。
尽量少给点内存，多给 es 查询留出内存空间，本次设备为 32g 内存。
7、防火墙开启 es 端口：
如果只允许 es 本地访问就不要防火墙开通 es 端口了，如果需要远程
访问 es 端口，那么就需要防火墙开启 es 访问端口。
编辑/etc/sysconfig/iptables 文件，添加 es 端口信息：
然后重启 iptables 服务：service iptables restart
8、软件启动：
（1）普通启动：
su 切换都 elastic 用户下，通过执行 elasticsearch 解压安装路径下
bin/elasticsearch 进行后台启动。
（2）后台启动：
su 切换都 elastic 用户下，通过执行 elasticsearch 解压安装路径下
bin/elasticsearch -d 进行后台启动。
9、设置 es 自动创建 index：
修改 es 中 index 创建方式命令：
http://192.168.1.103:9200/_cluster/settings GET
{
}
"persistent" : {
"action": {
"auto_create_index": "true"
}
}
10、软件停止：
通过 ps -ef | grep elastic 查看运行进程，通过 kill -9 进程号杀死
elasticsearch 对应进程号。
11、访问测试：
通过浏览器访问：network.host:http.port 配置信息组合即可访问，
如（192.168.99.164:9200）即可访问到集群 elasticsearch 的基本信息。
二、安装 es 插件 head（linux）：
说明：head 是 es 的一个插件，可以在浏览器中可视化 es 数据，并且
可以操作 es 数据。
1、下载插件：
https://github.com/mobz/elasticsearch-head
2、创建目录：
创建 es 插件 head 安装目录
mkdir -p /wocloud/soft/elasticsearch_head
3、解压插件包：
将下载的 head 插件包上传到服务器 head 安装目录，并进行解压。
4、安装 node 环境：
（1）下载 node 安装包：
https://nodejs.org/zh-cn/download/
（2）创建目录：
创建 node 安装目录
mkdir -p /wocloud/soft/node
（3）解压 node 安装包：
将下载的 node 插件包上传到服务器 node 安装目录，并进行解压。
（4）配置环境变量：
配置环境变量，编辑/etc/profile
vim /etc/profile
刷新环境变量生效：source /etc/profile
（5）检查安装：
查看 node 版本信息：node -v，出现版本信息表示 node 安装成功。
5、安装 grunt 环境：
在 es 的 head 插件解压文件跟目录下执行命令：
（1）安装 grunt 命令行工具 grunt-cli：
npm install -g grunt-cli
（2）安装 grunt 及其插件：
npm install grunt --save-dev
（3）检查安装：
查看 grunt 版本信息：grunt -version，出现版本信息表示 grunt 安装成
功。
6、配置 head 插件信息：
（1）配置 head 服务访问地址：
编辑 head 安装目录下 Gruntfile.js，修改 hostname 值为*：
相关推荐
2023年江西萍乡中考道德与法治真题及答案.doc
2012年重庆南川中考生物真题及答案.doc
2013年江西师范大学地理学综合及文艺理论基础考研真题.doc
2020年四川甘孜小升初语文真题及答案I卷.doc
2020年注册岩土工程师专业基础考试真题及答案.doc
2023-2024学年福建省厦门市九年级上学期数学月考试题及答案.doc
2021-2022学年辽宁省沈阳市大东区九年级上学期语文期末试题及答案.doc
2022-2023学年北京东城区初三第一学期物理期末试卷及答案.doc
2018上半年江西教师资格初中地理学科知识与教学能力真题及答案.doc
2012年河北国家公务员申论考试真题及答案-省级.doc
2020-2021学年江苏省扬州市江都区邵樊片九年级上学期数学第一次质量检测试题及答案.doc
2022下半年黑龙江教师资格证中学综合素质真题及答案.doc
