Author: studyk8s

Microk8s HA

要使用 Microk8s 的 HA 模式需要

1. To install a 1.19+ version of MicroK8s
2. At least three nodes. 
3. From the 1.19 release of MicroK8s, HA is enabled by default. 

如果需要手动打开的话

microk8s enable ha-cluster

在 Microk8s 的基础上，添加第三个节点

直接使用之前的token

Connection failed. Invalid token (500).

似乎是因为 token是一次性的

那我们只好在 master 节点上再生成一个

microk8s join 192.168.194.196:25000/34ba363719e5d802aed9084a059ead75/c11a38c71679

可以看到
报错的 microk8s join 192.168.194.196:25000/24bfc55c51720b62f15caefb95a8f211/c11a38c71679
新生的 microk8s join 192.168.194.196:25000/34ba363719e5d802aed9084a059ead75/c11a38c71679

此时系统提示的master节点是3个

如果要从集群中移除节点，有两种方式

在要被移除的节点上调用

microk8s leave

此时从集群上还能看见这个node

microk8s remove-node mk8s3

直接remove而不使用 leave 会报错

由于节点数从 3 变成了 2 ，master节点从3变成了1

控制平面组件（Control Plane Components） 
控制平面的组件对集群做出全局决策(比如调度)，以及检测和响应集群事件（例如，当不满足部署的 replicas 字段时，启动新的 pod）。

控制平面组件可以在集群中的任何节点上运行。 然而，为了简单起见，设置脚本通常会在同一个计算机上启动所有控制平面组件， 并且不会在此计算机上运行用户容器。 请参阅使用 kubeadm 构建高可用性集群 中关于多 VM 控制平面设置的示例。

kube-apiserver
API 服务器是 Kubernetes 控制面的组件， 该组件公开了 Kubernetes API。 API 服务器是 Kubernetes 控制面的前端。

Kubernetes API 服务器的主要实现是 kube-apiserver。 kube-apiserver 设计上考虑了水平伸缩，也就是说，它可通过部署多个实例进行伸缩。 你可以运行 kube-apiserver 的多个实例，并在这些实例之间平衡流量。

etcd
etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。

您的 Kubernetes 集群的 etcd 数据库通常需要有个备份计划。

要了解 etcd 更深层次的信息，请参考 etcd 文档。

kube-scheduler
控制平面组件，负责监视新创建的、未指定运行节点（node）的 Pods，选择节点让 Pod 在上面运行。

调度决策考虑的因素包括单个 Pod 和 Pod 集合的资源需求、硬件/软件/策略约束、亲和性和反亲和性规范、数据位置、工作负载间的干扰和最后时限。

kube-controller-manager
在主节点上运行 控制器 的组件。

从逻辑上讲，每个控制器都是一个单独的进程， 但是为了降低复杂性，它们都被编译到同一个可执行文件，并在一个进程中运行。

这些控制器包括:

节点控制器（Node Controller）: 负责在节点出现故障时进行通知和响应
任务控制器（Job controller）: 监测代表一次性任务的 Job 对象，然后创建 Pods 来运行这些任务直至完成
端点控制器（Endpoints Controller）: 填充端点(Endpoints)对象(即加入 Service 与 Pod)
服务帐户和令牌控制器（Service Account & Token Controllers）: 为新的命名空间创建默认帐户和 API 访问令牌
cloud-controller-manager
云控制器管理器是指嵌入特定云的控制逻辑的 控制平面组件。 云控制器管理器允许您链接集群到云提供商的应用编程接口中， 并把和该云平台交互的组件与只和您的集群交互的组件分离开。
cloud-controller-manager 仅运行特定于云平台的控制回路。 如果你在自己的环境中运行 Kubernetes，或者在本地计算机中运行学习环境， 所部署的环境中不需要云控制器管理器。

与 kube-controller-manager 类似，cloud-controller-manager 将若干逻辑上独立的 控制回路组合到同一个可执行文件中，供你以同一进程的方式运行。 你可以对其执行水平扩容（运行不止一个副本）以提升性能或者增强容错能力。

下面的控制器都包含对云平台驱动的依赖：

节点控制器（Node Controller）: 用于在节点终止响应后检查云提供商以确定节点是否已被删除
路由控制器（Route Controller）: 用于在底层云基础架构中设置路由
服务控制器（Service Controller）: 用于创建、更新和删除云提供商负载均衡器

Elasticsearch ngram

Ngrams 在部分匹配的应用

之前提到：“只能在倒排索引中找到存在的词。” 尽管 prefix 、 wildcard 、 regexp 查询告诉我们这种说法并不完全正确，但单个词的查找 确实 要比在词列表中盲目挨个查找的效率要高得多。在搜索之前准备好供部分匹配的数据可以提高搜索的性能。

在索引时准备数据意味着要选择合适的分析链，这里部分匹配使用的工具是 n-gram 。可以将 n-gram 看成一个在词语上 滑动窗口 ， n 代表这个 “窗口” 的长度。如果我们要 n-gram quick 这个词 —— 它的结果取决于 n 的选择长度：

• 长度 1（unigram）： [ q, u, i, c, k ]
• 长度 2（bigram）： [ qu, ui, ic, ck ]
• 长度 3（trigram）： [ qui, uic, ick ]
• 长度 4（four-gram）： [ quic, uick ]
• 长度 5（five-gram）： [ quick ]

朴素的 n-gram 对 词语内部的匹配 非常有用，即在 Ngram 匹配复合词 介绍的那样。但对于输入即搜索（search-as-you-type）这种应用场景，我们会使用一种特殊的 n-gram 称为 边界 n-grams （edge n-grams）。所谓的边界 n-gram 是说它会固定词语开始的一边，以单词 quick 为例，它的边界 n-gram 的结果为：

• q
• qu
• qui
• quic
• quick

可能会注意到这与用户在搜索时输入 “quick” 的字母次序是一致的，换句话说，这种方式正好满足即时搜索（instant search）！

POST _analyze
{
  "tokenizer": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 3,
          "token_chars": [
            "letter",
            "digit"
          ]
        },
  "text": "我的邮编地址是11000"
}

POST _analyze
{
  "tokenizer": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 3,
          "token_chars": [
            "digit"
          ]
        },
  "text": "我的邮编地址是11000"
}

Use docker create nfs server

create a new folder

/home/lizhe/shared

docker run -d --privileged  -v /home/lizhe/shared:/nfs -e NFS_EXPORT_DIR_1=/nfs -e NFS_EXPORT_DOMAIN_1=\* -e NFS_EXPORT_OPTIONS_1=rw,insecure,no_subtree_check,no_root_squash,fsid=1 -p 111:111 -p 111:111/udp -p 2049:2049 -p 2049:2049/udp -p 32765:32765 -p 32765:32765/udp -p 32766:32766 -p 32766:32766/udp -p 32767:32767 -p 32767:32767/udp fuzzle/docker-nfs-server:latest

how to mount it

sudo apt update
sudo apt install nfs-common

sudo mkdir /mnt/nfs

sudo mount 192.168.204.137:/nfs /mnt/nfs

ELasticsearch 备份和还原

ELasticsearch 提供了一个内置系统来快速备份和还原数据。

ELasticsearch 快照 Snapshot 允许在远程存储库中创建单个索引（或别名）或 整个集群的快照

创建快照库

在开始执行快照之前，必须先创建一个 存储库 Repository，这是将要存储备份或快照的地方

vi /usr/share/elasticsearch/config/elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0

path.repo: /backup/

sudo mkdir /backup/

不创建 存储库会得到下面错误

1. 创建一个名为 my_repository 的存储库

PUT /_snapshot/my_repository
{
  "type": "fs",
  "settings": {
    "location": "/backup/my_repository",
    "compress": true
  }
}

2. 检索、删除 存储库信息

GET /_snapshot/my_repository
DELETE /_snapshot/my_repository

创建快照

PUT /_snapshot/my_repository/snap_1?wait_for_completion=true
{
  "indices": "*",
  "ignore_unavailable": true,
  "include_global_state": true
}

GET /_snapshot/my_repository/snap_1
DELETE /_snapshot/my_repository/snap_1

GET /_snapshot/my_repository/_all

还原快照

关闭索引

POST /*/_close

这里关闭了全部索引之后 kibana也用不了了，所以改成了 curl 命令

(base) lizhe@ubuntu:~$ curl -X POST http://127.0.0.1:9200/*/_close
{"acknowledged":true,"shards_acknowledged":false,"indices":{}}
(base) lizhe@ubuntu:~$ 
(base) lizhe@ubuntu:~$ 
(base) lizhe@ubuntu:~$ curl -X POST http://127.0.0.1:9200/_snapshot/my_repository/snap_1/_restore
{"accepted":true}
(base) lizhe@ubuntu:~$ 
(base) lizhe@ubuntu:~$ 
(base) lizhe@ubuntu:~$ curl -X POST http://127.0.0.1:9200/*/_open
{"acknowledged":true,"shards_acknowledged":true}(base) lizhe@ubuntu:~$ 
(base) lizhe@ubuntu:~$ 
(base) lizhe@ubuntu:~$ 

集群备份

管理存储库（存储数据的位置）是 ELasticsearch 备份管理中最关键的部分。

由于其原生分布式架构，因此快照 和 还原 以集群样式进行设计

因此，如果你有多节点集群，则必须具有共享存储库存储

否则会得到以下错误

NFS服务器端配置

1. 在Linux上安装 NFS服务器

sudo apt update
sudo apt install nfs-kernel-server

2. 创建一个共享用的目录

sudo mkdir /mnt/shared-directory

3. 将此目录的访问权限授予 nobody 用户 和 nogroup 组。

nobody 和 nogroup 是用于共享 读写权限 的特殊用户和组

sudo chown -R nobody:nogroup /mnt/shared-directory

4. 配置 NFS 导出，可以在其中指定此目录将与哪些计算机共享

编辑 /etc/exports 文件

sudo vi /etc/exports

添加以下内容

/mnt/shared-directory *(rw,sync,no_subtree_check,no_root_squash)

5. 刷新并且使修改生效

sudo exportfs -a

6. 启动 NFS服务

sudo service nfs-kernel-server start

NFS客户端配置

Ubuntu

1. 在ELasticsearch节点上安装 NFS 客户端

sudo apt update
sudo apt install nfs-common

2. 在客户端上创建目录，挂载远程共享目录

sudo mkdir /mnt/nfs
sudo mount 192.168.1.30:/mnt/shared-directory /mnt/nfs

3. 将安装目录添加到节点的 /etc/fstab文件

sudo vim /etc/fstab

4. 添加以下内容

192.168.1.30:/mnt/shared-directory /mnt/nfs/ nfs auto,noatime,nolock,bg,nfsvers=4,sec=krb5p,intr,tcp,actimeo=18 00 0 0

5. 更新 config/elasticsearch.yml 文件中的 path.repo

path.repo: /mnt/nfs/

6. 重启ELasticsearch节点

使用docker 的情况 简单的多

1. 创建一个文件夹，用来共享

mkdir -p /home/lizhe/essnap

然后把它 mount 给所有容器，这些容器就共享这个文件夹了

节点1

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d -p 9200:9200 -p 9300:9300 -v /home/lizhe/cluster/node1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/lizhe/cluster/node1/plugins:/usr/share/elasticsearch/plugins -v /home/lizhe/cluster/node1/data:/usr/share/elasticsearch/data -v /home/lizhe/cluster/node1/log:/usr/share/elasticsearch/log -v /home/lizhe/essnap:/mnt/nfs --name es-1 elasticsearch:7.7.1

节点2

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d -p 9201:9201 -p 9301:9301 -v /home/lizhe/cluster/node2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/lizhe/cluster/node2/plugins:/usr/share/elasticsearch/plugins -v /home/lizhe/cluster/node2/data:/usr/share/elasticsearch/data -v /home/lizhe/cluster/node2/log:/usr/share/elasticsearch/log -v /home/lizhe/essnap:/mnt/nfs --name es-node-2 elasticsearch:7.7.1

节点3

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d -p 9202:9202 -p 9302:9302 -v /home/lizhe/cluster/node3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/lizhe/cluster/node3/plugins:/usr/share/elasticsearch/plugins -v /home/lizhe/cluster/node3/data:/usr/share/elasticsearch/data -v /home/lizhe/cluster/node3/log:/usr/share/elasticsearch/log -v /home/lizhe/essnap:/mnt/nfs --name es-3 elasticsearch:7.7.1

Elasticsearch 软件包结构

Elasticsearch 软件包通常包含以下目录

• bin：包含启动和管理Elasticsearch的脚本
• Elasticsearch.bat：这是启动Elasticsearch的主要执行脚本
• Elasticsearch-plugin.bat：这是管理插件的脚本
• 例如：sudo bin/elasticsearch-plugin install analysis-kuromoji
• config：包含 Elasticsearch 配置。最重要的配置如下
• Elasticsearch.yml：这是Elasticsearch的主要配置文件
• log4j2.properties：这是日志记录配置文件
• lib：包含运行 Elasticsearch 所需的所有库
• logs：此目录在安装时为空，但未来将包含应用程序日志
• modules：包含 Elasticsearch 默认插件模块
• plugins：此目录在安装时为空，但未来将包含安装自定义插件

在 Elasticsearch 启动期间，将发生以下事件

1. 如果 Elasticsearch.yml 中未提供节点名称，则会自动生成一个节点名称。

该名称是随机生成的

2. 为此节点生成一个节点名称哈希

3. 加载默认安装的模块，重要的如下

aggs-matrix-stats：提供对聚合矩阵统计信息的支持
analysis-common：这是 Elasticsearch 的通用分析器 （common analyzer），它扩展了ELasticsearch语言处理能力
ingest-common：这些包含采集（ingest）模块的常见功能
lang-expression、lang-mustache、lang-painless：这些是Elasticsearch默认支持的脚本语言
mapper-extras：者提供了一种额外的映射器（Mapper）类型，例如 token_count 和 scaled
_float
parent-join：者提供了额外的查询，例如 has_children、has_parent
percolator：提供了过滤器（Percolator）功能
rank-eval：为实验等级评估api提供支持。这些用于评估查询的得分
reindex：这提供了对重新索引（reindex）操作（通过查询进行重新索引/更新）的支持
x-pack-*：所有xpack模块的激活都依赖于订阅

如果有插件，则会加载它们

如果未配置，则Elasticsearch会自动在本地主机上绑定

9300：此端口用于内部节点通信

9200：此端口用于 HTTP REST API

启动后，如果索引可用，则将它们还原并准备使用

在节点启动期间，许多必须的服务会自动启动，最重要的如下

集群服务 Cluster Service：

这有助于你管理集群状态以及节点内的通信和同步

索引服务 Index Service：

这可以帮助你管理所有的索引操作，初始化所有活动索引和分片

映射服务 Mapping Service：

这有助于你管理存储在集群中的文档类型

网络服务 Network Service：

如果安装了 Thrift 插件，则包括 HTTP REST 服务 9200 和 内部ELasticsearch协议 9300 等服务

插件服务 Plugin Service：

用于管理插件的加载

聚合服务 Aggregation Service：

者提供了对存储的 ELasticsearch 文档的高级分析，例如 统计数据、直方图 和 文档分组等

采集服务 Ingesting Service：

这为采集之前的文档预处理提供了支持，例如 字段扩充、NLP处理、类型转换和自动字段填充等

语言脚本服务 Language Scripting Service：

这使得你可以向ELasticsearch添加新的语言脚本支持

Elasticsearch 关于安装

单机安装

Elasticsearch Head

docker run -d --name es_admin -p 9100:9100 mobz/elasticsearch-head:5

Elasticsearch

docker run -i -t --log-driver json-file --log-opt max-docker run -d --name es771 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.7.1

Kibana

docker run -i -t --log-driver json-file --log-opt max-size=1000m --log-opt max-file=4 --name kibana771 -p 5601:5601 -v /data/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml kibana:7.7.1

Kibana.yml

(base) lizhe@ubuntu:~/cluster$ cat /data/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
#elasticsearch.url: "http://172.16.184.194:9200"
elasticsearch.hosts: ["http://192.168.194.128:9200/"]
kibana.index: ".kibana"
(base) lizhe@ubuntu:~/cluster$ 

集群安装

docker pull  elasticsearch:7.7.1

#存放配置文件的文件夹
mkdir -p /home/lizhe/cluster/node1/config
mkdir -p /home/lizhe/cluster/node2/config
mkdir -p /home/lizhe/cluster/node3/config
#存放数据的文件夹
mkdir -p /home/lizhe/cluster/node1/data
mkdir -p /home/lizhe/cluster/node2/data
mkdir -p /home/lizhe/cluster/node3/data
#存放运行日志的文件夹
mkdir -p /home/lizhe/cluster/node1/log
mkdir -p /home/lizhe/cluster/node2/log
mkdir -p /home/lizhe/cluster/node3/log
#存放IK分词插件的文件夹
mkdir -p /home/lizhe/cluster/node1/plugins
mkdir -p /home/lizhe/cluster/node2/plugins
mkdir -p /home/lizhe/cluster/node3/plugins

chmod -R 777 /home/lizhe/cluster/

/home/lizhe/cluster/node1/config/elasticsearch.yml

#集群名称
cluster.name: lizhe-es
#当前该节点的名称
node.name: node-1
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置其它结点和该结点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址，设置当前物理机地址,
#如果是docker安装节点的IP将会是配置的IP而不是docker网管ip
network.publish_host: 192.168.194.128
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["192.168.194.128:9300","192.168.194.128:9301","192.168.194.128:9302"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#cluster.initial_master_nodes: node-1
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

/home/lizhe/cluster/node2/config/elasticsearch.yml

#集群名称
cluster.name: lizhe-es
#当前该节点的名称
node.name: node-2
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置其它结点和该结点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址，设置当前物理机地址,
#如果是docker安装节点的IP将会是配置的IP而不是docker网管ip
network.publish_host: 192.168.194.128
#设置映射端口
http.port: 9201
#内部节点之间沟通端口
transport.tcp.port: 9301
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["192.168.194.128:9300","192.168.194.128:9301","192.168.194.128:9302"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#cluster.initial_master_nodes: node-1
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

/home/lizhe/cluster/node3/config/elasticsearch.yml

#集群名称
cluster.name: lizhe-es
#当前该节点的名称
node.name: node-3
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置其它结点和该结点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址，设置当前物理机地址,
#如果是docker安装节点的IP将会是配置的IP而不是docker网管ip
network.publish_host: 192.168.194.128
#设置映射端口
http.port: 9202
#内部节点之间沟通端口
transport.tcp.port: 9302
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["192.168.194.128:9300","192.168.194.128:9301","192.168.194.128:9302"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#cluster.initial_master_nodes: node-1
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true

http.cors.enabled: true
http.cors.allow-origin: "*"

直接启动会报错

ERROR: [1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

在宿主机上

解决办法：
1、切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf 

添加下面配置：

vm.max_map_count=655360

并执行命令：

sysctl -p

然后，重新启动elasticsearch，即可启动成功。

启动容器

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d -p 9200:9200 -p 9300:9300 -v /home/lizhe/cluster/node1/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/lizhe/cluster/node1/plugins:/usr/share/elasticsearch/plugins -v /home/lizhe/cluster/node1/data:/usr/share/elasticsearch/data -v /home/lizhe/cluster/node1/log:/usr/share/elasticsearch/log --name es-node-1 elasticsearch:7.7.1

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d -p 9201:9201 -p 9301:9301 -v /home/lizhe/cluster/node2/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/lizhe/cluster/node2/plugins:/usr/share/elasticsearch/plugins -v /home/lizhe/cluster/node2/data:/usr/share/elasticsearch/data -v /home/lizhe/cluster/node2/log:/usr/share/elasticsearch/log --name es-node-2 elasticsearch:7.7.1

docker run -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -d -p 9202:9202 -p 9302:9302 -v /home/lizhe/cluster/node3/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/lizhe/cluster/node3/plugins:/usr/share/elasticsearch/plugins -v /home/lizhe/cluster/node3/data:/usr/share/elasticsearch/data -v /home/lizhe/cluster/node3/log:/usr/share/elasticsearch/log --name es-node-3 elasticsearch:7.7.1

Elasticsearch 同义词

同义词用于拓宽匹配文档的范围

要在搜索中使用同义词，相应的字段就要提前配置同义词词条过滤器。

这个过滤器允许在 setting 中直接设置同义词，也可以从文件中获得同义词

简单收缩 单词扩展

u s a , united states => usa

gb => britain,england

简单扩展

在索引时使用简单扩展主要有两个缺点

一是会让索引变得异常大

二是对于现有文档，要改变同义词规则就必须重新索引它们

不过索引速度会非常快，因为 Elasticsearch 只需要查找一个词项

但是如果在查询时使用，就可能会对搜索速度造成极大的性能影响，因为对单一词项的查询也会被改写成寻找它的同义词组中的所有词项。

在查询时使用简单查询最大的优点是，不需要重新索引文档就可以更新同义词规则

简单收缩

简单收缩会将左侧的一组同义词映射成右边的一个词，这种方法有许多优点

首先，索引大小很正常，因为一个词项替换了整个同义词组

其次，查询性能非常好，因为只需要匹配一个词项

第三，同义词规则更新时不需要重新索引文档

无论什么时候，当更新了任意的同义词规则时，都需要关闭索引再重新打开，通过这种方法来把新规则导入索引设置

简单收缩也有缺点，它会极大的影响相关性。

属于同一个同义词组的所有词项，都有相同的反向文档频率，因此将无法区分最常见和最不常见的单词

gb => gb,greatbritain
britain => britain,gb,greatbritain

• 对 britain 查询，只能找到关于britain 的文档
• 对 gb 查询，会找到 gb 和 britain 的文档
• 对 greatbritain 查询会找到关于 gb、britain 或者 greatbritain 的文档

处理多词同义词会有如下问题

online sale , online revenues => revenue

如果一份文档中只包含了 online 这个词，就不会被匹配

要避免这种情况出现，就要分别为每个可能的词项单独创建同义词规则

/usr/share/elasticsearch/config/analysis/synonyms.txt

j2ee,javac,jvm,jsp => java
java => j2ee,javac,jvm
java,scala,kotlin,groovy => groovy,jruby

PUT /lizhe_syn_index
{
  "settings": {
    "analysis": {
      "filter": {
        "lizhe_synonym_filter": {
          "type": "synonym",
          "updateable": true,
          "synonyms_path": "analysis/synonyms.txt"
        }
      },
      "analyzer": {
        "lizhe_synonyms_analyzer": {
          "tokenizer": "whitespace",
          "filter": [
            "lizhe_synonym_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "whitespace",
        "search_analyzer": "lizhe_synonyms_analyzer"
      },
      "desc": {
        "type": "text",
        "analyzer": "whitespace",
        "search_analyzer": "lizhe_synonyms_analyzer"
      }
    }
  }
}

插入一些测试用的数据

PUT /lizhe_syn_index/_doc/java
{
  "name": "java",
  "desc": "i am java"
}

上面的结构，如果查询java

GET /_search
{
  "query": {
    "match": {
      "desc": "java"
    }
  }
}

会命中

j2ee、javac、jvm、groovy、jruby

也就是这一部分

java => j2ee,javac,jvm
java,scala,kotlin,groovy => groovy,jruby

如果查询 j2ee 或者是 javac ，会命中

java

参考

j2ee,javac,jvm,jsp => java

如果查询 kotlin，会命中

groovy，jruby

Elasticsearch Mapping

Mapping 是类似于数据库中的表结构定义，主要作用如下

• 定义 index 下的字段名
• 定义字段类型，比如数值型、浮点型、布尔型等
• 定义倒排索引相关的设置，比如是否索引、记录 position 等

mapping 中的字段类型一旦设置，禁止直接修改，因为 Lucene实现的倒排索引生成后不允许修改，应该重新建立新索引，然后做 reindex 操作

但是可以新增字段，通过 dynamic 参数来控制字段的新增，这个参数的值如下：

• true：默认值，表示允许选自动新增字段
• false：不允许自动新增字段，但是文档可以正常写入，但无法对字段进行查询等操作
• strict：严格模式，文档不能写入，报错

创建名为 my_index的索引并设置mapping：

PUT lizhe_users_index
{
  "mappings": {
    "dynamic": false,
    "properties": {
      "name": {
        "type": "text"
      },
      "sex": {
        "type": "keyword"
      },
      "age": {
        "type": "integer"
      },
      "address": {
        "type": "text"
      }
    }
  }
}

GET /lizhe_users_index/_mapping

插入一个doc

PUT /lizhe_users_index/_doc/1
{
  "name": "xiaoming",
  "sex": "male",
  "age": 7,
  "address": "中国辽宁省不知道市向阳路小学"
}

不指定索引的时候，需要用POST的

GET /_search
{
  "query": {
    "match": {
      "name": "xiaoming"
    }
  }
}

{
  "took" : 380,
  "timed_out" : false,
  "_shards" : {
    "total" : 8,
    "successful" : 8,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.2876821,
    "hits" : [
      {
        "_index" : "lizhe_users_index",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "xiaoming",
          "sex" : "male",
          "age" : 7,
          "address" : "中国辽宁省不知道市向阳路小学"
        }
      }
    ]
  }
}