ElasticSearch学习笔记

一.ElasticSearch简介

ES是目前全文搜索引擎首选，可以快速存储、搜索和分析海量数据，维基百科、Stack Overflow、Github都采用它。ES底层是开源库Lucene，ES是Lucene的封装，提供REST API的操作接口，开箱即用。

二.ES安装

安装较为简单，需要先安装JAVA8，通过官网下载，下载地址。解压到目录下，输入下面命令启动ES

./bin/elasticsearch

如果这时候报错max virtual memory areas vm.max_map_count[65530] is too low,increase to at least[262144]，执行下面的命令

sudo sysctl -w vm.max_map_count=262144

也可以这样做

sudo vi /etc/sysctl.conf

写入配置

vm.max_map_count=655360

然后执行下面的命令

sudo sysctl -p

出现上述错误原因是默认情况下，ES使用mmapfs目录来存储其索引，mmap计数的默认操作系统限制可能太低，这可能导致内存不足异常.
启动完成，es默认运行在9200端口，执行下面命令,ES返回一个JSON对象,包含节点、集群、版本信息

使用下面的命令

$ curl localhost:9200

{
  "name" : "atntrTf",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "tf9250XhQ6ee4h7YI11anA",
  "version" : {
    "number" : "6.4.2",
    "build_hash" : "19c13d0",
    "build_date" : "2018-09-26T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "7.4.0"
  },
  "tagline" : "You Know, for Search"
}

三.基本概念

1.Node和Cluster

Elastic Search本身是一个分布式数据库，允许多个数据库协作，每台服务器可运行多个ES实例。单个ES实例为一个Node（节点），一组节点构成一个集群。

2.Index

Elastic 会索引所有字段，经过处理后写入一个反向索引（Inverted Index）。查找数据的时候，直接查找该索引。

所以，Elastic 数据管理的顶层单位就叫做 Index（索引）。它是单个数据库的同义词。每个 Index （即数据库）的名字必须是小写。使用下面的命令可以查看当前节点的所有 Index。

3.Document

Index 里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index。

Document 使用 JSON 格式表示，下面是一个例子。

{
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}

同一个 Index 里面的 Document，不要求有相同的结构（scheme），但是最好保持相同，这样有利于提高搜索效率。

4.Type

Document 可以分组，比如weather这个 Index 里面，可以按城市分组（北京和上海），也可以按气候分组（晴天和雨天）。这种分组就叫做 Type，它是虚拟的逻辑分组，用来过滤 Document。

不同的 Type 应该有相似的结构（schema），举例来说，id字段不能在这个组是字符串，在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据（比如products和logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type（虽然可以做到）。

下面的命令可以列出每个 Index 所包含的 Type。

curl 'localhost:9200/_mapping?pretty=true'

根据规划，Elastic 6.x 版只允许每个 Index 包含一个 Type，7.x 版将会彻底移除 Type。

四.Index基本操作

1.新建Index

下面的命令新建一个weather的index

curl -X PUT 'localhost:9200/weather'

执行后返回JSON对象，acknowledged字段表示操作成功

{
  "acknowledged":true,
  "shards_acknowledged":true,
  "index":"weather"
}

这时候再执行,能看到效果

curl -X GET 'http://localhost:9200/_cat/indices?v'

2.删除Index

删除weather这个index

curl -X DELETE 'localhost:9200/weather'

五.安装中文分词插件

安装的中文分词插件是ik,详细见 https://github.com/search?q=elasticsearch-analysis-ik

1.download or compile

optional 1 - download pre-build package from here: https://github.com/medcl/elasticsearch-analysis-ik/releases

create plugin folder cd your-es-root/plugins/ && mkdir ik

unzip plugin to folder your-es-root/plugins/ik

optional 2 - use elasticsearch-plugin to install ( supported from version v5.5.1 ):

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip

2.restart elasticsearch

可以跟着github上的README.md跟着操作试一下,重启ElasticSearch,下载分词器对应自己安装的版本上去。

新建一个index，基本来说中文字段,都要单独设置一下，记得指定内容类型

curl -X PUT 'localhost:9200/accounts' -H 'Content-Type:application/json' -d '
{
  "mappings": {
    "person": {
      "properties": {
        "user": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "title": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "desc": {
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        }
      }
    }
  }
}'

上述代码,新建一个名为accounts的Index，里面有一个名称为person的Type，person有三个字段

• user
• title
• desc
  因为三个字段都是中文所以指定中文分词器,不使用默认的英文分词器

analyzer是字段文本的分词器，search_analyzer是搜索词的分词器，ik_max_word分词器是ik插件提供，可以对文本进行最大数量的分词。

六.数据操作

1.新增记录

向指定的/Index/Type发送PUT(POST)请求,向刚才新建的/accounts/person发送请求，就可以新增一条人员记录,ES 6.x比较之前必须制定Content-Type，详细见地址。

curl -X PUT 'localhost:9200/accounts/person/1' -H 'Content-Type:application/json' -d '
{
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}'

服务器返回的 JSON 对象，会给出 Index、Type、Id、Version 等信息。
请求路径是/accounts/person/1,这个1就是记录的ID,也可以是字符串，如果不传入的话，请指定请求为POST请求，如下

curl -X POST 'localhost:9200/accounts/person' -H 'Content-Type:application/json' -d '
{
  "user": "李四",
  "title": "工程师",
  "desc": "系统管理"
}'

向/accounts/person发出一个 POST 请求，添加一个记录。这时，服务器返回的 JSON 对象里面，_id字段就是一个随机字符串。

注意，如果没有先创建 Index（这个例子是accounts），直接执行上面的命令，Elastic 也不会报错，而是直接生成指定的 Index。所以，打字的时候要小心，不要写错 Index 的名称。

2.查看记录

向/Index/Type/Id发出 GET 请求，就可以查看这条记录

curl 'localhost:9200/accounts/person/1?pretty=true'

上面代码请求查看/accounts/person/1这条记录，URL 的参数pretty=true表示以易读的格式返回。
返回的数据中，found字段表示查询成功，_source字段返回原始记录。

如果ID不正确，found字段为false

3.删除记录

删除记录就是发出 DELETE 请求。

curl -X DELETE 'localhost:9200/accounts/person/1'

我先执行删除，再查询，found为false

接着我在PUT进去，虽然result是created，发现version字段为3，表示通过ID记录

七.数据查询

1.使用 GET 方法，直接请求/Index/Type/_search，就会返回所有记录。

上面代码中，返回结果的 took字段表示该操作的耗时（单位为毫秒），timed_out字段表示是否超时，hits字段表示命中的记录，里面子字段的含义如下。

• total：返回记录数，本例是2条
• max_score：最高的匹配程度，本例是1.0。
• hits：返回的记录组成的数组

返回的记录中，每条记录都有一个_score字段，表示匹配的程序，默认是按照这个字段降序排列。

2.全文搜索

ES使用自己的查询语法，使用GET请求带有数据体

curl 'localhost:9200/accounts/person/_search' -H 'Content-Type:application/json'  -d '
{
  "query" : { "match" : { "desc" : "软件" }}
}'

上面代码使用 Match 查询，指定的匹配条件是desc字段里面包含”软件”这个词。返回结果如下。

Elastic 默认一次返回10条结果，可以通过size字段改变这个设置。

curl 'localhost:9200/accounts/person/_search' -H 'Content-Type:application/json' -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "size": 1
}'

上面代码指定，每次只返回一条结果。

还可以通过from字段，指定位移。

curl 'localhost:9200/accounts/person/_search' -H 'Content-Type:application/json' -d '
{
  "query" : { "match" : { "desc" : "管理" }},
  "from": 1,
  "size": 1
}'

上面代码指定，从位置1开始（默认是从位置0开始），只返回一条结果。

3.逻辑运算

如果有多个搜索关键字， Elastic 认为它们是or关系。

curl 'localhost:9200/accounts/person/_search' -H 'Content-Type:application/json' -d '
{
  "query" : { "match" : { "desc" : "软件 系统" }}
}'

上面代码搜索的是软件 or 系统。

如果要执行多个关键词的and搜索，必须使用布尔 bool查询。

curl 'localhost:9200/accounts/person/_search' -H 'Content-Type:application/json' -d '
{
  "query": {
    "bool": {
      "must": [
        { "match": { "desc": "软件" } },
        { "match": { "desc": "系统" } }
      ]
    }
  }
}'

运行结果如下图