[DB] ElasticSearch

安装

root用户解压，修改配置文件
创建新用户es
修改文件权限：chown -R es:es /kkb/install/elasticsearch-6.7.0/
用es用户启动ElasticSearch和kibana
kibana启动：nohup bin/kibana >/dev/null 2>&1 &

概念

Relational DB：Databases -> Tables -> Rows -> Columns
Elasticsearch：Indices -> Types -> Documents -> Fields
索引（Indices）：对应MySQL中的库
类型（Types）：对应MySQL中的表
文档（Documents）：对应MySQL中的行
字段（Fields）：对应MySQL中的列
映射（mapping）：定义数据类型
分片（shards）：将索引划分为多份，可以存放在任何节点上（每个索引默认5个）
复制（replicas）：分片的拷贝，防止数据丢失（每个索引默认1个）

与DB差异

ES不是关系数据库，不具备ACID特性，乐观锁VS乐观锁
ES是近似实时数据库，不是实时数据库，内部基于refresh机制更新
SQL VS Nosql
任何两个异构数据库同步都会有问题，一致性，实时性

与DB混搭

DB全能（ACID），ES专长（海量查询）
技术需求
- 大数据量查询/关联查询，两个表作join，难以优化
- 弹性扩展能力，大宽表
业务需求
- 业务领域复杂度，水平分库分表
- 业务查询要求，多业务线联合查询

单数据表，单索引

ES作为DB的映射
DB作为数据源
ES为查询引擎

单数据表，多索引

同一DB表成为多个索引的数据

多数据表，单索引

多个DB表
一个索引
大宽表

多数据表，多索引

多DB表映射多索引

多数据源表，多索引

多种数据源
多种索引
Sql/Nosql

同步模式

推Push：数据源主动推送
拉Pull：数据目标主动拉取
推拉结合Push+Pull

应用双写

应用异步双写MQ

推拉结合
早期基于Lucene搜索
自主灵活
耦合高

工具

Logstash
拉Pull
JDBC+CRON
单进程

Apache NiFi

上百节点，一天200TB
将Logstash平台化

SDC

CDC（Change Data Capture）

推Push
基于数据库底层同步机制
Mysql-binlog

自主开发同步程序

多数据源

多数据源数据交换

没有统一解决方案

常用数据库

关系数据库（MySQL）
缓存（Redis）
ES

操作

curl ：在命令行下面访问url的工具，可以简单实现常见的get/post请求。centos默认库里面是有curl工具，如果没有可通过yum安装
- -X 指定http的请求方法有HEAD GET POST PUT DELETE
- -d 指定要传输的数据
- -H 指定http请求头信息　
restful：在kibana中操作
java api

命令

curl

curl -XPUT http://node01:9200/blog01/?pretty
curl -XPUT http://node01:9200/blog01/article/1?pretty -d  '{"id": "1", "title": "What is lucene"}'
curl -XGET http://node01:9200/blog01/article/1?prettycurl -XPUT http://node01:9200/blog01/article/1?pretty -d  '{"id": "1", "title": " What is elasticsearch"}'
curl -XGET "http://node01:9200/blog01/article/_search?q=title:elasticsearch"
curl -XDELETE "http://node01:9200/blog01/article/1?pretty"
curl -XDELETE http://node01:9200/blog01?pretty

增加数据（批量）

POST /school/student/_bulk
{ "index": { "_id": 1 }}
{ "name" : "liubei", "age" : 20 , "sex": "boy", "birth": "1996-01-02" , "about": "i like diaocan he girl" }
{ "index": { "_id": 2 }}
{ "name" : "guanyu", "age" : 21 , "sex": "boy", "birth": "1995-01-02" , "about": "i like diaocan" }

查询（全部）

GET /school/student/_search?pretty
{
    "query": {
        "match_all": {}
    }
}

查询（关键字）

GET /school/student/_search?pretty
{
    "query": {
         "match": {"about": "travel"}
     }
}

mapping定义字段类型

DELETE school
PUT school
{
  "mappings": {
    "logs" : {
      "properties": {"messages" : {"type": "text"}}
    }
  }
}
POST /school/_mapping/logs
{
  "properties": {"number" : {"type": "text"}}
}GET /school/_mapping/logs

管理分片和副本数

DELETE document
PUT document
{
  "mappings": {
    "article" : {
      "properties":
      {
        "title" : {"type": "text"} ,
        "author" : {"type": "text"} ,
        "titleScore" : {"type": "double"}       }
    }
  }
}GET /document/_settings
PUT /document/_settings
{
  "number_of_replicas": 2
}

分片数初始定义后无法修改　　

参考

安装

https://cloud.tencent.com/developer/article/1595027

root用户无法启动

https://www.cnblogs.com/tree1123/p/13152267.html

hive数据存入ES

http://www.bubuko.com/infodetail-3047662.html

elasticsearch-head安装

https://www.chajianmi.com/topic/ffmkiejjmecolpfloofpjologoblkegm#download

https://blog.csdn.net/boss_way/article/details/105826584

基本操作

https://www.cnblogs.com/leohahah/p/10310214.html

分片异常

https://www.cnblogs.com/carryLess/p/9452000.html

kibana

https://blog.csdn.net/baidu_24545901/article/details/79031291

ES与Hive集成

https://blog.csdn.net/tototuzuoquan/article/details/102601040

Spark将Hive数据写入ES（将hive离线计算的结果通过spark任务导入es中以便业务功能快速查询）

https://blog.csdn.net/LXWalaz1s1s/article/details/109264520

SparkStreaming–Kafka–Hive–ES

https://blog.csdn.net/m0_37592814/article/details/105027815?

个人收藏笔记记录

开通VIP