Elasticsearch调优索引速度-最佳实践
Elasticsearch是非常灵活且功能丰富的搜索引擎，提供了开箱即用的美好体验。但是，在实战业务场景中，经常会出现远远低于预期的索引和查询速度。
下面是针对Elasticsearch索引性能进行调优的建议。
一、使用批量请求（bulk requests）
批量请求将产生比单文档索引请求好得多的性能。
为了知道批量请求的最佳大小，尝试在具有单个分片的单个节点上运行基准测试。 首先尝试索引100个文档，然后是200，然后是400，等等。 当索引速度开始稳定时，就达到了数据批量请求的最佳大小。
一般而言，宁可批量索引文档少一些，而不是在太多文档的方向上犯错。 请注意，如果批量请求文档太大，可能会使Elasticsearch集群受到内存压力，因此建议避免每个请求超出几十兆字节，即使较大的请求看起来效果更好。
二、使用多个工作者（workers）或线程向Elasticsearch发送数据
发送批量请求的单个线程不太可能将Elasticsearch集群的索引容量最大化。 为了使用集群的所有资源，可以从多个线程或进程发送数据。 除了更好地利用集群的资源，这应该有助于降低每个fsync的成本。
请注意TOO_MANY_REQUESTS（429）响应代码（JAVA客户端的EsRejectedExecutionException），这是Elasticsearch提示无法跟上当前索引速率的方式。 发生这种情况时，应该再次尝试暂停索引，理想情况下使用随机策略调整索引并发量。
与调整批量请求（bulk request）大小类似，只有测试才能确定最佳的worker数量。 这可以通过逐渐增加工作者数量来测试，直到集群上的I/O或CPU饱和。
三、调大refresh interval参数
为了让索引文档对查询可见，需要执行refresh操作，该操作是有成本的。当正在进行索引时，不断地执行refresh操作，将影响索引速度。
默认的index.refresh_interval是1s，这迫使Elasticsearch每秒创建一个新的分段。 增加这个参数值（比如说30s）将提升索引速度。
PUT INDEX-NAME/_settings
{
"refresh_interval" : "30s"
}
四、初始化数据加载临时禁用refresh和replicas
如果需要一次加载大量数据，则应该将index.refresh_interval设置为-1，并将index.number_of_replicas设置为0，来禁用刷新（refresh）。这会暂时使索引处于危险之中，因为任何分片的丢失都将导致数据丢失，但是同时索引将会更快，因为文档只被索引一次。初始加载完成后，可以将index.refresh_interval和index.number_of_replicas设置回其原始值。
五、禁用swApping交换内存
通过禁止swap交换内存，确保操作系统不会交换出Java进程。
具体禁用swapping的操作，可以参考下面链接：
https://www.elastic.co/guide/en/elasticsearch/reference/7.0/setup-configuration-memory.html
六、提供内存给filesystem cache
文件系统缓存（filesystem cache）将用于缓冲I/O操作。 确保运行Elasticsearch的节点获得至少一半的主机内存，提供给filesystem cache。
七、使用自动生成的id（auto-generated ids）
索引具有显式id的文档时，Elasticsearch需要检查具有相同id的文档是否已经存在于相同的分片中，这是费时的操作，并且随着索引增长而变得更加费时。 通过使用自动生成的ID，Elasticsearch可以跳过这个检查，这使索引更快。
PUT test-index
{
"settings":{
"number_of_shards": 3,
"number_of_replicas": 1
}
}
POST test-index/_doc
{
"sku": "002",
"title": "bbb"
}
GET test-index/_search
八、使用更快的硬件
一般而言，索引是I/O密集的，需要准备如下硬件：
（1）为filesystem cache分配更多的内存；
（2）使用SSD硬盘；
（3）使用local storage（不要使用NFS、SMB 等remote filesystem）
九、索引缓存区（Indexing buffer size）
如果节点只做大量的索引，确保index.memory.index_buffer_size足够大，每个分片最多可以提供512 MB的索引缓冲区。超过这一设置，索引性能通常也不会提升。
Elasticsearch采用该设置（Java堆的百分比，或者绝对字节大小），并将其作为所有活动分片（active shards）的共享缓冲区。非常活跃的分片自然比执行轻量级索引的分片，更多地使用这个缓冲区。
默认设置为 10%，通常是足够的。如我们给JVM 10GM内存，索引缓冲区将为1GB，这足以两个索引很重的分片。
