原英文版地址: https://www.elastic.co/guide/en/elasticsearch/reference/7.7/docker.html, 原文档版权归 www.elastic.co 所有
本地英文版地址: ../en/docker.html

用Docker安装 Elasticsearch

还可以使用 Docker 镜像安装 Elasticsearch。 镜像以 centos:7 为基础。

所有已发布的 Docker 镜像和 tag 的列表可以在 www.docker.elastic.co 获得。 源文件位于 Github

此软件包可在 Elastic 许可下免费使用。 它包含开放源码和免费的商业特性,并能访问付费商业特性。 开始为期30天的试用 尝试使用付费的商业特性。 有关 Elastic 许可等级的更多信息,请参考 订阅(Subscriptions) 页面。

拉取镜像

获取 Docker 的 Elasticsearch 就像对 Elastic Docker 注册发出 docker pull 命令一样简单。

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.7.1

或者,您可以下载仅包含 Apache 2.0 许可证下可用功能的其他 Docker 映像。 要下载镜像,请访问 www.docker.elastic.co

用 Docker 启动一个单节点集群

要为开发或测试启动一个单节点的 Elasticsearch 集群,请指定 单节点发现 以跳过 引导检查

docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.7.1

使用 Docker Compose 启动一个多节点集群

要在 Docker 中启动并运行一个三个节点的 Elasticsearch 集群,可以使用 Docker Compose:

  1. 创建 docker-compose.yml 文件:
version: '2.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.7.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.7.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data02:/usr/share/elasticsearch/data
    networks:
      - elastic
  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.7.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

这个 Docker Compose 演示文件创建了一个三个节点的 Elasticsearch 集群。 节点 es01 监听 localhost:9200es02es03 通过网络与 es01 进行通信。

请注意,这个配置会暴露所有的网络接口上的9200 端口,并给出了 Docker 如何在 Linux 上操作 iptables ,这意味着你的 Elasticsearch 集群是可公开访问的,可能会忽略任何防火墙设置。 如果你不想公开 9200 端口,而是使用反向代理,请在 docker-compose.yml 文件中将9200:9200替换为127.0.0.1:9200:9200。 这样只有在 Elasticsearch 的宿主机上才能访问。

Docker命名的卷 data01data02data03 存储节点数据目录,以便数据在重启时保持不变。 如果它们尚不存在,docker-compose 会在创建集群时建立之。

  1. 确保给 Docker 引擎 至少分配了 4 GiB的内存。 在 Docker Desktop 中,你可以在 首选项(Preference, macOS系统) 或 设置(Settings, Windows系统)中的 高级(Advanced) 选项卡上配置资源使用。

    Linux上的 Docker Compose 并未随 Docker 预装。 安装向导请参考 docs.docker.com :在 Linux 上安装 Compose

  2. 运行 docker-compose 来创建集群:

    docker-compose up
  3. 发送一个 _cat/nodes 请求去看看节点是否已启动并运行:

    curl -X GET "localhost:9200/_cat/nodes?v&pretty"

日志消息转到控制台,由配置的 Docker 日志记录驱动程序处理。 默认情况下,你可以使用 docker logs来获取日志。

要停止集群,执行 docker-compose down。 当你使用 docker-compose up重新启动集群时,Docker 卷中的数据将被保留并加载。 要在关闭集群时 删除数据卷 ,请指定 -v 选项: docker-compose down -v

在生产环境中使用 Docker 镜像

以下要求和建议适用于在生产环境的 Docker 中运行 Elasticsearch。

vm.max_map_count 至少设置为 262144

在生产环境中使用时,内核设置 vm.max_map_count 必须至少设置为 262144

如何设置 vm.max_map_count 取决于你使用的平台:

  • Linux

    vm.max_map_count 应该在 /etc/sysctl.conf 中永久设置。

    grep vm.max_map_count /etc/sysctl.conf
    vm.max_map_count=262144

    要在运行中的系统上应用设置,执行:

    sysctl -w vm.max_map_count=262144
  • Mac版Docker的macOS

    vm.max_map_count必须在 xhyve 虚拟机中设置:

    1. 从命令行执行:

      screen ~/Library/Containers/com.docker.docker/Data/vms/0/tty
    2. 按回车,并使用sysctl来配置vm.max_map_count

      sysctl -w vm.max_map_count=262144
    3. 要退出screen会话,输入Ctrl a d
  • Windows 和 安装了Docker Desktop的macOS

    vm.max_map_count的设置必须使用docker-machine:

    docker-machine ssh
    sudo sysctl -w vm.max_map_count=262144

配置文件必须对用户elasticsearch可读

默认情况下,Elasticsearch 以用户 elasticsearch在容器内运行,使用的 uid:gid 为1000:0

Openshift是一个例外,它使用任意分配的用户ID运行容器。 Openshift呈现 gid 设置为0的持久卷,无需任何调整即可工作。

如果要 绑定挂载(bind-mounting) 本地目录或文件,用户elasticsearch必须能够读取该目录或文件。 此外,该用户必须对数据和日志目录有写权限。 一个好的策略是为本地目录授予对 gid 为 0 的组的访问权限。

例如,要准备一个通过 绑定挂载(bind-mount) 的本地目录来存储数据:

mkdir esdatadir
chmod g+rwx esdatadir
chgrp 0 esdatadir

最后,可以通过环境变量 TAKE_FILE_OWNERSHIP 强制容器改变用于任何 绑定挂载(bind-mount) 的数据和日志目录的所有权。 当你这样做时,它们的所有者是 对 Elasticsearch 进程有读/写访问权限的 uid:gid 1000:0

给 nofile 和 nproc 增加 ulimits

Elasticsearch 容器必须增加 nofilenproc 的 ulimits。 验证 Docker 守护程序的初始化系统(init system)是否将它们设置为可接受的值。

要检查 Docker 守护程序的 ulimits 默认值,运行:

docker run --rm centos:7 /bin/bash -c 'ulimit -Hn && ulimit -Sn && ulimit -Hu && ulimit -Su'

如果需要,在守护程序中调整它们,或者覆盖每个容器中的设置。 例如,当使用docker run时,设置:

--ulimit nofile=65535:65535

禁用 swapping

为了性能和节点的稳定性,需要禁用swapping。 关于如何做到这一点,请参考禁用 swapping.

如果你选择使用bootstrap.memory_lock: true,还需要在Docker Daemon中定义memlock: true ulimit,或者像compose 示例文件那样显式的设置容器。 当使用docker run时,可以指定:

-e "bootstrap.memory_lock=true" --ulimit memlock=-1:-1

随机化发布的端口 (Randomize published ports)

该镜像暴露(exposes)了 TCP 端口 9200 和 9300。 对于生产环境的集群,建议使用--publish-all对发布的端口进行随机化,除非为每个主机固定一个容器。

设置堆内存大小(heap size)

要配置堆内存大小, 可以在/usr/share/elasticsearch/config/jvm.options.d下 绑定挂载 一个包含所需堆内存大小设置的JVM 选项文件。 请注意,虽然默认的根jvm.options文件设置了 1 GB 的默认堆大小,但是你在 绑定挂载 的JVM 选项文件中设置的任何值都将覆盖它。

虽然通过 绑定挂载 的 JVM选项 设置堆大小是推荐的方法,但是你也可以通过使用环境变量ES_JAVA_OPTS来设置堆大小来配置它。 比如,要想设置为 16GB,使用docker run指定-e ES_JAVA_OPTS="-Xms16g -Xmx16g"。 请注意,虽然默认的根jvm.options文件设置了1 GB的默认堆大小,但你在ES_JAVA_OPTS设置的任何值都将覆盖它。 上面的docker-compose.yml文件将堆大小设置为 512 MB。

即使你限制容器的内存使用,你也必须设置堆大小

将部署固定到指定版本的镜像

将部署固定到指定版本的Elasticsearch Docker镜像 比如 docker.elastic.co/elasticsearch/elasticsearch:7.7.1

总是绑定数据卷 (Always bind data volumes)

由于以下几个原因, 你应该使用一个绑定在/usr/share/elasticsearch/data上的卷:

  1. 即使容器被杀掉,你的Elasticsearch节点的数据也不会丢失
  2. Elasticsearch 对 I/O 敏感,而Docker存储器不能提供快速 I/O
  3. 它允许使用高级的Docker卷插件

避免使用 loop-lvm 模式

如果你正在使用设备映射存储驱动,请不要使用默认的loop-lvm模式。 将 docker-engine 配置为使用direct-lvm

日志中心化

考虑使用不同的日志驱动程序(logging driver)来集中日志。 还要注意的是,默认的 json-file 日志驱动不太适合生产环境使用。

使用 Docker 配置 Elasticsearch

当在Docker中运行时,Elasticsearch的配置文件是从/usr/share/elasticsearch/config/加载的。

要使用自定义的配置文件,请绑定挂载(bind-mount)文件到镜像中的配置文件。

可以使用 Docker 环境变量设置独立的 Elasticearch 配置参数。 compose示例文件单节点示例使用的就是这种方法。

要使用一个文件的内容去设置一个环境变量,请将环境拜年了的名称以_FILE为后缀。 这对于在不直接指定密码的情况下将密码等机密信息传递给 Elasticearch 非常有用。

比如,要从文件设置 Elasticsearch 的启动密码,你可以绑定挂载一个文件并设置环境变量ELASTIC_PASSWORD_FILE到这个挂载的位置。 如果你挂载密码文件到/run/secrets/password.txt,请指定:

-e ELASTIC_PASSWORD_FILE=/run/secrets/bootstrapPassword.txt

你还可以重写镜像的默认命令,以命令行选项的形式传递 Elasticsearch 的配置参数。比如:

docker run <various parameters> bin/elasticsearch -Ecluster.name=mynewclustername

虽然绑定挂载配置文件通常是生产环境中首选的方法,但还可以使用包含自定义配置的方式创建自定义的Docker镜像

挂载 Elasticsearch 配置文件

创建自定义配置文件,并将它们绑定挂载到Docker映像中的相应文件上。 比如,要使用docker run挂载绑定custom_elasticsearch.yml,请指定:

-v full_path_to/custom_elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml

容器 以用户elasticsearch的身份运行 Elasticsearch,使用 uid:gid 1000:0 。 该用户必须能访问绑定挂载的宿主目录和文件,必须可以写入数据和日志目录。

Mounting an Elasticsearch keystore

默认情况下,ElasticSearch 将自动为安全设置生成一个密钥存储库文件。 此文件被混淆,但未加密。 如果你想用密码去加密安全设置,必须使用elasticsearch-keystore程序去创建一个受密码保护的密钥存储库并将其作为/usr/share/elasticsearch/config/elasticsearch.keystore绑定挂载到容器。 为了在 Docker 容器启动时为其提供密码,请将 Docker 环境值 KEYSTORE_PASSWORD 设置为你的密码。 比如,一个docker run命令可能有下面的这些选项:

-v full_path_to/elasticsearch.keystore:/usr/share/elasticsearch/config/elasticsearch.keystore
-E KEYSTORE_PASSWORD=mypassword

使用自定义的 Docker 镜像

在某些环境中,准备一个包含你自己的配置的自定义映像可能更有意义。 要实现这一点,Dockerfile 可能就像下面这样这么简单:

FROM docker.elastic.co/elasticsearch/elasticsearch:7.7.1
COPY --chown=elasticsearch:elasticsearch elasticsearch.yml /usr/share/elasticsearch/config/

然后你可以构建并运行镜像:

docker build --tag=elasticsearch-custom .
docker run -ti -v /usr/share/elasticsearch/data elasticsearch-custom

某些插件需要额外的安全权限。 必须以下面某一种方式显式的接受这些权限要求:

  • 运行Docker镜像时附加一个tty,并在提示权限时允许之。
  • 检查安全权限并接受之(如何合适) 通过将--batch标志添加到插件安装命令中,检查安全权限并接受它们(如果适当的话)。

更多信息参考插件管理

下一步

你现在已经设置了一个 Elasticsearch 测试环境。 在开始正式开发或开始使用 Elasticsearch 进行生产之前,你还必须做一些额外的设置: