本地英文版地址: ../en/docker.html
还可以使用 Docker 镜像安装 Elasticsearch。 镜像以 centos:7 为基础。
所有已发布的 Docker 镜像和 tag 的列表可以在 www.docker.elastic.co 获得。 源文件位于 Github。
此软件包可在 Elastic 许可下免费使用。 它包含开放源码和免费的商业特性,并能访问付费商业特性。 开始为期30天的试用 尝试使用付费的商业特性。 有关 Elastic 许可等级的更多信息,请参考 订阅(Subscriptions) 页面。
获取 Docker 的 Elasticsearch 就像对 Elastic Docker 注册发出 docker pull
命令一样简单。
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.7.1
或者,您可以下载仅包含 Apache 2.0 许可证下可用功能的其他 Docker 映像。 要下载镜像,请访问 www.docker.elastic.co。
要为开发或测试启动一个单节点的 Elasticsearch 集群,请指定 单节点发现 以跳过 引导检查 。
docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.7.1
要在 Docker 中启动并运行一个三个节点的 Elasticsearch 集群,可以使用 Docker Compose:
-
创建
docker-compose.yml
文件:
version: '2.2' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:7.7.1 container_name: es01 environment: - node.name=es01 - cluster.name=es-docker-cluster - discovery.seed_hosts=es02,es03 - cluster.initial_master_nodes=es01,es02,es03 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - data01:/usr/share/elasticsearch/data ports: - 9200:9200 networks: - elastic es02: image: docker.elastic.co/elasticsearch/elasticsearch:7.7.1 container_name: es02 environment: - node.name=es02 - cluster.name=es-docker-cluster - discovery.seed_hosts=es01,es03 - cluster.initial_master_nodes=es01,es02,es03 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - data02:/usr/share/elasticsearch/data networks: - elastic es03: image: docker.elastic.co/elasticsearch/elasticsearch:7.7.1 container_name: es03 environment: - node.name=es03 - cluster.name=es-docker-cluster - discovery.seed_hosts=es01,es02 - cluster.initial_master_nodes=es01,es02,es03 - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 volumes: - data03:/usr/share/elasticsearch/data networks: - elastic volumes: data01: driver: local data02: driver: local data03: driver: local networks: elastic: driver: bridge
这个 Docker Compose 演示文件创建了一个三个节点的 Elasticsearch 集群。
节点 es01
监听 localhost:9200
,es02
和 es03
通过网络与 es01
进行通信。
请注意,这个配置会暴露所有的网络接口上的9200 端口,并给出了 Docker 如何在 Linux 上操作 iptables
,这意味着你的 Elasticsearch 集群是可公开访问的,可能会忽略任何防火墙设置。
如果你不想公开 9200 端口,而是使用反向代理,请在 docker-compose.yml 文件中将9200:9200
替换为127.0.0.1:9200:9200
。
这样只有在 Elasticsearch 的宿主机上才能访问。
Docker命名的卷 data01
、data02
和 data03
存储节点数据目录,以便数据在重启时保持不变。
如果它们尚不存在,docker-compose
会在创建集群时建立之。
-
确保给 Docker 引擎 至少分配了 4 GiB的内存。 在 Docker Desktop 中,你可以在 首选项(Preference, macOS系统) 或 设置(Settings, Windows系统)中的 高级(Advanced) 选项卡上配置资源使用。
Linux上的 Docker Compose 并未随 Docker 预装。 安装向导请参考 docs.docker.com :在 Linux 上安装 Compose
-
运行
docker-compose
来创建集群:docker-compose up
-
发送一个
_cat/nodes
请求去看看节点是否已启动并运行:curl -X GET "localhost:9200/_cat/nodes?v&pretty"
日志消息转到控制台,由配置的 Docker 日志记录驱动程序处理。
默认情况下,你可以使用 docker logs
来获取日志。
要停止集群,执行 docker-compose down
。
当你使用 docker-compose up
重新启动集群时,Docker 卷中的数据将被保留并加载。
要在关闭集群时 删除数据卷 ,请指定 -v
选项: docker-compose down -v
。
以下要求和建议适用于在生产环境的 Docker 中运行 Elasticsearch。
在生产环境中使用时,内核设置 vm.max_map_count
必须至少设置为 262144
。
如何设置 vm.max_map_count
取决于你使用的平台:
-
Linux
vm.max_map_count
应该在/etc/sysctl.conf
中永久设置。grep vm.max_map_count /etc/sysctl.conf vm.max_map_count=262144
要在运行中的系统上应用设置,执行:
sysctl -w vm.max_map_count=262144
-
有Mac版Docker的macOS
vm.max_map_count
必须在 xhyve 虚拟机中设置:-
从命令行执行:
screen ~/Library/Containers/com.docker.docker/Data/vms/0/tty
-
按回车,并使用
sysctl
来配置vm.max_map_count
:sysctl -w vm.max_map_count=262144
-
要退出
screen
会话,输入Ctrl a d
。
-
-
Windows 和 安装了Docker Desktop的macOS
vm.max_map_count
的设置必须使用docker-machine
:docker-machine ssh sudo sysctl -w vm.max_map_count=262144
默认情况下,Elasticsearch 以用户 elasticsearch
在容器内运行,使用的 uid:gid 为1000:0
。
Openshift是一个例外,它使用任意分配的用户ID运行容器。
Openshift呈现 gid 设置为0
的持久卷,无需任何调整即可工作。
如果要 绑定挂载(bind-mounting) 本地目录或文件,用户elasticsearch
必须能够读取该目录或文件。
此外,该用户必须对数据和日志目录有写权限。
一个好的策略是为本地目录授予对 gid 为 0
的组的访问权限。
例如,要准备一个通过 绑定挂载(bind-mount) 的本地目录来存储数据:
mkdir esdatadir chmod g+rwx esdatadir chgrp 0 esdatadir
最后,可以通过环境变量 TAKE_FILE_OWNERSHIP
强制容器改变用于任何 绑定挂载(bind-mount) 的数据和日志目录的所有权。
当你这样做时,它们的所有者是 对 Elasticsearch 进程有读/写访问权限的 uid:gid 1000:0
。
Elasticsearch 容器必须增加 nofile 和 nproc 的 ulimits。 验证 Docker 守护程序的初始化系统(init system)是否将它们设置为可接受的值。
要检查 Docker 守护程序的 ulimits 默认值,运行:
docker run --rm centos:7 /bin/bash -c 'ulimit -Hn && ulimit -Sn && ulimit -Hu && ulimit -Su'
如果需要,在守护程序中调整它们,或者覆盖每个容器中的设置。
例如,当使用docker run
时,设置:
--ulimit nofile=65535:65535
为了性能和节点的稳定性,需要禁用swapping。 关于如何做到这一点,请参考禁用 swapping.
如果你选择使用bootstrap.memory_lock: true
,还需要在Docker Daemon中定义memlock: true
ulimit,或者像compose 示例文件那样显式的设置容器。
当使用docker run
时,可以指定:
-e "bootstrap.memory_lock=true" --ulimit memlock=-1:-1
该镜像暴露(exposes)了 TCP 端口 9200 和 9300。
对于生产环境的集群,建议使用--publish-all
对发布的端口进行随机化,除非为每个主机固定一个容器。
要配置堆内存大小, 可以在/usr/share/elasticsearch/config/jvm.options.d
下 绑定挂载 一个包含所需堆内存大小设置的JVM 选项文件。
请注意,虽然默认的根jvm.options
文件设置了 1 GB 的默认堆大小,但是你在 绑定挂载 的JVM 选项文件中设置的任何值都将覆盖它。
虽然通过 绑定挂载 的 JVM选项 设置堆大小是推荐的方法,但是你也可以通过使用环境变量ES_JAVA_OPTS
来设置堆大小来配置它。
比如,要想设置为 16GB,使用docker run
指定-e ES_JAVA_OPTS="-Xms16g -Xmx16g"
。
请注意,虽然默认的根jvm.options
文件设置了1 GB的默认堆大小,但你在ES_JAVA_OPTS
设置的任何值都将覆盖它。
上面的docker-compose.yml
文件将堆大小设置为 512 MB。
将部署固定到指定版本的Elasticsearch Docker镜像
比如 docker.elastic.co/elasticsearch/elasticsearch:7.7.1
。
由于以下几个原因, 你应该使用一个绑定在/usr/share/elasticsearch/data
上的卷:
- 即使容器被杀掉,你的Elasticsearch节点的数据也不会丢失
- Elasticsearch 对 I/O 敏感,而Docker存储器不能提供快速 I/O
- 它允许使用高级的Docker卷插件
如果你正在使用设备映射存储驱动,请不要使用默认的loop-lvm
模式。
将 docker-engine 配置为使用direct-lvm。
考虑使用不同的日志驱动程序(logging driver)来集中日志。 还要注意的是,默认的 json-file 日志驱动不太适合生产环境使用。
当在Docker中运行时,Elasticsearch的配置文件是从/usr/share/elasticsearch/config/
加载的。
要使用自定义的配置文件,请绑定挂载(bind-mount)文件到镜像中的配置文件。
可以使用 Docker 环境变量设置独立的 Elasticearch 配置参数。 compose示例文件和单节点示例使用的就是这种方法。
要使用一个文件的内容去设置一个环境变量,请将环境拜年了的名称以_FILE
为后缀。
这对于在不直接指定密码的情况下将密码等机密信息传递给 Elasticearch 非常有用。
比如,要从文件设置 Elasticsearch 的启动密码,你可以绑定挂载一个文件并设置环境变量ELASTIC_PASSWORD_FILE
到这个挂载的位置。
如果你挂载密码文件到/run/secrets/password.txt
,请指定:
-e ELASTIC_PASSWORD_FILE=/run/secrets/bootstrapPassword.txt
你还可以重写镜像的默认命令,以命令行选项的形式传递 Elasticsearch 的配置参数。比如:
docker run <various parameters> bin/elasticsearch -Ecluster.name=mynewclustername
虽然绑定挂载配置文件通常是生产环境中首选的方法,但还可以使用包含自定义配置的方式创建自定义的Docker镜像。
创建自定义配置文件,并将它们绑定挂载到Docker映像中的相应文件上。
比如,要使用docker run
挂载绑定custom_elasticsearch.yml
,请指定:
-v full_path_to/custom_elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
容器 以用户elasticsearch
的身份运行 Elasticsearch,使用 uid:gid 1000:0
。
该用户必须能访问绑定挂载的宿主目录和文件,必须可以写入数据和日志目录。
默认情况下,ElasticSearch 将自动为安全设置生成一个密钥存储库文件。
此文件被混淆,但未加密。
如果你想用密码去加密安全设置,必须使用elasticsearch-keystore
程序去创建一个受密码保护的密钥存储库并将其作为/usr/share/elasticsearch/config/elasticsearch.keystore
绑定挂载到容器。
为了在 Docker 容器启动时为其提供密码,请将 Docker 环境值 KEYSTORE_PASSWORD
设置为你的密码。
比如,一个docker run
命令可能有下面的这些选项:
-v full_path_to/elasticsearch.keystore:/usr/share/elasticsearch/config/elasticsearch.keystore -E KEYSTORE_PASSWORD=mypassword
在某些环境中,准备一个包含你自己的配置的自定义映像可能更有意义。
要实现这一点,Dockerfile
可能就像下面这样这么简单:
FROM docker.elastic.co/elasticsearch/elasticsearch:7.7.1 COPY --chown=elasticsearch:elasticsearch elasticsearch.yml /usr/share/elasticsearch/config/
然后你可以构建并运行镜像:
docker build --tag=elasticsearch-custom . docker run -ti -v /usr/share/elasticsearch/data elasticsearch-custom
某些插件需要额外的安全权限。 必须以下面某一种方式显式的接受这些权限要求:
-
运行Docker镜像时附加一个
tty
,并在提示权限时允许之。 -
检查安全权限并接受之(如何合适)
通过将
--batch
标志添加到插件安装命令中,检查安全权限并接受它们(如果适当的话)。
更多信息参考插件管理。
你现在已经设置了一个 Elasticsearch 测试环境。 在开始正式开发或开始使用 Elasticsearch 进行生产之前,你还必须做一些额外的设置:
- 学习如何 配置 Elasticsearch。
- 配置 重要的 Elasticsearch 设置。
- 配置 重要的系统设置。
- Elasticsearch权威指南: 其他版本:
- Elasticsearch是什么?
- 7.7版本的新特性
- 开始使用Elasticsearch
- 安装和设置
- 升级Elasticsearch
- 搜索你的数据
- 查询领域特定语言(Query DSL)
- SQL access(暂时不翻译)
- Overview
- Getting Started with SQL
- Conventions and Terminology
- Security
- SQL REST API
- SQL Translate API
- SQL CLI
- SQL JDBC
- SQL ODBC
- SQL Client Applications
- SQL Language
- Functions and Operators
- Comparison Operators
- Logical Operators
- Math Operators
- Cast Operators
- LIKE and RLIKE Operators
- Aggregate Functions
- Grouping Functions
- Date/Time and Interval Functions and Operators
- Full-Text Search Functions
- Mathematical Functions
- String Functions
- Type Conversion Functions
- Geo Functions
- Conditional Functions And Expressions
- System Functions
- Reserved keywords
- SQL Limitations
- 聚合
- 度量(metric)聚合
- 桶(bucket)聚合
- adjacency_matrix 聚合
- auto_date_histogram 聚合
- children 聚合
- composite 聚合
- date_histogram 聚合
- date_range 聚合
- diversified_sampler 聚合
- filter 聚合
- filters 聚合
- geo_distance 聚合
- geohash_grid 聚合
- geotile_grid 聚合
- global 聚合
- histogram 聚合
- ip_range 聚合
- missing 聚合
- nested 聚合
- parent 聚合
- range 聚合
- rare_terms 聚合
- reverse_nested 聚合
- sampler 聚合
- significant_terms 聚合
- significant_text 聚合
- terms 聚合
- 给范围字段分桶的微妙之处
- 管道(pipeline)聚合
- 矩阵(matrix)聚合
- 重度缓存的聚合
- 只返回聚合的结果
- 聚合元数据
- Returning the type of the aggregation
- 使用转换对聚合结果进行索引
- 脚本
- 映射
- 删除的映射类型
- 字段数据类型
- alias(别名)
- array(数组)
- binary(二进制)
- boolean(布尔)
- date(日期)
- date_nanos(日期纳秒)
- dense_vector(密集矢量)
- histogram(直方图)
- flattened(扁平)
- geo_point(地理坐标点)
- geo_shape(地理形状)
- IP
- join(联结)
- keyword(关键词)
- nested(嵌套)
- numeric(数值)
- object(对象)
- percolator(渗透器)
- range(范围)
- rank_feature(特征排名)
- rank_features(特征排名)
- search_as_you_type(输入即搜索)
- Sparse vector
- Text
- Token count
- Shape
- Constant keyword
- Meta-Fields
- Mapping parameters
- Dynamic Mapping
- Text analysis
- Overview
- Concepts
- Configure text analysis
- Built-in analyzer reference
- Tokenizer reference
- Char Group Tokenizer
- Classic Tokenizer
- Edge n-gram tokenizer
- Keyword Tokenizer
- Letter Tokenizer
- Lowercase Tokenizer
- N-gram tokenizer
- Path Hierarchy Tokenizer
- Path Hierarchy Tokenizer Examples
- Pattern Tokenizer
- Simple Pattern Tokenizer
- Simple Pattern Split Tokenizer
- Standard Tokenizer
- Thai Tokenizer
- UAX URL Email Tokenizer
- Whitespace Tokenizer
- Token filter reference
- Apostrophe
- ASCII folding
- CJK bigram
- CJK width
- Classic
- Common grams
- Conditional
- Decimal digit
- Delimited payload
- Dictionary decompounder
- Edge n-gram
- Elision
- Fingerprint
- Flatten graph
- Hunspell
- Hyphenation decompounder
- Keep types
- Keep words
- Keyword marker
- Keyword repeat
- KStem
- Length
- Limit token count
- Lowercase
- MinHash
- Multiplexer
- N-gram
- Normalization
- Pattern capture
- Pattern replace
- Phonetic
- Porter stem
- Predicate script
- Remove duplicates
- Reverse
- Shingle
- Snowball
- Stemmer
- Stemmer override
- Stop
- Synonym
- Synonym graph
- Trim
- Truncate
- Unique
- Uppercase
- Word delimiter
- Word delimiter graph
- Character filters reference
- Normalizers
- Index modules
- Ingest node
- Pipeline Definition
- Accessing Data in Pipelines
- Conditional Execution in Pipelines
- Handling Failures in Pipelines
- Enrich your data
- Processors
- Append Processor
- Bytes Processor
- Circle Processor
- Convert Processor
- CSV Processor
- Date Processor
- Date Index Name Processor
- Dissect Processor
- Dot Expander Processor
- Drop Processor
- Enrich Processor
- Fail Processor
- Foreach Processor
- GeoIP Processor
- Grok Processor
- Gsub Processor
- HTML Strip Processor
- Inference Processor
- Join Processor
- JSON Processor
- KV Processor
- Lowercase Processor
- Pipeline Processor
- Remove Processor
- Rename Processor
- Script Processor
- Set Processor
- Set Security User Processor
- Split Processor
- Sort Processor
- Trim Processor
- Uppercase Processor
- URL Decode Processor
- User Agent processor
- ILM: Manage the index lifecycle
- Monitor a cluster
- Frozen indices
- Roll up or transform your data
- Set up a cluster for high availability
- Snapshot and restore
- Secure a cluster
- Overview
- Configuring security
- User authentication
- Built-in users
- Internal users
- Token-based authentication services
- Realms
- Realm chains
- Active Directory user authentication
- File-based user authentication
- LDAP user authentication
- Native user authentication
- OpenID Connect authentication
- PKI user authentication
- SAML authentication
- Kerberos authentication
- Integrating with other authentication systems
- Enabling anonymous access
- Controlling the user cache
- Configuring SAML single-sign-on on the Elastic Stack
- Configuring single sign-on to the Elastic Stack using OpenID Connect
- User authorization
- Built-in roles
- Defining roles
- Security privileges
- Document level security
- Field level security
- Granting privileges for indices and aliases
- Mapping users and groups to roles
- Setting up field and document level security
- Submitting requests on behalf of other users
- Configuring authorization delegation
- Customizing roles and authorization
- Enabling audit logging
- Encrypting communications
- Restricting connections with IP filtering
- Cross cluster search, clients, and integrations
- Tutorial: Getting started with security
- Tutorial: Encrypting communications
- Troubleshooting
- Some settings are not returned via the nodes settings API
- Authorization exceptions
- Users command fails due to extra arguments
- Users are frequently locked out of Active Directory
- Certificate verification fails for curl on Mac
- SSLHandshakeException causes connections to fail
- Common SSL/TLS exceptions
- Common Kerberos exceptions
- Common SAML issues
- Internal Server Error in Kibana
- Setup-passwords command fails due to connection failure
- Failures due to relocation of the configuration files
- Limitations
- Alerting on cluster and index events
- Command line tools
- How To
- Glossary of terms
- REST APIs
- API conventions
- cat APIs
- cat aliases
- cat allocation
- cat anomaly detectors
- cat count
- cat data frame analytics
- cat datafeeds
- cat fielddata
- cat health
- cat indices
- cat master
- cat nodeattrs
- cat nodes
- cat pending tasks
- cat plugins
- cat recovery
- cat repositories
- cat shards
- cat segments
- cat snapshots
- cat task management
- cat templates
- cat thread pool
- cat trained model
- cat transforms
- Cluster APIs
- Cluster allocation explain
- Cluster get settings
- Cluster health
- Cluster reroute
- Cluster state
- Cluster stats
- Cluster update settings
- Nodes feature usage
- Nodes hot threads
- Nodes info
- Nodes reload secure settings
- Nodes stats
- Pending cluster tasks
- Remote cluster info
- Task management
- Voting configuration exclusions
- Cross-cluster replication APIs
- Document APIs
- Enrich APIs
- Explore API
- Index APIs
- Add index alias
- Analyze
- Clear cache
- Clone index
- Close index
- Create index
- Delete index
- Delete index alias
- Delete index template
- Flush
- Force merge
- Freeze index
- Get field mapping
- Get index
- Get index alias
- Get index settings
- Get index template
- Get mapping
- Index alias exists
- Index exists
- Index recovery
- Index segments
- Index shard stores
- Index stats
- Index template exists
- Open index
- Put index template
- Put mapping
- Refresh
- Rollover index
- Shrink index
- Split index
- Synced flush
- Type exists
- Unfreeze index
- Update index alias
- Update index settings
- Index lifecycle management API
- Ingest APIs
- Info API
- Licensing APIs
- Machine learning anomaly detection APIs
- Add events to calendar
- Add jobs to calendar
- Close jobs
- Create jobs
- Create calendar
- Create datafeeds
- Create filter
- Delete calendar
- Delete datafeeds
- Delete events from calendar
- Delete filter
- Delete forecast
- Delete jobs
- Delete jobs from calendar
- Delete model snapshots
- Delete expired data
- Estimate model memory
- Find file structure
- Flush jobs
- Forecast jobs
- Get buckets
- Get calendars
- Get categories
- Get datafeeds
- Get datafeed statistics
- Get influencers
- Get jobs
- Get job statistics
- Get machine learning info
- Get model snapshots
- Get overall buckets
- Get scheduled events
- Get filters
- Get records
- Open jobs
- Post data to jobs
- Preview datafeeds
- Revert model snapshots
- Set upgrade mode
- Start datafeeds
- Stop datafeeds
- Update datafeeds
- Update filter
- Update jobs
- Update model snapshots
- Machine learning data frame analytics APIs
- Create data frame analytics jobs
- Create inference trained model
- Delete data frame analytics jobs
- Delete inference trained model
- Evaluate data frame analytics
- Explain data frame analytics API
- Get data frame analytics jobs
- Get data frame analytics jobs stats
- Get inference trained model
- Get inference trained model stats
- Start data frame analytics jobs
- Stop data frame analytics jobs
- Migration APIs
- Reload search analyzers
- Rollup APIs
- Search APIs
- Security APIs
- Authenticate
- Change passwords
- Clear cache
- Clear roles cache
- Create API keys
- Create or update application privileges
- Create or update role mappings
- Create or update roles
- Create or update users
- Delegate PKI authentication
- Delete application privileges
- Delete role mappings
- Delete roles
- Delete users
- Disable users
- Enable users
- Get API key information
- Get application privileges
- Get builtin privileges
- Get role mappings
- Get roles
- Get token
- Get users
- Has privileges
- Invalidate API key
- Invalidate token
- OpenID Connect Prepare Authentication API
- OpenID Connect authenticate API
- OpenID Connect logout API
- SAML prepare authentication API
- SAML authenticate API
- SAML logout API
- SAML invalidate API
- SSL certificate
- Snapshot and restore APIs
- Snapshot lifecycle management API
- Transform APIs
- Usage API
- Watcher APIs
- Definitions
- Breaking changes
- Release notes
- Elasticsearch version 7.7.1
- Elasticsearch version 7.7.0
- Elasticsearch version 7.6.2
- Elasticsearch version 7.6.1
- Elasticsearch version 7.6.0
- Elasticsearch version 7.5.2
- Elasticsearch version 7.5.1
- Elasticsearch version 7.5.0
- Elasticsearch version 7.4.2
- Elasticsearch version 7.4.1
- Elasticsearch version 7.4.0
- Elasticsearch version 7.3.2
- Elasticsearch version 7.3.1
- Elasticsearch version 7.3.0
- Elasticsearch version 7.2.1
- Elasticsearch version 7.2.0
- Elasticsearch version 7.1.1
- Elasticsearch version 7.1.0
- Elasticsearch version 7.0.0
- Elasticsearch version 7.0.0-rc2
- Elasticsearch version 7.0.0-rc1
- Elasticsearch version 7.0.0-beta1
- Elasticsearch version 7.0.0-alpha2
- Elasticsearch version 7.0.0-alpha1