本地英文版地址: ../en/release-highlights.html
这里特别强调一下 Elasticsearch 7.7 的一些新特性和改进! 关于此发行版的详细信息, 请参阅 发行说明 和 突破性的改变.
其他版本: 7.6 | 7.5 | 7.4 | 7.3 | 7.2 | 7.1 | 7.0
修复收缩索引时索引奔溃的问题
在索引 收缩 (shrunk) 后对其进行删除或更新操作可能会损坏索引。
我们建议使用 Elasticsearch 6.x 的用户在一些索引上选择软删除,并建议 ElasticSearch 7.x 的所有用户尽快升级到7.7,以摆脱此奔溃bug的影响。
如果近期无法升级,我们建议完全停止在读-写索引上使用收缩
,并在收缩只读索引后立即进行强制合并,这将大大降低了在删除或错误应用更新时受此错误影响的可能性。
这个bug在 Elasticsearch 7.7.0 版本中修复了。
更详细的信息参考 相关问题.
大大地减少段使用的堆内存
这个版本的 ElasticSearch 大大地减少了保持 Lucene 段打开所需的堆内存量。 这除了有助于集群的稳定性,还有助于降低成本,因为在内存达到上限前,每个节点可以存储更多的数据。
转换 – 现在在正式版本中了!
在 7.7 中,我们将转换 (transforms)从 beta 版本迁移到正式版本(GA, general availability)。
转换(Transforms) 使您能够使用分组和聚合 将现有的 Elasticsearch 索引转置为目标特性索引,从而为新的洞察和分析提供了机会。 例如,你可以使用转换将数据转置为以实体为中心的索引,这些索引概括了用户或会话或数据中其他实体的行为。
转换(Transforms) 现在已经包含了对跨集群搜索的支持。 允许你在与源索引不同的集群上创建目标特性索引。
聚合支持已在 转换 中扩展,包括对多值(百分位数)和筛选聚合的支持。
在转换中已经扩展了对聚合的支持,包括多值multi-value
(百分比) 和 筛选聚合。
我们也对 日期直方图聚合 (date histogram aggregations) 的性能进行了优化。
引入 多类别分类(multiclass classification)
使用多个类别的 分类 现在可以在数据帧分析中使用。 分类是一种有监督的机器学习技术,在之前的版本中已经作为二进制过程提供。 多类别分类可以很好地处理多达30个不同的类别。
推理时的特征重要性
特征重要性现在可以在推理时计算。 该值提供了对分类或回归作业的结果的进一步了解,因此有助于解释这些结果。
更精细的桶聚合内存控制
当构建桶时,聚合会在继续分配更多桶之前周期性地检查实际内存断路器。
这允许更好地响应内存压力,并避免了OutOfMemory情况,因为分配的桶比节点所能处理的更多。
这允许对内存压力有更好的响应能力,并避免了由于分配了超过节点处理能力的桶而导致的OutOfMemory
情况。
一种新的搜索方式:异步搜索
你现在可以使用 _async_search
API 来执行一个 长时搜索(long-running searches)。
这个新的 API 接受 与 Search API 相同的参数和请求体。
但是,你可以在异步搜索结果可用时从异步搜索中检索结果,而不是阻塞住并在最终响应完全完成时才返回。
该请求有一个参数wait_for_completion
,它控制服务器在返回响应之前将等待多长时间。
除其他外,第一个响应包含一个搜索唯一ID、一个响应版本号、指示该响应是否为部分响应,惯例要返回的元数据(所涉及的碎片、点击次数等)以及潜在的结果。
第一个响应包含搜索唯一ID、响应版本、该响应是否为部分响应的指示,以及通常的元数据(涉及的分片、命中的数量等)和潜在的结果。
如果响应不是完整的和最终的,客户端可以继续轮询结果,使用提供的搜索ID发出一个新请求。
如果有新的结果可用,则返回的版本将增加,并返回新的一批结果。
这可以一直进行到获取所有结果为止。
除非用户提前删除,否则异步搜索将在给定的时间间隔内保持活动状态。
这个时间间隔的默认值为5天,可以由另一个请求参数 keep_alive
控制。
密钥存储库的密码保护
Elasticsearch 为密码和SSL证书等安全设置使用一个自定义的保存在磁盘上的 密钥存储库(keystore)。 到目前为止,这阻止了具有 命令行访问权限 的用户通过 列出(list) 命令来查看安全文件,但是没有任何东西阻止这些用户更改密钥存储库中的值或从密钥存储库中删除值。 此外,这些值只是使用 hash 混淆了; 没有用户特定的秘密保护安全设置。
这个新特性通过向密钥存储库添加密码保护来改变所有这些。 这并不是一个重大的更改:如果密钥存储库没有密码,则不会有任何新的提示。 用户必须选择对其密钥存储库进行密码保护,以便从新的行为中受益。
一个新的聚合: top_metrics
新的 top_metrics
聚合根据给定的不同字段的标准从文档中“选择”一个度量。
该标准是当前最大或最小的“排序(sort)”值。
它在本质上与 top_hits
非常相似,但是因为它更有限,所以 top_metrics
使用的内存更少且通常更快。
基于时间的索引的排序查询的查询加速
我们优化了在基于时间的索引上运行的排序的、只针对顶级文档的查询。 这种优化源于分片中(文档)时间戳的范围不重叠这一事实。 如果可以确定查询不会产生当前分片的任何结果,则通过基于其他分片已有的部分结果重写分片搜索请求来实现; 如果可以确定不会从当前分片中得到任何查询结果,则通过基于其他分片中已经获得的部分结果重写分片搜索请求来实现; 也就是说,我们提前知道,在部分合并后(排序的)结果集的底部记录比当前分片中包含的值更好。
一个新的聚合:boxplot
四分位距(又称四分差。IQR, interquartile range) 是一种常用的统计离散度的稳健测量方法。 与标准差相比,IQR 对数据中的离群值不太敏感,分解点为0.25。 与中值一起,它通常用于创建箱形图,这是一种简单但常见的汇总数据和识别潜在异常值的方法。
这个新的 boxplot
聚合
计算给定数据集的最小、最大、中等以及第一和第三个四分位数。
AArch64 支持
Elasticsearch 现在提供了 AArch64 包,包括捆绑的一个 AArch64 JDK 发行版。 但是有一些限制,即没有机器学习支持,且根据底层页面大小,类数据共享被禁用。
- Elasticsearch权威指南: 其他版本:
- Elasticsearch是什么?
- 7.7版本的新特性
- 开始使用Elasticsearch
- 安装和设置
- 升级Elasticsearch
- 搜索你的数据
- 查询领域特定语言(Query DSL)
- SQL access(暂时不翻译)
- Overview
- Getting Started with SQL
- Conventions and Terminology
- Security
- SQL REST API
- SQL Translate API
- SQL CLI
- SQL JDBC
- SQL ODBC
- SQL Client Applications
- SQL Language
- Functions and Operators
- Comparison Operators
- Logical Operators
- Math Operators
- Cast Operators
- LIKE and RLIKE Operators
- Aggregate Functions
- Grouping Functions
- Date/Time and Interval Functions and Operators
- Full-Text Search Functions
- Mathematical Functions
- String Functions
- Type Conversion Functions
- Geo Functions
- Conditional Functions And Expressions
- System Functions
- Reserved keywords
- SQL Limitations
- 聚合
- 度量(metric)聚合
- 桶(bucket)聚合
- adjacency_matrix 聚合
- auto_date_histogram 聚合
- children 聚合
- composite 聚合
- date_histogram 聚合
- date_range 聚合
- diversified_sampler 聚合
- filter 聚合
- filters 聚合
- geo_distance 聚合
- geohash_grid 聚合
- geotile_grid 聚合
- global 聚合
- histogram 聚合
- ip_range 聚合
- missing 聚合
- nested 聚合
- parent 聚合
- range 聚合
- rare_terms 聚合
- reverse_nested 聚合
- sampler 聚合
- significant_terms 聚合
- significant_text 聚合
- terms 聚合
- 给范围字段分桶的微妙之处
- 管道(pipeline)聚合
- 矩阵(matrix)聚合
- 重度缓存的聚合
- 只返回聚合的结果
- 聚合元数据
- Returning the type of the aggregation
- 使用转换对聚合结果进行索引
- 脚本
- 映射
- 删除的映射类型
- 字段数据类型
- alias(别名)
- array(数组)
- binary(二进制)
- boolean(布尔)
- date(日期)
- date_nanos(日期纳秒)
- dense_vector(密集矢量)
- histogram(直方图)
- flattened(扁平)
- geo_point(地理坐标点)
- geo_shape(地理形状)
- IP
- join(联结)
- keyword(关键词)
- nested(嵌套)
- numeric(数值)
- object(对象)
- percolator(渗透器)
- range(范围)
- rank_feature(特征排名)
- rank_features(特征排名)
- search_as_you_type(输入即搜索)
- Sparse vector
- Text
- Token count
- Shape
- Constant keyword
- Meta-Fields
- Mapping parameters
- Dynamic Mapping
- Text analysis
- Overview
- Concepts
- Configure text analysis
- Built-in analyzer reference
- Tokenizer reference
- Char Group Tokenizer
- Classic Tokenizer
- Edge n-gram tokenizer
- Keyword Tokenizer
- Letter Tokenizer
- Lowercase Tokenizer
- N-gram tokenizer
- Path Hierarchy Tokenizer
- Path Hierarchy Tokenizer Examples
- Pattern Tokenizer
- Simple Pattern Tokenizer
- Simple Pattern Split Tokenizer
- Standard Tokenizer
- Thai Tokenizer
- UAX URL Email Tokenizer
- Whitespace Tokenizer
- Token filter reference
- Apostrophe
- ASCII folding
- CJK bigram
- CJK width
- Classic
- Common grams
- Conditional
- Decimal digit
- Delimited payload
- Dictionary decompounder
- Edge n-gram
- Elision
- Fingerprint
- Flatten graph
- Hunspell
- Hyphenation decompounder
- Keep types
- Keep words
- Keyword marker
- Keyword repeat
- KStem
- Length
- Limit token count
- Lowercase
- MinHash
- Multiplexer
- N-gram
- Normalization
- Pattern capture
- Pattern replace
- Phonetic
- Porter stem
- Predicate script
- Remove duplicates
- Reverse
- Shingle
- Snowball
- Stemmer
- Stemmer override
- Stop
- Synonym
- Synonym graph
- Trim
- Truncate
- Unique
- Uppercase
- Word delimiter
- Word delimiter graph
- Character filters reference
- Normalizers
- Index modules
- Ingest node
- Pipeline Definition
- Accessing Data in Pipelines
- Conditional Execution in Pipelines
- Handling Failures in Pipelines
- Enrich your data
- Processors
- Append Processor
- Bytes Processor
- Circle Processor
- Convert Processor
- CSV Processor
- Date Processor
- Date Index Name Processor
- Dissect Processor
- Dot Expander Processor
- Drop Processor
- Enrich Processor
- Fail Processor
- Foreach Processor
- GeoIP Processor
- Grok Processor
- Gsub Processor
- HTML Strip Processor
- Inference Processor
- Join Processor
- JSON Processor
- KV Processor
- Lowercase Processor
- Pipeline Processor
- Remove Processor
- Rename Processor
- Script Processor
- Set Processor
- Set Security User Processor
- Split Processor
- Sort Processor
- Trim Processor
- Uppercase Processor
- URL Decode Processor
- User Agent processor
- ILM: Manage the index lifecycle
- Monitor a cluster
- Frozen indices
- Roll up or transform your data
- Set up a cluster for high availability
- Snapshot and restore
- Secure a cluster
- Overview
- Configuring security
- User authentication
- Built-in users
- Internal users
- Token-based authentication services
- Realms
- Realm chains
- Active Directory user authentication
- File-based user authentication
- LDAP user authentication
- Native user authentication
- OpenID Connect authentication
- PKI user authentication
- SAML authentication
- Kerberos authentication
- Integrating with other authentication systems
- Enabling anonymous access
- Controlling the user cache
- Configuring SAML single-sign-on on the Elastic Stack
- Configuring single sign-on to the Elastic Stack using OpenID Connect
- User authorization
- Built-in roles
- Defining roles
- Security privileges
- Document level security
- Field level security
- Granting privileges for indices and aliases
- Mapping users and groups to roles
- Setting up field and document level security
- Submitting requests on behalf of other users
- Configuring authorization delegation
- Customizing roles and authorization
- Enabling audit logging
- Encrypting communications
- Restricting connections with IP filtering
- Cross cluster search, clients, and integrations
- Tutorial: Getting started with security
- Tutorial: Encrypting communications
- Troubleshooting
- Some settings are not returned via the nodes settings API
- Authorization exceptions
- Users command fails due to extra arguments
- Users are frequently locked out of Active Directory
- Certificate verification fails for curl on Mac
- SSLHandshakeException causes connections to fail
- Common SSL/TLS exceptions
- Common Kerberos exceptions
- Common SAML issues
- Internal Server Error in Kibana
- Setup-passwords command fails due to connection failure
- Failures due to relocation of the configuration files
- Limitations
- Alerting on cluster and index events
- Command line tools
- How To
- Glossary of terms
- REST APIs
- API conventions
- cat APIs
- cat aliases
- cat allocation
- cat anomaly detectors
- cat count
- cat data frame analytics
- cat datafeeds
- cat fielddata
- cat health
- cat indices
- cat master
- cat nodeattrs
- cat nodes
- cat pending tasks
- cat plugins
- cat recovery
- cat repositories
- cat shards
- cat segments
- cat snapshots
- cat task management
- cat templates
- cat thread pool
- cat trained model
- cat transforms
- Cluster APIs
- Cluster allocation explain
- Cluster get settings
- Cluster health
- Cluster reroute
- Cluster state
- Cluster stats
- Cluster update settings
- Nodes feature usage
- Nodes hot threads
- Nodes info
- Nodes reload secure settings
- Nodes stats
- Pending cluster tasks
- Remote cluster info
- Task management
- Voting configuration exclusions
- Cross-cluster replication APIs
- Document APIs
- Enrich APIs
- Explore API
- Index APIs
- Add index alias
- Analyze
- Clear cache
- Clone index
- Close index
- Create index
- Delete index
- Delete index alias
- Delete index template
- Flush
- Force merge
- Freeze index
- Get field mapping
- Get index
- Get index alias
- Get index settings
- Get index template
- Get mapping
- Index alias exists
- Index exists
- Index recovery
- Index segments
- Index shard stores
- Index stats
- Index template exists
- Open index
- Put index template
- Put mapping
- Refresh
- Rollover index
- Shrink index
- Split index
- Synced flush
- Type exists
- Unfreeze index
- Update index alias
- Update index settings
- Index lifecycle management API
- Ingest APIs
- Info API
- Licensing APIs
- Machine learning anomaly detection APIs
- Add events to calendar
- Add jobs to calendar
- Close jobs
- Create jobs
- Create calendar
- Create datafeeds
- Create filter
- Delete calendar
- Delete datafeeds
- Delete events from calendar
- Delete filter
- Delete forecast
- Delete jobs
- Delete jobs from calendar
- Delete model snapshots
- Delete expired data
- Estimate model memory
- Find file structure
- Flush jobs
- Forecast jobs
- Get buckets
- Get calendars
- Get categories
- Get datafeeds
- Get datafeed statistics
- Get influencers
- Get jobs
- Get job statistics
- Get machine learning info
- Get model snapshots
- Get overall buckets
- Get scheduled events
- Get filters
- Get records
- Open jobs
- Post data to jobs
- Preview datafeeds
- Revert model snapshots
- Set upgrade mode
- Start datafeeds
- Stop datafeeds
- Update datafeeds
- Update filter
- Update jobs
- Update model snapshots
- Machine learning data frame analytics APIs
- Create data frame analytics jobs
- Create inference trained model
- Delete data frame analytics jobs
- Delete inference trained model
- Evaluate data frame analytics
- Explain data frame analytics API
- Get data frame analytics jobs
- Get data frame analytics jobs stats
- Get inference trained model
- Get inference trained model stats
- Start data frame analytics jobs
- Stop data frame analytics jobs
- Migration APIs
- Reload search analyzers
- Rollup APIs
- Search APIs
- Security APIs
- Authenticate
- Change passwords
- Clear cache
- Clear roles cache
- Create API keys
- Create or update application privileges
- Create or update role mappings
- Create or update roles
- Create or update users
- Delegate PKI authentication
- Delete application privileges
- Delete role mappings
- Delete roles
- Delete users
- Disable users
- Enable users
- Get API key information
- Get application privileges
- Get builtin privileges
- Get role mappings
- Get roles
- Get token
- Get users
- Has privileges
- Invalidate API key
- Invalidate token
- OpenID Connect Prepare Authentication API
- OpenID Connect authenticate API
- OpenID Connect logout API
- SAML prepare authentication API
- SAML authenticate API
- SAML logout API
- SAML invalidate API
- SSL certificate
- Snapshot and restore APIs
- Snapshot lifecycle management API
- Transform APIs
- Usage API
- Watcher APIs
- Definitions
- Breaking changes
- Release notes
- Elasticsearch version 7.7.1
- Elasticsearch version 7.7.0
- Elasticsearch version 7.6.2
- Elasticsearch version 7.6.1
- Elasticsearch version 7.6.0
- Elasticsearch version 7.5.2
- Elasticsearch version 7.5.1
- Elasticsearch version 7.5.0
- Elasticsearch version 7.4.2
- Elasticsearch version 7.4.1
- Elasticsearch version 7.4.0
- Elasticsearch version 7.3.2
- Elasticsearch version 7.3.1
- Elasticsearch version 7.3.0
- Elasticsearch version 7.2.1
- Elasticsearch version 7.2.0
- Elasticsearch version 7.1.1
- Elasticsearch version 7.1.0
- Elasticsearch version 7.0.0
- Elasticsearch version 7.0.0-rc2
- Elasticsearch version 7.0.0-rc1
- Elasticsearch version 7.0.0-beta1
- Elasticsearch version 7.0.0-alpha2
- Elasticsearch version 7.0.0-alpha1