日志设置 | ElasticSearch 7.7 权威指南中文版

原英文版地址: https://www.elastic.co/guide/en/elasticsearch/reference/7.7/logging.html, 原文档版权归 www.elastic.co 所有
本地英文版地址: ../en/logging.html

重要: 此版本不会发布额外的bug修复或文档更新。最新信息请参考当前版本文档。

» » »

« 本地网关设置 Elasticsearch中的机器学习设置 »

日志设置 (logging configuration)

Elasticsearch 使用 Log4j 2 进行日志记录。 Log4j 2 可以使用 log4j2.properties 文件进行配置。 Elasticsearch公开了三个属性，${sys:es.logs.base_path}、${sys:es.logs.cluster_name} 以及 ${sys:es.logs.node_name}，可以在配置文件中引用这些属性来确定日志文件的位置。属性 ${sys:es.logs.base_path} 将解析为日志目录，${sys:es.logs.cluster_name} 将解析为集群名称(在默认配置中用作日志文件名的前缀)，而${sys:es.logs.node_name}将解析为节点名称(如果明确设置了节点名称)。

比如，如果日志目录(path.logs)是/var/log/elasticsearch，集群名称是production，那么${sys:es.logs.base_path}就会解析为/var/log/elasticsearch，${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.log 将解析为/var/log/elasticsearch/production.log。

######## Server JSON ############################
appender.rolling.type = RollingFile 
appender.rolling.name = rolling
appender.rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.json 
appender.rolling.layout.type = ESJsonLayout 
appender.rolling.layout.type_name = server 
appender.rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.json.gz 
appender.rolling.policies.type = Policies
appender.rolling.policies.time.type = TimeBasedTriggeringPolicy 
appender.rolling.policies.time.interval = 1 
appender.rolling.policies.time.modulate = true 
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy 
appender.rolling.policies.size.size = 256MB 
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.fileIndex = nomax
appender.rolling.strategy.action.type = Delete 
appender.rolling.strategy.action.basepath = ${sys:es.logs.base_path}
appender.rolling.strategy.action.condition.type = IfFileName 
appender.rolling.strategy.action.condition.glob = ${sys:es.logs.cluster_name}-* 
appender.rolling.strategy.action.condition.nested_condition.type = IfAccumulatedFileSize 
appender.rolling.strategy.action.condition.nested_condition.exceeds = 2GB 
################################################

	配置 `RollingFile` 附加器
	日志记录到 `/var/log/elasticsearch/production_server.json`
	使用 JSON 布局
	`type_name`是一个标志，用于填充`ESJsonLayout`中的`type`字段。在解析日志时，它可以用来更容易地区分不同类型的日志。
	滚动(roll)日志到 `/var/log/elasticsearch/production-yyyy-MM-dd-i.json`；日志将在每个滚动上被压缩，`i`将递增
	使用一个基于时间的滚动策略
	以天为基础(每天)滚动日志
	在一天的边界上对齐滚动(而不是每24小时滚动一次)
	使用基于大小的滚动策略
	日志达到 256 MB 时滚动
	滚动日志时使用删除操作
	仅删除与文件模式匹配的日志
	模式是只删除主日志
	只有当我们积累了太多的压缩日志时才删除
	压缩日志的大小条件是2 GB

######## Server -  old style pattern ###########
appender.rolling_old.type = RollingFile
appender.rolling_old.name = rolling_old
appender.rolling_old.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.log 
appender.rolling_old.layout.type = PatternLayout
appender.rolling_old.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %m%n
appender.rolling_old.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.old_log.gz

old style模式附加器的配置。这些日志将被保存在 *.log 文件中，如果存档，将被保存在 *.log.gz 文件中。请注意，这些应该被认为是过时的，将来会被删除。

Log4j 的配置解析会被任何无关的空白(whitespace) 混淆；如果你在这个页面上复制和粘贴任何 Log4j 设置，或者输入任何 Log4j 配置，一定要移除(trim)任何前后空白。

注意，你可以在appender.rolling.filePattern中使用.zip取代.gz，以使用 zip 格式压缩滚动的日志。如果你把.gz扩展名移除，则日志在滚动时不会被压缩。

如果要将日志文件保留指定的一段时间，可以使用带有删除操作的滚动策略。

appender.rolling.strategy.type = DefaultRolloverStrategy 
appender.rolling.strategy.action.type = Delete 
appender.rolling.strategy.action.basepath = ${sys:es.logs.base_path} 
appender.rolling.strategy.action.condition.type = IfFileName 
appender.rolling.strategy.action.condition.glob = ${sys:es.logs.cluster_name}-* 
appender.rolling.strategy.action.condition.nested_condition.type = IfLastModified 
appender.rolling.strategy.action.condition.nested_condition.age = 7D

	配置 `DefaultRolloverStrategy`
	配置用于处理滚动的 `Delete` 操作
	Elasticsearch 日志的基本路径
	应用滚动处理时的条件
	从与`${sys:es.logs.cluster_name}-*` 通配符(glob) 匹配的基本路径中删除文件；这是日志文件滚动到的通配符(glob)；这仅需要删除滚动的 Elasticsearch 日志，但不需要删除启用的和慢日志
	应用于与通配符匹配的文件的嵌套条件 (A nested condition to apply to files matching the glob)
	日志保留 7 天

只要将多个配置文件命名为log4j2.properties，就可以加载多个配置文件(在这种情况下它们将被合并)，并将 Elasticsearch 配置目录作为根目录；这对公开附加日志的插件很有用。日志(logger) 部分包含 java 包及相对应的日志级别。附加器(appender) 部分包含日志的目的地。关于如何定制日志记录和所有支持的附加器的详细信息可以在Log4j 文档中找到。

配置日志级别 (configuring logging levels)

有四种配置日志级别的方法，每种方法都有与之相对应的使用场景。

通过命令行： -E <name of logging hierarchy>=<level> (比如， -E logger.org.elasticsearch.discovery=debug). 当你临时调试单个节点上的问题(例如，启动或开发过程中的问题)时，这是最合适的。
通过 elasticsearch.yml: <name of logging hierarchy>: <level> (比如， logger.org.elasticsearch.discovery: debug). 当你临时调试一个问题，但没有通过命令行（例如，通过服务）启动 Elasticsearch 时，或者你希望在更持久的基础上调整日志级别时，这是最合适的。

通过集群设置:

PUT /_cluster/settings
{
  "transient": {
    "<name of logging hierarchy>": "<level>"
  }
}

比如：

PUT /_cluster/settings
{
  "transient": {
    "logger.org.elasticsearch.discovery": "DEBUG"
  }
}

当你需要动态地调整正在运行的集群上的日志级别时，这是最合适的。

通过 log4j2.properties:
```
logger.<unique_identifier>.name = <name of logging hierarchy>
logger.<unique_identifier>.level = <level>
```
比如：
```
logger.discovery.name = org.elasticsearch.discovery
logger.discovery.level = debug
```
当你需要对日志进行细粒度控制时，这是最合适的(例如，你想要将日志发送到另一个文件，或者以不同的方式管理日志；这是一个罕见的用例)。

弃用日志 (deprecation logging)

除了常规日志之外，Elasticsearch 还允许你开启记录弃用的操作(deprecated action) 的日志。例如，这允许你尽早确定将来是否需要迁移某些功能。默认情况下，在 WARN 级别启用弃用日志记录，在该级别会发出所有弃用日志消息。

logger.deprecation.level = warn

这将在日志目录中创建一个每日滚动的弃用日志文件。请定期检查该文件，尤其是当你打算升级到新的主要版本时。

默认的日志记录配置已将弃用日志的滚动策略设置为在 1 GB 后滚动和压缩，并最多保留五个日志文件(四个滚动日志和一个活动的日志)。

你可以在config/log4j2.properties 文件中禁用它，方法是将弃用日志级别设置为error，如下所示:

logger.deprecation.name = org.elasticsearch.deprecation
logger.deprecation.level = error

如果X-Opaque-Id被用作 HTTP 头，你可以确定是什么触发了弃用的功能。用户 ID 包含在弃用 JSON 日志的X-Opaque-ID字段中。

{
  "type": "deprecation",
  "timestamp": "2019-08-30T12:07:07,126+02:00",
  "level": "WARN",
  "component": "o.e.d.r.a.a.i.RestCreateIndexAction",
  "cluster.name": "distribution_run",
  "node.name": "node-0",
  "message": "[types removal] Using include_type_name in create index requests is deprecated. The parameter will be removed in the next major version.",
  "x-opaque-id": "MY_USER_ID",
  "cluster.uuid": "Aq-c-PAeQiK3tfBYtig9Bw",
  "node.id": "D7fUYfnfTLa2D7y-xw6tZg"
}

JSON 日志格式

为了更容易解析 Elasticsearch 日志，日志现在已经以 JSON 格式打印。这是由 Log4J 布局属性appender.rolling.layout.type = ESJsonLayout配置的。此布局要求设置type_name属性，该属性用于在解析时区分日志流。

appender.rolling.layout.type = ESJsonLayout
appender.rolling.layout.type_name = server

每行包含一个 JSON 文档，其属性在 ESJsonLayout 中配置。有关更多详细信息，请参见此类javadoc。然而，如果一个 JSON 文档包含一个异常，它将被打印成多行。第一行将包含常规属性，随后的行将包含格式化为 JSON 数组的栈跟踪信息。

你仍然可以使用自己的自定义布局。为此，请用不同的布局替换appender.rolling.layout.type行。参见下面的示例：

appender.rolling.type = RollingFile
appender.rolling.name = rolling
appender.rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.log
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %.-10000m%n
appender.rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.log.gz

« 本地网关设置 Elasticsearch中的机器学习设置 »