首页>动态>正文
Elasticsearch 日志能否把全部请求打印出来? 天天简讯
2023-01-01 23:42:31    来源:
1、实战问题

请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指导。怎么配置?

——问题来源:https://t.zsxq.com/09vv8rqZj


(资料图片)

2、Elasticsearch 日志必知必会2.1 Elasticsearch 日志用途集群状态监测和故障诊断。2.2 Elasticsearch 日志缺省路径$ES_HOME/logs。如果命令行启动 ES,则日志输出信息也是命令行。2.3 Elasticsearch 日志基于组件Log4j 2https://logging.apache.org/log4j/2.x/2.4 Elasticsearch 日志配置文件log4j2.properties 。和 elasticsearch.yml 文件路径相同。2.5 Elasticsearch 日志配置内容命名规范日志随日期滚动策略(日志大小等条件设置)等。2.6 Elasticsearch 日志级别

由低到高分别为:TRACE -> DEBUG -> INFO -> WARN -> ERROR -> FATAL,如下图所示。

图片来自:spring 官网

这些大家并不陌生,日志级别越低(前提系统设置的话),打印输出的越多;日志级别越高,比如:FATAL,只是特定致命场景才会打印输出,一般遇不到。

2.7 Elasticsearch 默认日志类型调整方式

前提:支持动态更新。

方式一:支持动态更新,无需重启。

PUT/_cluster/settings{"persistent":{"logger.org.elasticsearch.discovery":"DEBUG"}}

方式二:elasticsearch.yml 配置(静态配置方式,重启后生效)。

logger.org.elasticsearch.discovery:DEBUG

方式三:log4j2.properties 配置(静态配置方式,重启后生效)

logger.discovery.name=org.elasticsearch.discoverylogger.discovery.level=debug

3、日志调到最低级别,看能否输出检索DSL?

问题来了?改成最低TRACE级别,日志能输出咱们的日期请求吗?试试看。

那怎么办?如何输出请求日志?此路已然不同,我们只能另寻他路。除了基础日志,我们还有slowlog日志。

4、Elasticsearch slowlog日志必知必会4.1 Elasticsearc slowlog 用途

见名释义,本质是:慢日志,又可以分为:慢检索日志和慢写入日志。

slowlog 用于显示:query 阶段 和 fetch 阶段的日志。

Elasticsearch 查询请求如下图所示。

图片来自 Elastic 官方博客

query阶段的核心步骤:

客户端发送请求到协调节点;协调阶段转发请求到索引的每个主或副本分片;分片本地查询完成后,将结果添加到本地的优先队列;每个分片将本地结果返回给协调节点,协调节点合并完成后,形成全局排序列表。

fetch阶段的核心步骤:

协调节点接收到客户端请求后,将 GET 请求(来自query 阶段形成的全局排序列表结果数据)-转发给相关节点。接收到请求后的节点向协调节点返回结果数据。待全部结果数据都返回后,协调节点将结果返回给客户端。4.2 Elasticsearc slowlog 设置内容含义

如下所示,拿 query 阶段举例(以实测为准):

query 请求耗时超过 500ms,打印 trace 日志。query 请求耗时超过 2s,打印 debug 日志。query 请求耗时超过 5s,打印 info 日志。query 请求耗时超过 10s,打印 warn 日志。

index.search.slowlog.threshold.query.warn:10sindex.search.slowlog.threshold.query.info:5sindex.search.slowlog.threshold.query.debug:2sindex.search.slowlog.threshold.query.trace:500ms

fetch 阶段设置如下,原理同上。

index.search.slowlog.threshold.fetch.warn:1sindex.search.slowlog.threshold.fetch.info:800msindex.search.slowlog.threshold.fetch.debug:500msindex.search.slowlog.threshold.fetch.trace:200ms

index 写入日志设置如下,原理同上。

index.indexing.slowlog.threshold.index.warn:10sindex.indexing.slowlog.threshold.index.info:5sindex.indexing.slowlog.threshold.index.debug:2sindex.indexing.slowlog.threshold.index.trace:500msindex.indexing.slowlog.source:1000

4.3 slowlog 中 source:1000 含义是?

"index.indexing.slowlog.source":"1000"

如下这个问题至少被问到三次,问题大致如下:

slowlog 日志显示不全、被截取了怎么办?

默认:记录slowlog中_source的前1000个字符。设置为 true 含义:记录整个源请求。设置为 false 或 0 含义:不记录源请求。特别说明:原始_source被重新格式化,以确保它适合于单个日志行。4.3 Elasticsearch slowlog 如何设置?

直接更新 setting 就可以,动态参数,支持动态更新。

PUT/my-index-000001/_settings{"index.search.slowlog.threshold.query.warn":"10s","index.search.slowlog.threshold.query.info":"5s","index.search.slowlog.threshold.query.debug":"2s","index.search.slowlog.threshold.query.trace":"500ms","index.search.slowlog.threshold.fetch.warn":"1s","index.search.slowlog.threshold.fetch.info":"800ms","index.search.slowlog.threshold.fetch.debug":"500ms","index.search.slowlog.threshold.fetch.trace":"200ms"}

4.3 基于slowlog 打印请求日志

slowlog 既然可以基于阈值打印输出请求日志,阈值势必可以设置很低,最低设置为0,必然能打印出全部日志了。

试试看?

如下是基于 packets-2022-12-14 进行的 index、fetch、query 的 debug 设置。

PUTpackets-2022-12-14/_settings{"index.indexing.slowlog.threshold.index.debug":"0s","index.search.slowlog.threshold.fetch.debug":"0s","index.search.slowlog.threshold.query.debug":"0s"}

设置完成后,在 kibana 控制台随意加个 query 请求。

日志存储在:elasticsearch_index_search_slowlog.json 文件下,如下图所示。

如下图标红所示,任意的请求 DSL 被打印出来。

开篇问题得以求解完成!

5、小结

Elasticearch 日志协助排查集群故障,慢日志协助排查写入、查询层面的慢写入、慢查询问题。集群规模大,可以独立采集到 Kibana 可视化展示,更为方便和快捷!

你有没有使用 Elasticsearch 日志?欢迎留言讨论。如何使用的?

参考

[1]https://www.elastic.co/guide/en/elasticsearch/reference/current/logging.html

[2]https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-slowlog.html

推荐阅读

全网首发!从 0 到 1 Elasticsearch 8.X 通关视频

重磅 | 死磕 Elasticsearch 8.X 方法论认知清单(2022年国庆更新版)

如何系统的学习 Elasticsearch ?

更短时间更快习得更多干货!

和全球1800+Elastic 爱好者一起精进!

比同事抢先一步学习进阶干货!

关键词: 如下图所示 打印输出

Elasticsearch 日志能否把全部请求打印出来? 天天简讯

1、实战问题请问一下球主,es怎么配置可以把请求日志都打印出来。就是不管是调用借口,还是kibana查询数据,es能打印dsl的请求日志吗??求指2023-01-01

焦点速递!属相相冲一览 2023年12月10日冲什么属什么生肖

我们生肖上面的冲煞关系,指的是生肖的对冲,而所谓的冲,一是指时间上的冲,另一个是指地域上的冲煞关系。对于男女双方生肖相冲的问题还有一2023-01-01

全球最资讯丨法媒:马里判处46名科特迪瓦军人20年监禁

参考消息网12月31日报道据法新社巴马科30日报道,马里检方当天表示,马里一家法院判处46名科特迪瓦军人20年监禁。今年7月(@参考消息)2022-12-31

焦点短讯!大唐集团控股(02117)拟3.96亿元出售天誉巨荣的20%股权

智通财经APP讯,大唐集团控股公布,于2022年12月30日,公司的间接全资附属漳州唐林拟向嘉西商贸出售天誉巨荣的20%股权,总代价为约人民币3 962022-12-30

中山汽车选号官网(附官网入口)_每日讯息

中山汽车选号官网(附官网入口)可以用交管12123或者互联网《交通安全综合服务管理平台》来给新车选号牌。【交管12123】APP互联网《交通安全综2022-12-30

深圳市南山二外(集团)海德学校招聘小学美术教师1名

南山二外(集团)海德学校美术教师招聘一、招聘岗位小学教师一名。工作内容:小学美术相关教学工作聘用时间:2022-2023学年度第二学期二、招聘条2022-12-30

医美行业加速复苏,新氧与经济成长共振展现利好预期 全球视点

“我们将坚持普惠医美之道,让消费者获得物美价廉的医美服务,也让合作伙伴得到更多发展机遇。对于新氧而言,普惠医美既是发展趋势,也是改善2022-12-30

全球动态:全市2022年12月份促固定资产投资调度推进会召开

全市2022年12月份促固定资产投资调度推进会召开何正义主持本报讯(融媒体中心记者王舒琪)12月28日,全市2022年12月份促固定资产投资调度推进2022-12-30

全球观天下!2023年元旦期间乌鲁木齐地铁免票吗

元旦期间乌鲁木齐地铁免票通行!元旦免费时间:2022年12月31日-2023年1月2日3天一、乘车提示1、免费乘车活动期间无需购票2、请按照绿色箭头指引有序进2022-12-29

回眸2022,十组数据看亮点 热消息

2022年,国际环境风高浪急,国内改革发展稳定任务艰巨繁重。对全党全国各族人民来说,这是迎难而上、砥砺前行的一年。星光不负赶路人。回首这2022-12-29

【世界新视野】2023年中山气象天文馆元旦预约攻略

2023年中山气象天文馆元旦预约攻略元旦假期预约指南:每天开放的名额有限,计划元旦假期去天文馆的朋友一定要预约!预约方式:1 进入“中山天2022-12-29

每日观察!*ST运盛(600767.SH):申西杰辞任总经理职务

智通财经APP讯,*ST运盛(600767 SH)公告,公司董事会于2022年12月28日收到公司副董事长兼总经理申西杰的辞职报告,申西杰因个人身体原因辞去公司2022-12-29

每日速看!感恩陪伴 薇笑前行 薇诺娜开启一场走心新年礼

咨询机构贝恩在今年发布的一份报告中判断行业发展重点需要从促销优惠转向消费者忠诚度,也就是俗称的“消费者粘性”。纵观美妆市场,与“消费2022-12-29

聚焦:高情商的女人怎么发朋友圈(优质的女人发朋友圈)

1、没有人能留住岁月的脚步,但我们可以留住美好的记忆。没有人可以永远年轻,但我们可以保持一份童心,老去的是年龄,不老的是心态!2、尽全2022-12-28

南航元旦小长假在海南预计执行航班超460班次 环球热头条

中新网海口12月28日电(熊笑群李红波)南航海南分公司28日介绍,随着“新十条”优化政策全面落地,航空市场需求呈现复苏态势。元旦小长假即将到2022-12-28

东方卫视跨年盛典迎《我们的歌》嘉宾聚首 用昂扬旋律奏响新年乐章

启程新征,共赴美好。《梦圆东方2023东方卫视跨年盛典》将于12月31日19:30开播,今日,盛典官宣第三波嘉宾名单,医务工作者携手劳模代表,以榜2022-12-28

今日生肖冲煞 2023年10月8日生肖冲什么属什么

生肖马和生肖牛是五行相害的,这两种生肖的人是不适合婚配的,自古也有白马怕青牛的说法。两人若是结为夫妻,两个人的生活节奏会有很大偏差,2022-12-28

煮茶叶蛋的水还要用吗 每日看点

关于煮茶叶蛋的水还要用吗的内容,包含煮茶叶蛋的水还要用吗?煮茶叶蛋的水可以反复用吗煮茶叶蛋的水可以连续用吗煮茶叶蛋的水还要用吗?煮茶叶2022-12-28

十月中国市场5G手机出货量跌两成多,换机周期延至43个月_全球微动态

南都湾财社记者获悉,12月26日,中国信通院发布10月国内市场手机出货量数据——2022年10月,国内市场手机出货量2435 6万部,同比下降27 5%,其2022-12-27

世界新资讯:做零食批发!你可以这样搞

兄弟们,这几天一直没有更新内容,主要是因为汤主也了。以前刷抖音都是看别人分享阳了之后的症状。现在终于轮到自己了,不过我的症状比较简单2022-12-27

东星医疗(301290)12月26日主力资金净卖出622.82万元

截至2022年12月26日收盘,东星医疗(301290)报收于38 43元,下跌1 06%,换手率7 66%,成交量1 73万手,成交额6629 0万元。2022-12-27

【机器学习】集成学习代码练习(随机森林、GBDT、XGBoost、LightGBM等)

本文是中国大学慕课《机器学习》的“集成学习”章节的课后代码。课程地址:https: www icourse163 org course WZU-14640962022-12-26

焦点短讯!12月26日瑞可达涨7.32%,景顺进取A基金重仓该股

12月26日瑞可达(688800)涨7 32%创60日新低,收盘报108 7元,换手率1 26%,成交量8964 0手,成交额9624 55万元。该股为新能源车零部件、新能2022-12-26

房企再融资活动正沿着三大逻辑线展开 热议

王丽新“第三支箭”正在发力!自11月28日证监会宣布恢复上市房企再2022-12-26

满易贷逾期30天会给拒款吗_世界最新

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可2022-12-25