詳解Apache SkyWalking 告警配置指南
Apache SkyWalking
Apache SkyWalking是分布式系統(tǒng)的應(yīng)用程序性能監(jiān)視工具(Application Performance Management,APM),專為微服務(wù)、云原生架構(gòu)和基于容器(Docker、K8s、Mesos)架構(gòu)而設(shè)計。
它提供了分布式追蹤、服務(wù)網(wǎng)格遙測分析、度量聚合和可視化一體化解決方案。
Apache SkyWalking告警
Apache SkyWalking告警是由一組規(guī)則驅(qū)動,這些規(guī)則定義在config/alarm-settings.yml
文件中。
告警規(guī)則的定義分為三部分。
- 告警規(guī)則:定義了觸發(fā)告警所考慮的條件。
- webhook:當告警觸發(fā)時,被調(diào)用的服務(wù)端點列表。
- gRPCHook:當告警觸發(fā)時,被調(diào)用的遠程gRPC方法的主機和端口。
- Slack Chat Hook:當告警觸發(fā)時,被調(diào)用的Slack Chat接口。
- 微信 Hook:當告警觸發(fā)時,被調(diào)用的微信接口。
- 釘釘 Hook:當告警觸發(fā)時,被調(diào)用的釘釘接口。
告警規(guī)則
告警規(guī)則有兩種類型,單獨規(guī)則(Individual Rules)和復(fù)合規(guī)則(Composite Rules),復(fù)合規(guī)則是單獨規(guī)則的組合。
單獨規(guī)則(Individual Rules)
單獨規(guī)則主要有以下幾點:
- 規(guī)則名稱:在告警信息中顯示的唯一名稱,必須以_rule結(jié)尾。
- metrics-name:度量名稱,也是OAL腳本中的度量名。默認配置中可以用于告警的度量有:服務(wù),實例,端點,服務(wù)關(guān)系,實例關(guān)系,端點關(guān)系。它只支持long,double和int類型。
- include-names:包含在此規(guī)則之內(nèi)的實體名稱列表。
- exclude-names:排除在此規(guī)則以外的實體名稱列表。
- include-names-regex:提供一個正則表達式來包含實體名稱。如果同時設(shè)置包含名稱列表和包含名稱的正則表達式,則兩個規(guī)則都將生效。
- exclude-names-regex:提供一個正則表達式來排除實體名稱。如果同時設(shè)置排除名稱列表和排除名稱的正則表達式,則兩個規(guī)則都將生效。
- include-labels:包含在此規(guī)則之內(nèi)的標簽。
- exclude-labels:排除在此規(guī)則以外的標簽。
- include-labels-regex:提供一個正則表達式來包含標簽。如果同時設(shè)置包含標簽列表和包含標簽的正則表達式,則兩個規(guī)則都將生效。
- exclude-labels-regex:提供一個正則表達式來排除標簽。如果同時設(shè)置排除標簽列表和排除標簽的正則表達式,則兩個規(guī)則都將生效。
標簽的設(shè)置必須把數(shù)據(jù)存儲在meter-system中,例如:Prometheus, Micrometer。以上四個標簽設(shè)置必須實現(xiàn)LabeledValueHolder
接口。
- threshold:閾值。
對于多個值指標,例如percentile,閾值是一個數(shù)組。像value1
value2
value3
value4
value5
這樣描述。
每個值可以作為度量中每個值的閾值。如果不想通過此值或某些值觸發(fā)警報,則將值設(shè)置為 -
。
例如在percentile中,value1
是P50的閾值,value2
是P75的閾值,那么-,-,value3, value4, value5
的意思是,沒有閾值的P50和P75的percentile告警規(guī)則。
- op:操作符,支持
>
,>=
,<
,<=
,=
。 - period:多久告警規(guī)則需要被檢查一下。這是一個時間窗口,與后端部署環(huán)境時間相匹配。
- count:在一個周期窗口中,如果按op計算超過閾值的次數(shù)達到count,則發(fā)送告警。
- only-as-condition:
true
或者false
,指定規(guī)則是否可以發(fā)送告警,或者僅作為復(fù)合規(guī)則的條件。 - silence-period:在時間N中觸發(fā)報警后,在N -> N + silence-period這段時間內(nèi)不告警。 默認情況下,它和period一樣,這意味著相同的告警(同一個度量名稱擁有相同的Id)在同一個周期內(nèi)只會觸發(fā)一次。
- message:該規(guī)則觸發(fā)時,發(fā)送的通知消息。
舉個例子:
rules: service_resp_time_rule: metrics-name: service_resp_time op: ">" threshold: 1000 period: 10 count: 2 silence-period: 10 message: 服務(wù)【{name}】的平均響應(yīng)時間在最近10分鐘內(nèi)有2分鐘超過1秒 service_instance_resp_time_rule: metrics-name: service_instance_resp_time op: ">" threshold: 1000 period: 10 count: 2 silence-period: 10 message: 實例【{name}】的平均響應(yīng)時間在最近10分鐘內(nèi)有2分鐘超過1秒 endpoint_resp_time_rule: metrics-name: endpoint_avg threshold: 1000 op: ">" period: 10 count: 2 message: 端點【{name}】的平均響應(yīng)時間在最近10分鐘內(nèi)有2分鐘超過1秒
文章持續(xù)更新,微信搜索「萬貓學(xué)社」第一時間閱讀,關(guān)注后回復(fù)「電子書」,免費獲取12本Java必讀技術(shù)書籍。
復(fù)合規(guī)則(Composite Rules)
復(fù)合規(guī)則僅適用于針對相同實體級別的告警規(guī)則,例如都是服務(wù)級別的告警規(guī)則:service_percent_rule && service_resp_time_percentile_rule
。
不可以編寫不同實體級別的告警規(guī)則,例如服務(wù)級別的一個告警規(guī)則和端點級別的一個規(guī)則:service_percent_rule && endpoint_percent_rule
。
復(fù)合規(guī)則主要有以下幾點:
- 規(guī)則名稱:在告警信息中顯示的唯一名稱,必須以
_rule
結(jié)尾。 - expression:指定如何組成規(guī)則,支持
&&
,||
,()
操作符。 - message:該規(guī)則觸發(fā)時,發(fā)送的通知消息。
舉個例子:
rules: service_resp_time_rule: metrics-name: service_resp_time op: ">" threshold: 1000 period: 10 count: 2 silence-period: 10 message: 服務(wù)【{name}】的平均響應(yīng)時間在最近10分鐘內(nèi)有2分鐘超過1秒 service_sla_rule: metrics-name: service_sla op: "<" threshold: 8000 period: 10 count: 2 silence-period: 10 message: 服務(wù)【{name}】的成功率在最近10分鐘內(nèi)有2分鐘低于80% composite-rules: comp_rule: expression: service_resp_time_rule && service_sla_rule message: 服務(wù)【{name}】在最近10分鐘內(nèi)有2分鐘超過1秒平均響應(yīng)時間超過1秒并且成功率低于80%
Webhook
Webhook 要求一個點對點的 Web 容器。告警的消息會通過 HTTP 請求進行發(fā)送,請求方法為 POST
,Content-Type
為 application/json
,JSON 格式包含以下信息:
- scopeId:目標 Scope 的 ID。
- name:目標 Scope 的實體名稱。
- id0:Scope 實體的 ID。id1:未使用。
- ruleName:您在
alarm-settings.yml
中配置的規(guī)則名。 - alarmMessage. 告警消息內(nèi)容。
- startTime. 告警時間戳,當前時間與 UTC 1970/1/1 相差的毫秒數(shù)。
舉個例子:
[{ "scopeId": 1, "scope": "SERVICE", "name": "one-more-service", "id0": "b3JkZXItY2VudGVyLXNlYXJjaC1hcGk=.1", "id1": "", "ruleName": "service_resp_time_rule", "alarmMessage": "服務(wù)【one-more-service】的平均響應(yīng)時間在最近10分鐘內(nèi)有2分鐘超過1秒", "startTime": 1617670815000 }, { "scopeId": 2, "scope": "SERVICE_INSTANCE", "name": "e4b31262acaa47ef92a22b6a2b8a7cb1@192.168.30.11 of one-more-service", "id0": "dWF0LWxib2Mtc2VydmljZQ==.1_ZTRiMzEyNjJhY2FhNDdlZjkyYTIyYjZhMmI4YTdjYjFAMTcyLjI0LjMwLjEzOA==", "id1": "", "ruleName": "instance_jvm_young_gc_count_rule", "alarmMessage": "實例【e4b31262acaa47ef92a22b6a2b8a7cb1@192.168.30.11 of one-more-service】的YoungGC次數(shù)在最近10分鐘內(nèi)有2分鐘超過10次", "startTime": 1617670815000 }, { "scopeId": 3, "scope": "ENDPOINT", "name": "/one/more/endpoint in one-more-service", "id0": "b25lcGllY2UtYXBp.1_L3RlYWNoZXIvc3R1ZGVudC92aXBsZXNzb25z", "id1": "", "ruleName": "endpoint_resp_time_rule", "alarmMessage": "端點【/one/more/endpoint in one-more-service】的平均響應(yīng)時間在最近10分鐘內(nèi)有2分鐘超過1秒", "startTime": 1617670815000 }]
gRPCHook
告警消息將使用 Protobuf
類型通過gRPC遠程方法發(fā)送。消息格式的關(guān)鍵信息定義如下:
syntax = "proto3"; option java_multiple_files = true; option java_package = "org.apache.skywalking.oap.server.core.alarm.grpc"; service AlarmService { rpc doAlarm (stream AlarmMessage) returns (Response) { } } message AlarmMessage { int64 scopeId = 1; string scope = 2; string name = 3; string id0 = 4; string id1 = 5; string ruleName = 6; string alarmMessage = 7; int64 startTime = 8; } message Response { }
Slack Chat Hook
您需要遵循傳入Webhooks入門指南并創(chuàng)建新的Webhooks。
如果您按以下方式配置了Slack Incoming Webhooks,則告警消息將按 Content-Type
為 application/json
通過HTTP的 POST
方式發(fā)送。
舉個例子:
slackHooks: textTemplate: |- { "type": "section", "text": { "type": "mrkdwn", "text": ":alarm_clock: *Apache Skywalking Alarm* \n **%s**." } } webhooks: - https://hooks.slack.com/services/x/y/z
微信Hook
只有微信的企業(yè)版才支持 Webhooks ,如何使用微信的 Webhooks 可參見如何配置群機器人。
如果您按以下方式配置了微信的 Webhooks ,則告警消息將按 Content-Type
為 application/json
通過HTTP的 POST
方式發(fā)送。
舉個例子:
wechatHooks: textTemplate: |- { "msgtype": "text", "text": { "conte
釘釘 Hook
您需要遵循自定義機器人開放并創(chuàng)建新的Webhooks。為了安全起見,您可以為Webhook網(wǎng)址配置可選的密鑰。
如果您按以下方式配置了釘釘?shù)?Webhooks ,則告警消息將按 Content-Type
為 application/json
通過HTTP的 POST
方式發(fā)送。
舉個例子:
dingtalkHooks: textTemplate: |- { "msgtype": "text", "text": { "conte
微信掃描二維碼,關(guān)注java 技術(shù)迷,回復(fù)「電子書」,免費獲取Java必讀技術(shù)書籍。
到此這篇關(guān)于Apache SkyWalking 告警配置指南的文章就介紹到這了,更多相關(guān)SkyWalking 告警配置內(nèi)容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站!
版權(quán)聲明:本站文章來源標注為YINGSOO的內(nèi)容版權(quán)均為本站所有,歡迎引用、轉(zhuǎn)載,請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站,禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像,否則將依法追究法律責任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來,僅供學(xué)習(xí)參考,不代表本站立場,如有內(nèi)容涉嫌侵權(quán),請聯(lián)系alex-e#qq.com處理。