Lokiでアラートマネージャを実装する

[inductor]

現状LokiとGrafanaでログを集約することはできているが、Slackにアラートを飛ばす仕組みがないため、
実質的に発火で気づけているのがSentry経由でアプリのログだけになっている。

現実的にはクラスター全体のエラーを拾って通知できるようにしないといけない

[kntks]

使えるアラートは

• Grafana managed alert
• Prometheus alert manager

[kntks]

案1

AWSなどのalertはGrafana managed alertに向ける
lokiやprometheusで設定したものは Prometheus alert managerに向ける

案2

全てのアラートをPrometheus alert manegerに向ける

案3

全ての設定を手動で行い、Grafana managed alertに向ける

[kntks]

GrafanaのGUI(手動)でalertを作成する場合

メリット:

• Grafana managed alertを使うことができるのでPrometheusのalert managerを用意しなくても良い
• awsなどlokiを経由しないメトリクスのalertも設定することができるので、構成がシンプルになる(案3)

デメリット:

• 手動で設定することになる (v8.3ではprovisioningの機能が出ていない)

Cortex/Lokiでalertを作成する場合

メリット：

• yamlファイルでalert ruleを設定することができる

デメリット：

• Grafana managed alertで通知ができないのでPrometheus alert managerを用意する必要がある
  • 2022/02/20 絶賛議論中 :
  • [ngalert] No notification sent when Cortex / Loki alerts firing grafana/grafana#39219

[kntks]

目的である "slackにアラートを通知する" はどの案を採用しても実現可能

2022/02/20のdreamkastのミーティングで、アラートの設定はできる限り宣言的に行う方針に決定
したがってまず、案2で設定を行う

[jacopen]

@kntks o11yチームにも相談して、Prometheus Alert Managerでいきたいということなので、案2で進めてもらえれば！