mm notification support at someone

add mattermost notification

doc/community-governance.md

@@ -1,29 +1,36 @@
-# 夜莺开源项目和社区治理架构(草案)
+[夜莺监控](https://github.com/ccfos/nightingale "夜莺监控")是一款开源云原生监控系统，由滴滴设计开发，2020 年 3 月份开源之后，凭借其优秀的产品设计、灵活性架构和明确清晰的定位，夜莺监控快速发展为国内最活跃的企业级云原生监控方案。[截止当前](具体指2022年8月 "截止当前")，在 [Github](https://github.com/ccfos/nightingale "Github") 上已经迭代发布了 **70** 多个版本，获得了 **5K** 多个 Star，**80** 多位代码贡献者。快速的迭代，也让夜莺监控的用户群越来越大，涉及各行各业。
 
-## 社区架构
+更进一步，夜莺监控于 2022 年 5 月 11 日，正式捐赠予中国计算机学会开源发展委员会 [CCF ODC](https://www.ccf.org.cn/kyfzwyh/ "CCF ODC")，为 CCF ODC 成立后接受捐赠的第一个开源项目。
 
-### 用户(User)
+开源项目要更有生命力，离不开开放的治理架构和源源不断的开发者共同参与。夜莺监控项目加入 CCF 开源大家庭后，能在计算机学会的支持和带动下，进一步结合云原生、可观测、国产化等多个技术发展的需求，建立开放、中立的开源治理架构，打造更专业、有活力的开发者社区。
 
-> 欢迎任何个人、公司以及组织，使用夜莺监控，并积极的反馈 bug、提交功能需求、以及相互帮助，我们推荐使用 [github issue](https://github.com/ccfos/nightingale/issues) 来跟踪 bug 和管理需求。
+**今天，我们郑重发布夜莺监控开源社区治理架构，并公示相关的任命和社区荣誉，期待开源的道路上，一起同行。**
 
-社区用户，可以通过在 **[Who is Using Nightingale](https://github.com/ccfos/nightingale/issues/897)** 登记您的使用情况，并分享您使用夜莺监控的经验，将会自动进入 **[END USERS](./end-users.md)** 列表，并获得社区的 **VIP Support**。
+# 夜莺监控开源社区架构
 
-### 贡献者(Contributer)
+### User|用户
 
-> 欢迎每一位用户，包括但不限于以下列方式参与到夜莺开源社区并做出贡献：
+> 欢迎任何个人、公司以及组织，使用夜莺监控，并积极的反馈 bug、提交功能需求、以及相互帮助，我们推荐使用 [Github Issue](https://github.com/ccfos/nightingale/issues "Github Issue") 来跟踪 bug 和管理需求。
 
-1. 在 [github issue](https://github.com/ccfos/nightingale/issues) 中积极参与讨论，参与社区活动；
+社区用户，可以通过在 **[Who is Using Nightingale](https://github.com/ccfos/nightingale/issues/897 "Who is Using Nightingale")** 登记您的使用情况，并分享您使用夜莺监控的经验，将会自动进入 **[END USERS](https://github.com/ccfos/nightingale/blob/main/doc/end-users.md "END USERS")** 文件列表，并获得社区的 **VIP Support**。
+
+### Contributor|贡献者
+
+> 欢迎每一位用户，包括但不限于以下方式参与到夜莺开源社区并做出贡献：
+
+1. 在 [Github Issue](https://github.com/ccfos/nightingale/issues "Github Issue") 中积极参与讨论，参与社区活动；
 1. 提交代码补丁；
-1. 翻译、修订、补充和完善[文档](https://n9e.github.io)；
+1. 翻译、修订、补充和完善[文档](https://n9e.github.io "文档")；
 1. 分享夜莺监控的使用经验，积极布道；
 1. 提交建议 / 批评；
 
-年度累计向 [CCFOS/NIGHTINGALE](https://github.com/ccfos/nightingale) 提交 **5** 个PR（被合并），或者因为其他贡献被**项目管委会**一致认可，将会自动进入到 **[ACTIVE CONTRIBUTORS](./active-contributors.md)** 列表，并获得 **[CCF ODC](https://www.ccf.org.cn/kyfzwyh/)** 颁发的电子证书，享有夜莺开源社区一定的权益和福利。
+年度累计向 [CCFOS/NIGHTINGALE](https://github.com/ccfos/nightingale "CCFOS/NIGHTINGALE") 提交 **5** 个PR（被合并），或者因为其他贡献被**项目管委会**一致认可，将会自动进入到 **[ACTIVE CONTRIBUTORS](https://github.com/ccfos/nightingale/blob/main/doc/active-contributors.md "ACTIVE CONTRIBUTORS")** 列表，并获得夜莺开源社区颁发的证书，享有夜莺开源社区一定的权益和福利。
 
+所有向 [CCFOS/NIGHTINGALE](https://github.com/ccfos/nightingale "CCFOS/NIGHTINGALE") 提交过PR（被合并），或者做出过重要贡献的 Contributor，都会被永久记载于 [CONTRIBUTORS](https://github.com/ccfos/nightingale/blob/main/doc/contributors.md "CONTRIBUTORS") 列表。
 
-### 提交者(Committer)
+### Committer|提交者
 
-> Committer 是指拥有 [CCFOS/NIGHTINGALE](https://github.com/ccfos/nightingale) 代码仓库写操作权限的贡献者，他们拥有 ccf.org.cn 为后缀的邮箱地址（待上线）。原则上 Committer 能够自主决策某个代码补丁是否可以合入到夜莺代码仓库，但是项目管委会拥有最终的决策权。
+> Committer 是指拥有 [CCFOS/NIGHTINGALE](https://github.com/ccfos/nightingale "CCFOS/NIGHTINGALE") 代码仓库写操作权限的贡献者。原则上 Committer 能够自主决策某个代码补丁是否可以合入到夜莺代码仓库，但是项目管委会拥有最终的决策权。
 
 Committer 承担以下一个或多个职责：
 - 积极回应 Issues；
@@ -31,43 +38,43 @@ Committer 承担以下一个或多个职责：
 - 参加开发者例行会议，积极讨论项目规划和技术方案；
 - 代表夜莺开源社区出席相关技术会议并做演讲；
 
-Committer 记录并公示于 **[COMMITTERS](./committers.md)** 列表，并获得 **[CCF ODC](https://www.ccf.org.cn/kyfzwyh/)** 颁发的电子证书，以及享有夜莺开源社区的各种权益和福利。
+Committer 记录并公示于 **[COMMITTERS](https://github.com/ccfos/nightingale/blob/main/doc/committers.md "COMMITTERS")** 列表，并获得夜莺开源社区颁发的证书，以及享有夜莺开源社区的各种权益和福利。
 
 
-### 项目管委会(PMC) 
+### PMC|项目管委会
 
-> 项目管委会作为一个实体，来管理和领导夜莺项目，为整个项目的发展全权负责。项目管委会相关内容记录并公示于文件[PMC](./pmc.md).
+> PMC（项目管委会）作为一个实体，来管理和领导夜莺项目，为整个项目的发展全权负责。项目管委会相关内容记录并公示于文件[PMC](https://github.com/ccfos/nightingale/blob/main/doc/pmc.md "PMC").
 
-- 项目管委会成员(PMC Member)，从 Contributor 或者 Committer 中选举产生，他们拥有 [CCFOS/NIGHTINGALE](https://github.com/ccfos/nightingale) 代码仓库的写操作权限，拥有 ccf.org.cn 为后缀的邮箱地址（待上线），拥有 Nightingale 社区相关事务的投票权、以及提名 Committer 候选人的权利。
-- 项目管委会主席(PMC Chair)，由 **[CCF ODC](https://www.ccf.org.cn/kyfzwyh/)** 从项目管委会成员中任命产生。管委会主席是 CCF ODC 和项目管委会之间的沟通桥梁，履行特定的项目管理职责。
+- 项目管委会成员(PMC Member)，从 Contributor 或者 Committer 中选举产生，他们拥有 [CCFOS/NIGHTINGALE](https://github.com/ccfos/nightingale "CCFOS/NIGHTINGALE") 代码仓库的写操作权限，拥有 Nightingale 社区相关事务的投票权、以及提名 Committer 候选人的权利。
+- 项目管委会主席(PMC Chair)，从项目管委会成员中投票产生。管委会主席是 **[CCF ODC](https://www.ccf.org.cn/kyfzwyh/ "CCF ODC")** 和项目管委会之间的沟通桥梁，履行特定的项目管理职责。
 
-## 沟通机制(Communication)
+## Communication|沟通机制
 1. 我们推荐使用邮件列表来反馈建议（待发布）；
-2. 我们推荐使用 [github issue](https://github.com/ccfos/nightingale/issues) 跟踪 bug 和管理需求；
-3. 我们推荐使用 [github milestone](https://github.com/ccfos/nightingale/milestones) 来管理项目进度和规划；
+2. 我们推荐使用 [Github Issue](https://github.com/ccfos/nightingale/issues "Github Issue") 跟踪 bug 和管理需求；
+3. 我们推荐使用 [Github Milestone](https://github.com/ccfos/nightingale/milestones "Github Milestone") 来管理项目进度和规划；
 4. 我们推荐使用腾讯会议来定期召开项目例会（会议 ID 待发布）；
 
-## 文档(Documentation)
-1. 我们推荐使用 [github pages](https://n9e.github.io) 来沉淀文档；
-2. 我们推荐使用 [gitlink wiki](https://www.gitlink.org.cn/ccfos/nightingale/wiki/faq) 来沉淀FAQ；
+## Documentation|文档
+1. 我们推荐使用 [Github Pages](https://n9e.github.io "Github Pages") 来沉淀文档；
+2. 我们推荐使用 [Gitlink Wiki](https://www.gitlink.org.cn/ccfos/nightingale/wiki/faq "Gitlink Wiki") 来沉淀 FAQ；
 
 
-## 运营机制(Operation)
+## Operation|运营机制
 
 1. 我们定期组织用户、贡献者、项目管委会成员之间的沟通会议，讨论项目开发的目标、方案、进度，以及讨论相关需求的合理性、优先级等议题；
 2. 我们定期组织 meetup （线上&线下），创造良好的用户交流分享环境，并沉淀相关内容到文档站点；
-3. 我们定期组织夜莺开发者大会，分享 best user story、同步年度开发目标和计划、讨论新技术方向等；
+3. 我们定期组织夜莺开发者大会，分享 [best user story](https://n9e.github.io/docs/prologue/share/ "best user story")、同步年度开发目标和计划、讨论新技术方向等；
 
-## 社区指导原则(Philosophy)
+## Philosophy|社区指导原则
 
-**尊重、认可和记录每一位贡献者的工作。**
+>尊重、认可和记录每一位贡献者的工作。
 
 ## 关于提问的原则
 
 按照**尊重、认可、记录每一位贡献者的工作**原则，我们提倡**高效的提问**，这既是对开发者时间的尊重，也是对整个社区的知识沉淀的贡献：
 
-1. 提问之前请先查阅 [FAQ](https://www.gitlink.org.cn/ccfos/nightingale/wiki/faq) ；
-2. 提问之前请先搜索 [github issue](https://github.com/ccfos/nightingale/issues)；
-3. 我们优先推荐通过提交 github issue 来提问，如果[有问题点击这里](https://github.com/ccfos/nightingale/issues/new?assignees=&labels=kind%2Fbug&template=bug_report.yml) | [有需求建议点击这里](https://github.com/ccfos/nightingale/issues/new?assignees=&labels=kind%2Ffeature&template=enhancement.md)；
+1. 提问之前请先查阅 [FAQ](https://www.gitlink.org.cn/ccfos/nightingale/wiki/faq "FAQ") ；
+2. 提问之前请先搜索 [Github Issues](https://github.com/ccfos/nightingale/issues "Github Issue")；
+3. 我们优先推荐通过提交 [Github Issue](https://github.com/ccfos/nightingale/issues "Github Issue") 来提问，如果[有问题点击这里](https://github.com/ccfos/nightingale/issues/new?assignees=&labels=kind%2Fbug&template=bug_report.yml "有问题点击这里") | [有需求建议点击这里](https://github.com/ccfos/nightingale/issues/new?assignees=&labels=kind%2Ffeature&template=enhancement.md "有需求建议点击这里")；
 
-最后，我们推荐你加入微信群，针对相关开放式问题，相互交流咨询 (请先加好友：[UlricGO](https://www.gitlink.org.cn/UlricQin/gist/tree/master/self.jpeg) 备注：夜莺加群+姓名+公司，交流群里会有开发者团队和专业、热心的群友回答问题)；
+最后，我们推荐你加入微信群，针对相关开放式问题，相互交流咨询 (请先加好友：[UlricGO](https://www.gitlink.org.cn/UlricQin/gist/tree/master/self.jpeg "UlricGO") 备注：夜莺加群+姓名+公司，交流群里会有开发者团队和专业、热心的群友回答问题)。

doc/pmc.md

@@ -1,7 +1,7 @@
-## PMC Chair
-
+### PMC Chair
 - [laiwei](https://github.com/laiwei)
 
-## PMC Member
-
+### PMC Co-Chair
 - [UlricQin](https://github.com/UlricQin)
+
+### PMC Member

docker/initsql/a-n9e.sql

@@ -41,10 +41,12 @@ CREATE TABLE `user_group` (
 insert into user_group(id, name, create_at, create_by, update_at, update_by) values(1, 'demo-root-group', unix_timestamp(now()), 'root', unix_timestamp(now()), 'root');
 
 CREATE TABLE `user_group_member` (
+    `id` bigint unsigned not null auto_increment,
     `group_id` bigint unsigned not null,
     `user_id` bigint unsigned not null,
     KEY (`group_id`),
-    KEY (`user_id`)
+    KEY (`user_id`),
+    PRIMARY KEY(`id`)
 ) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4;
 
 insert into user_group_member(group_id, user_id) values(1, 1);
@@ -70,10 +72,12 @@ insert into `role`(name, note) values('Standard', 'Ordinary user role');
 insert into `role`(name, note) values('Guest', 'Readonly user role');
 
 CREATE TABLE `role_operation`(
+    `id` bigint unsigned not null auto_increment,
     `role_name` varchar(128) not null,
     `operation` varchar(191) not null,
     KEY (`role_name`),
-    KEY (`operation`)
+    KEY (`operation`),
+    PRIMARY KEY(`id`)
 ) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4;
 
 -- Admin is special, who has no concrete operation but can do anything.

docker/n9eetc/script/notify.py

@@ -23,6 +23,11 @@ class Sender(object):
     def send_feishu(cls, payload):
         # already done in go code
         pass
+    
+    @classmethod
+    def send_mm(cls, payload):
+        # already done in go code
+        pass
 
     @classmethod
     def send_sms(cls, payload):

docker/n9eetc/server.conf

@@ -11,6 +11,11 @@ BusiGroupLabelKey = "busigroup"
 # sleep x seconds, then start judge engine
 EngineDelay = 120
 
+DisableUsageReport = false
+
+# config | database
+ReaderFrom = "config"
+
 [Log]
 # log write dir
 Dir = "logs"
@@ -71,7 +76,7 @@ Batch = 5
 TemplatesDir = "./etc/template"
 NotifyConcurrency = 10
 # use builtin go code notify
-NotifyBuiltinChannels = ["email", "dingtalk", "wecom", "feishu"]
+NotifyBuiltinChannels = ["email", "dingtalk", "wecom", "feishu", "mm"]
 
 [Alerting.CallScript]
 # built in sending capability in go code
@@ -83,7 +88,8 @@ ScriptPath = "./etc/script/notify.py"
 Enable = false
 # use a plugin via `go build -buildmode=plugin -o notify.so`
 PluginPath = "./etc/script/notify.so"
-Caller = "n9eCaller"
+# The first letter must be capitalized to be exported
+Caller = "N9eCaller"
 
 [Alerting.RedisPub]
 Enable = false
@@ -101,7 +107,7 @@ Headers = ["Content-Type", "application/json", "X-From", "N9E"]
 [NoData]
 Metric = "target_up"
 # unit: second
-Interval = 15
+Interval = 120
 
 [Ibex]
 # callback: ${ibex}/${tplid}/${host}
@@ -136,7 +142,7 @@ MaxIdleConns = 50
 # table prefix
 TablePrefix = ""
 # enable auto migrate or not
-EnableAutoMigrate = false
+# EnableAutoMigrate = false
 
 [Reader]
 # prometheus base url
@@ -147,15 +153,8 @@ BasicAuthUser = ""
 BasicAuthPass = ""
 # timeout settings, unit: ms
 Timeout = 30000
-DialTimeout = 10000
-TLSHandshakeTimeout = 30000
-ExpectContinueTimeout = 1000
-IdleConnTimeout = 90000
-# time duration, unit: ms
-KeepAlive = 30000
-MaxConnsPerHost = 0
-MaxIdleConns = 100
-MaxIdleConnsPerHost = 10
+DialTimeout = 3000
+MaxIdleConnsPerHost = 100
 
 [WriterOpt]
 # queue channel count
@@ -172,8 +171,8 @@ BasicAuthUser = ""
 # Basic auth password
 BasicAuthPass = ""
 # timeout settings, unit: ms
-Timeout = 30000
-DialTimeout = 10000
+Timeout = 10000
+DialTimeout = 3000
 TLSHandshakeTimeout = 30000
 ExpectContinueTimeout = 1000
 IdleConnTimeout = 90000
@@ -182,6 +181,12 @@ KeepAlive = 30000
 MaxConnsPerHost = 0
 MaxIdleConns = 100
 MaxIdleConnsPerHost = 100
+# [[Writers.WriteRelabels]]
+# Action = "replace"
+# SourceLabels = ["__address__"]
+# Regex = "([^:]+)(?::\\d+)?"
+# Replacement = "$1:80"
+# TargetLabel = "__address__"
 
 # [[Writers]]
 # Url = "http://m3db:7201/api/v1/prom/remote/write"

docker/n9eetc/webapi.conf

@@ -4,12 +4,21 @@ RunMode = "release"
 # # custom i18n dict config
 # I18N = "./etc/i18n.json"
 
+# # custom i18n request header key
+# I18NHeaderKey = "X-Language"
+
 # metrics descriptions
 MetricsYamlFile = "./etc/metrics.yaml"
 
 BuiltinAlertsDir = "./etc/alerts"
 BuiltinDashboardsDir = "./etc/dashboards"
 
+# config | api
+ClustersFrom = "config"
+
+# using when ClustersFrom = "api"
+ClustersFromAPIs = []
+
 [[NotifyChannels]]
 Label = "邮箱"
 # do not change Key
@@ -30,6 +39,11 @@ Label = "飞书机器人"
 # do not change Key
 Key = "feishu"
 
+[[NotifyChannels]]
+Label = "mm bot"
+# do not change Key
+Key = "mm"
+
 [[ContactKeys]]
 Label = "Wecom Robot Token"
 # do not change Key
@@ -45,6 +59,11 @@ Label = "Feishu Robot Token"
 # do not change Key
 Key = "feishu_robot_token"
 
+[[ContactKeys]]
+Label = "MatterMost Webhook URL"
+# do not change Key
+Key = "mm_webhook_url"
+
 [Log]
 # log write dir
 Dir = "logs"
@@ -92,6 +111,13 @@ AccessExpired = 1500
 RefreshExpired = 10080
 RedisKeyPrefix = "/jwt/"
 
+[ProxyAuth]
+# if proxy auth enabled, jwt auth is disabled
+Enable = false
+# username key in http proxy header
+HeaderUserNameKey = "X-User-Name"
+DefaultRoles = ["Standard"]
+
 [BasicAuth]
 user001 = "ccc26da7b9aba533cbb263a36c07dcc5"
 
@@ -121,6 +147,20 @@ Nickname = "cn"
 Phone = "mobile"
 Email = "mail"
 
+[OIDC]
+Enable = false
+RedirectURL = "http://n9e.com/callback"
+SsoAddr = "http://sso.example.org"
+ClientId = ""
+ClientSecret = ""
+CoverAttributes = true
+DefaultRoles = ["Standard"]
+
+[OIDC.Attributes]
+Nickname = "nickname"
+Phone = "phone_number"
+Email = "email"
+
 [Redis]
 # address, ip:port
 Address = "redis:6379"
@@ -145,7 +185,7 @@ MaxIdleConns = 50
 # table prefix
 TablePrefix = ""
 # enable auto migrate or not
-EnableAutoMigrate = false
+# EnableAutoMigrate = false
 
 [[Clusters]]
 # Prometheus cluster name
@@ -158,14 +198,7 @@ BasicAuthUser = ""
 BasicAuthPass = ""
 # timeout settings, unit: ms
 Timeout = 30000
-DialTimeout = 10000
-TLSHandshakeTimeout = 30000
-ExpectContinueTimeout = 1000
-IdleConnTimeout = 90000
-# time duration, unit: ms
-KeepAlive = 30000
-MaxConnsPerHost = 0
-MaxIdleConns = 100
+DialTimeout = 3000
 MaxIdleConnsPerHost = 100
 
 [Ibex]
@@ -180,4 +213,4 @@ Timeout = 3000
 TargetUp = '''max(max_over_time(target_up{ident=~"(%s)"}[%dm])) by (ident)'''
 LoadPerCore = '''max(max_over_time(system_load_norm_1{ident=~"(%s)"}[%dm])) by (ident)'''
 MemUtil = '''100-max(max_over_time(mem_available_percent{ident=~"(%s)"}[%dm])) by (ident)'''
-DiskUtil = '''max(max_over_time(disk_used_percent{ident=~"(%s)", path="/"}[%dm])) by (ident)'''
+DiskUtil = '''max(max_over_time(disk_used_percent{ident=~"(%s)", path="/"}[%dm])) by (ident)'''

etc/script/notify.py

@@ -24,6 +24,11 @@ class Sender(object):
         # already done in go code
         pass
 
+    @classmethod
+    def send_mm(cls, payload):
+        # already done in go code
+        pass
+
     @classmethod
     def send_sms(cls, payload):
         users = payload.get('event').get("notify_users_obj")

etc/server.conf

@@ -76,7 +76,7 @@ Batch = 5
 TemplatesDir = "./etc/template"
 NotifyConcurrency = 10
 # use builtin go code notify
-NotifyBuiltinChannels = ["email", "dingtalk", "wecom", "feishu"]
+NotifyBuiltinChannels = ["email", "dingtalk", "wecom", "feishu", "mm"]
 
 [Alerting.CallScript]
 # built in sending capability in go code
@@ -107,7 +107,7 @@ Headers = ["Content-Type", "application/json", "X-From", "N9E"]
 [NoData]
 Metric = "target_up"
 # unit: second
-Interval = 15
+Interval = 120
 
 [Ibex]
 # callback: ${ibex}/${tplid}/${host}

etc/template/mm.tpl

@@ -0,0 +1,7 @@
+级别状态: S{{.Severity}} {{if .IsRecovered}}Recovered{{else}}Triggered{{end}}
+规则名称: {{.RuleName}}{{if .RuleNote}}
+规则备注: {{.RuleNote}}{{end}}
+监控指标: {{.TagsJSON}}
+{{if .IsRecovered}}恢复时间：{{timeformat .LastEvalTime}}{{else}}触发时间: {{timeformat .TriggerTime}}
+触发时值: {{.TriggerValue}}{{end}}
+发送时间: {{timestamp}}

etc/webapi.conf

@@ -39,6 +39,11 @@ Label = "飞书机器人"
 # do not change Key
 Key = "feishu"
 
+[[NotifyChannels]]
+Label = "mm bot"
+# do not change Key
+Key = "mm"
+
 [[ContactKeys]]
 Label = "Wecom Robot Token"
 # do not change Key
@@ -54,6 +59,11 @@ Label = "Feishu Robot Token"
 # do not change Key
 Key = "feishu_robot_token"
 
+[[ContactKeys]]
+Label = "MatterMost Webhook URL"
+# do not change Key
+Key = "mm_webhook_url"
+
 [Log]
 # log write dir
 Dir = "logs"
@@ -207,4 +217,4 @@ Timeout = 3000
 TargetUp = '''max(max_over_time(target_up{ident=~"(%s)"}[%dm])) by (ident)'''
 LoadPerCore = '''max(max_over_time(system_load_norm_1{ident=~"(%s)"}[%dm])) by (ident)'''
 MemUtil = '''100-max(max_over_time(mem_available_percent{ident=~"(%s)"}[%dm])) by (ident)'''
-DiskUtil = '''max(max_over_time(disk_used_percent{ident=~"(%s)", path="/"}[%dm])) by (ident)'''
+DiskUtil = '''max(max_over_time(disk_used_percent{ident=~"(%s)", path="/"}[%dm])) by (ident)'''

src/models/alerting_engine.go

@@ -72,7 +72,7 @@ func AlertingEngineGetsInstances(where string, args ...interface{}) ([]string, e
 	return arr, err
 }
 
-func AlertingEngineHeartbeat(instance string) error {
+func AlertingEngineHeartbeat(instance, cluster string) error {
 	var total int64
 	err := DB().Model(new(AlertingEngines)).Where("instance=?", instance).Count(&total).Error
 	if err != nil {
@@ -83,6 +83,7 @@ func AlertingEngineHeartbeat(instance string) error {
 		// insert
 		err = DB().Create(&AlertingEngines{
 			Instance: instance,
+			Cluster:  cluster,
 			Clock:    time.Now().Unix(),
 		}).Error
 	} else {

src/server/common/sender/dingtalk.go

@@ -50,6 +50,9 @@ func SendDingtalk(message DingtalkMessage) {
 		}
 
 		ur := "https://oapi.dingtalk.com/robot/send?access_token=" + u.Path
+		if strings.HasPrefix(message.Tokens[i], "https://") {
+			ur = message.Tokens[i]
+		}
 		body := dingtalk{
 			Msgtype: "markdown",
 			Markdown: dingtalkMarkdown{

src/server/common/sender/feishu.go

@@ -1,6 +1,7 @@
 package sender
 
 import (
+	"strings"
 	"time"
 
 	"github.com/didi/nightingale/v5/src/pkg/poster"
@@ -31,6 +32,9 @@ type feishu struct {
 func SendFeishu(message FeishuMessage) {
 	for i := 0; i < len(message.Tokens); i++ {
 		url := "https://open.feishu.cn/open-apis/bot/v2/hook/" + message.Tokens[i]
+		if strings.HasPrefix(message.Tokens[i], "https://") {
+			url = message.Tokens[i]
+		}
 		body := feishu{
 			Msgtype: "text",
 			Content: feishuContent{

src/server/common/sender/mm.go

@@ -0,0 +1,73 @@
+package sender
+
+import (
+	"net/url"
+	"strings"
+	"time"
+
+	"github.com/didi/nightingale/v5/src/pkg/poster"
+	"github.com/toolkits/pkg/logger"
+)
+
+type MatterMostMessage struct {
+	Text   string
+	Tokens []string
+}
+
+type mm struct {
+	Channel  string `json:"channel"`
+	Username string `json:"username"`
+	Text     string `json:"text"`
+}
+
+func MapStrToStr(arr []string, fn func(s string) string) []string {
+	var newArray = []string{}
+	for _, it := range arr {
+		newArray = append(newArray, fn(it))
+	}
+	return newArray
+}
+
+func SendMM(message MatterMostMessage) {
+
+	for i := 0; i < len(message.Tokens); i++ {
+		u, err := url.Parse(message.Tokens[i])
+		if err != nil {
+			logger.Errorf("mm_sender: failed to parse error=%v", err)
+		}
+
+		v, err := url.ParseQuery(u.RawQuery)
+		if err != nil {
+			logger.Errorf("mm_sender: failed to parse query error=%v", err)
+		}
+
+		channels := v["channel"] // do not get
+		txt := ""
+		atuser := v["atuser"]
+		if len(atuser) != 0 {
+			txt = strings.Join(MapStrToStr(atuser, func(u string) string {
+				return "@" + u
+			}), ",") + "\n"
+		}
+		username := v.Get("username")
+		if err != nil {
+			logger.Errorf("mm_sender: failed to parse error=%v", err)
+		}
+		// simple concatenating
+		ur := u.Scheme + "://" + u.Host + u.Path
+		for _, channel := range channels {
+			body := mm{
+				Channel:  channel,
+				Username: username,
+				Text:     txt + message.Text,
+			}
+
+			res, code, err := poster.PostJSON(ur, time.Second*5, body, 3)
+			if err != nil {
+				logger.Errorf("mm_sender: result=fail url=%s code=%d error=%v response=%s", ur, code, err, string(res))
+			} else {
+				logger.Infof("mm_sender: result=succ url=%s code=%d response=%s", ur, code, string(res))
+			}
+		}
+	}
+}

src/server/common/sender/wecom.go

@@ -1,6 +1,7 @@
 package sender
 
 import (
+	"strings"
 	"time"
 
 	"github.com/didi/nightingale/v5/src/pkg/poster"
@@ -24,6 +25,9 @@ type wecom struct {
 func SendWecom(message WecomMessage) {
 	for i := 0; i < len(message.Tokens); i++ {
 		url := "https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=" + message.Tokens[i]
+		if strings.HasPrefix(message.Tokens[i], "https://") {
+			url = message.Tokens[i]
+		}
 		body := wecom{
 			Msgtype: "markdown",
 			Markdown: wecomMarkdown{

src/server/config/config.go

@@ -74,6 +74,11 @@ func MustLoad(fpaths ...string) {
 			C.ReaderFrom = "config"
 		}
 
+		if C.ReaderFrom == "config" && C.ClusterName == "" {
+			fmt.Println("configuration ClusterName is blank")
+			os.Exit(1)
+		}
+
 		if C.Heartbeat.IP == "" {
 			// auto detect
 			// C.Heartbeat.IP = fmt.Sprint(GetOutboundIP())
@@ -190,6 +195,7 @@ type Config struct {
 	EngineDelay        int64
 	DisableUsageReport bool
 	ReaderFrom         string
+	ForceUseServerTS   bool
 	Log                logx.Config
 	HTTP               httpx.Config
 	BasicAuth          gin.Accounts

src/server/engine/notify.go

@@ -125,6 +125,7 @@ func handleNotice(notice Notice, bs []byte) {
 	wecomset := make(map[string]struct{})
 	dingtalkset := make(map[string]struct{})
 	feishuset := make(map[string]struct{})
+	mmset := make(map[string]struct{})
 
 	for _, user := range notice.Event.NotifyUsersObj {
 		if user.Email != "" {
@@ -155,6 +156,11 @@ func handleNotice(notice Notice, bs []byte) {
 		if ret.Exists() {
 			feishuset[ret.String()] = struct{}{}
 		}
+
+		ret = gjson.GetBytes(bs, "mm_webhook_url")
+		if ret.Exists() {
+			mmset[ret.String()] = struct{}{}
+		}
 	}
 
 	phones := StringSetKeys(phoneset)
@@ -236,6 +242,23 @@ func handleNotice(notice Notice, bs []byte) {
 				AtMobiles: phones,
 				Tokens:    StringSetKeys(feishuset),
 			})
+		case "mm":
+			if len(mmset) == 0 {
+				continue
+			}
+			if !slice.ContainsString(config.C.Alerting.NotifyBuiltinChannels, "mm") {
+				continue
+			}
+
+			content, has := notice.Tpls["mm.tpl"]
+			if !has {
+				content = "mm.tpl not found"
+			}
+
+			sender.SendMM(sender.MatterMostMessage{
+				Text:   content,
+				Tokens: StringSetKeys(mmset),
+			})
 		}
 	}
 }

src/server/engine/notify_maintainer.go

@@ -64,6 +64,7 @@ func notifyMaintainerWithBuiltin(title, msg, triggerTime string, users []*models
 	wecomset := make(map[string]struct{})
 	dingtalkset := make(map[string]struct{})
 	feishuset := make(map[string]struct{})
+	mmset := make(map[string]struct{})
 
 	for _, user := range users {
 		if user.Email != "" {
@@ -94,6 +95,11 @@ func notifyMaintainerWithBuiltin(title, msg, triggerTime string, users []*models
 		if ret.Exists() {
 			feishuset[ret.String()] = struct{}{}
 		}
+
+		ret = gjson.GetBytes(bs, "mm_webhook_url")
+		if ret.Exists() {
+			mmset[ret.String()] = struct{}{}
+		}
 	}
 
 	phones := StringSetKeys(phoneset)
@@ -137,6 +143,15 @@ func notifyMaintainerWithBuiltin(title, msg, triggerTime string, users []*models
 				AtMobiles: phones,
 				Tokens:    StringSetKeys(feishuset),
 			})
+		case "mm":
+			if len(mmset) == 0 {
+				continue
+			}
+			content := "**Title: **" + title + "\n**Content: **" + msg + "\n**Time: **" + triggerTime
+			sender.SendMM(sender.MatterMostMessage{
+				Text:   content,
+				Tokens: StringSetKeys(mmset),
+			})
 		}
 	}
 }

src/server/idents/idents.go

@@ -49,7 +49,7 @@ func toRedis() {
 
 	// clean old idents
 	for key, at := range items {
-		if at.(int64) < now-10 {
+		if at.(int64) < now-config.C.NoData.Interval {
 			Idents.Remove(key)
 		} else {
 			// use now as timestamp to redis

src/server/naming/heartbeat.go

@@ -37,7 +37,12 @@ func loopHeartbeat() {
 }
 
 func heartbeat() error {
-	err := models.AlertingEngineHeartbeat(config.C.Heartbeat.Endpoint)
+	cluster := ""
+	if config.C.ReaderFrom == "config" {
+		cluster = config.C.ClusterName
+	}
+
+	err := models.AlertingEngineHeartbeat(config.C.Heartbeat.Endpoint, cluster)
 	if err != nil {
 		return err
 	}

src/server/writer/writer.go

@@ -55,6 +55,16 @@ func (w WriterType) Write(index int, items []*prompb.TimeSeries, headers ...map[
 		}
 	}()
 
+	if config.C.ForceUseServerTS {
+		ts := start.UnixMilli()
+		for i := 0; i < len(items); i++ {
+			if len(items[i].Samples) == 0 {
+				continue
+			}
+			items[i].Samples[0].Timestamp = ts
+		}
+	}
+
 	req := &prompb.WriteRequest{
 		Timeseries: items,
 	}