K8s 集群可观测性-数据分流最佳实践

本文介绍: 在微服务架构下，一个 k8s 集群中经常会部署多套业务，同时也意味着不同团队、不同角色、不同的业务会在同一集群中，需要将不同业务的数据在不同的空间进行管理和查看。

在微服务架构下，一个 k8s 集群中经常会部署多套业务，同时也意味着不同团队、不同角色、不同的业务会在同一集群中，需要将不同业务的数据在不同的空间进行管理和查看。

在传统的主机环境下，这个是可以通过不同的主机部署 DataKit 时配置不同的工作空间 token 轻松实现，但是在 k8s 环境下使用 DaemonSet 方式部署，同一个 DaemonSet 无法灵活的进行多套 DataKit 配置，且在配置变更时需要重启 DataKit，当 DataKit 达到一定规模影响非常大。

因此，观测云提供的 DataWay Sinker 功能，便成为了以上问题的最佳解决方案。

通过上图不难看出，该方案最重要的部分在于进行数据 TAG（标签）管理。数据分流是否达到预期、是否准确、是否实用都取决于 TAG 标签的合理使用以及规划管理。而 TAG 的管理和使用恰好是观测云平台的核心能力之一。

希望达到效果：根据不同的 namespace 将监控数据分流至不同的工作空间，如 namespace=datakit 的所有数据分流至观测云 datakit 工作空间。

2）修改 dataway.yaml ，添加如下 Sinker 相关配置环境变量；

- name: DW_SECRET_TOKEN # 当开启数据分流功能时,用于与DataKit进行链接，注意tkn_后面需添加32位字符串
  value: "tkn_yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy"
- name: DW_CASCADED # 当开启数据分流功能时，SaaS用户使用级联方式链接
  value: "on"
- name: DW_SINKER_FILE_PATH # 挂载的sinker.json文件地址
  value: "/usr/local/cloudcare/dataflux/dataway/sinker.json"
- name: DW_REMOTE_HOST # 配置级联地址
  value: "https://openway.guance.com"

创建文件 sinker.json ，填写如下内容，并将文件挂载至 dataway 容器中。

{
    "strict":true,
    "rules": [
        {
            "rules": [
                "{ namespace = 'utils'}" # 匹配规则
            ],
            # 对应工作空间的openway地址及token
            "url": "https://openway.guance.com?token=tkn_cb1a9a53fcb04436a4adab6435327fca" 
        },
        {
            "rules": [
                "{ namespace = 'datakit'  }"
            ],
            "url": "https://openway.guance.com?token=tkn_c6e8ae1bbfa2489aba843cc56baf3c66"
        },
        {
            "rules": [
                "{ namespace != 'datakit',namespace!='utils'  }"
            ],
            "url": "https://openway.guance.com?token=tkn_1618f90ef13b482d9f682f30f7118d2f"
        }
     ]
}

        - name: ENV_DATAWAY # 步骤一中Dataway地址和SECRET_TOKEN
          value: http://10.16.253.114:9528?token=tkn_yyyyyyyyyyyyyyyyyyyyyyyyyyyyyyyy
        - name: ENV_SINKER_GLOBAL_CUSTOMER_KEYS # 指定分流的key
          value: namespace
        - name: ENV_DATAWAY_ENABLE_SINKER # 开启分流
          value: "true"