# Netis天旦

天旦BPC数据集成

# 告警DIP实例配置

  • 在类型配置处选择事件

选择DIP实例类型图

# DIP实例配置

名称配置

  • 名称:输入DIP实例名称。

# IN配置

告警IN配置

  • 主机:服务端程序的主机IP
  • 端口:与天旦BPC确认的syslog数据推送端口
  • 协议:与天旦BPC确认进行syslog数据传输协议,可选UDPTCP
  • 分隔符:与天旦BPC确认syslog数据中各字段间的分隔符
  • sourceCIName:对天旦BPC推送的syslog数据中的sourceCIName可进行截取或拼接操作(当推送数据中的sourceCIName不需要进行截取或拼接时可以为空)
  • 告警源:EMV中定义的告警源,项目通常要对接来自不同系统的告警,依照该字段来区分不同系统的告警

# 字段映射

告警字段映射

  • SourceCIName:cicode
  • SourceAlertKey:指标名称
  • Summary:告警信息
  • LastOccurrence:最后发生告警时间
  • Status:告警状态
  • SourceIdentifier:告警的唯一标识
  • SourceEventID:告警事件主键
  • Severity:告警级别
  • SourceSeverity:告警原始级别

列表下的是天旦BPC的数据通过分隔符后各个字段值的下标位置(也可以是常量),列表下的是映射的森数据DIX中的数据属性名称。

映射
${0} SourceCIName 不填/分类名.属性名/rulecode=索引名
${1} SourceAlertKey
${2} Summary
${3} LastOccurrence
${4} Status
${5} SourceIdentifier
${6} SourceEventID
${7} Severity
${8} SourceSeverity
  • 备注
    • Severity此处也由${7}映射,会通过后面的告警级别映射改变。
    • SourceCIName是CMV中用于确定发生告警的CI的ciCode,其所在行映射CI字段列的填写方式有三种情况。
      • 1)当${0}在对方系统中具有唯一性,若${0}是CI分类中的主键,此时在SourceCIName这一行的映射CI字段处不填任何内容,会默认按照cicode查找。
      • 2)当${0}在对方系统中具有唯一性,但${0}不是CI分类中的主键,此时映射CI字段一栏填写分类名.属性名(CMV中的分类及属性名,该属性必须能够一标识CI),如X86宿主机.主机名,即按照搜索分类的指定属性查找。
      • 3)若对方系统的告警中没有属性来标识发生告警的设备,则可以用两个或多个属性来匹配到唯一的设备(这两个或多个属性在CI分类中必须存在),此时要在NOAH中使用这两个或多个属性建立规则索引。规则表达式的书写格式:$(属性1)_$(属性2),下划线可以用其他符号代替。在映射CI字段列填rulecode=索引名称,此时按照按照在NOAH中建立的规则索引查找。
      • 4)多分类多属性匹配。如:CIPropertys=[{"className":"ghws,ghw1","CIAttribute":[{"name":"id","opType": "1","value": "${2}"}]}] 其中CIPropertys=为标识,必须填,CIPropertys=后面的是匹配规则,为json格式。
      • className为CMV中CI的分类名称,可以填多个,多个分类名称之间使用英文逗号分隔,,填入具体的分类会按照填写的分类进行匹配,不填则在全部类中进行匹配;
      • CIAttribute为匹配的CI属性是一个数组格式,如果多属性匹配可配置多个属性的规则,name为属性名称,opType匹配的方式,1为精确匹配,2为模糊匹配,value`为属性值${}是源数据中的值;
      • 不同分类或全部分类下的相同属性匹配:如CIPropertys=[{"className":"","CIAttribute":[{"name":"id","opType": "1","value": "${2}"}]}]
      • 不同分类下的不同属性,如CIPropertys=[{"className":"服务器","CIAttribute":[{"name":"配置项编码","opType": "1","value": "${2}"}]{"className":"交换机","CIAttribute":[{"name":"IP地址","opType": "1","value": "${2}"}]}]

# 级别映射

告警级别映射

重要

天旦的默认告警级别,与森数据DIX告警级别不匹配,需要通过映射来进行匹配

  • :天旦的告警级别(6一般为最高级别)
  • :森数据DIX的告警级别(1为最高级别)

级别映射配置,若无特殊需求,无需更改

6 1
5 2
4 3
3 4
2 5
1 6

# Out配置

告警的发送方式选择:点击添加,选择对应的发送方式将数据进行发送

输出方式选择


  • MYSQL

选择此项会将数据保存至mysql库,配置项如下:

MysqlOut

配置项名称 配置项描述 示例
URL(必填项) 数据库地址 jdbc:mysql://0.0.0.0:3306/db_vmdb?useUnicode=true&characterEncoding=UTF-8&serverTimezone=GMT%2b8
用户名(必填项) 数据库用户名 username
密码(必填项) 数据库密码 password
是否保存历史数据(必填项) 默认为是,保存历史数据

  • ES

选择此项会将数据保存至ES库,配置项如下:

EsOut

配置项名称 配置项描述 示例
ES请求地址(必填项) 数据库地址 0.0.0.0:9200
用户名 数据库用户名 username
密码 数据库密码 password
ES性能数据保留天数(必填项) 默认为7,保存7天内的性能数据 7
数据域 ThingJS-X数据域ID (可选)

  • ACTIVEMQ

选择此项会将数据发送至ActiveMQ,配置项如下:

ActivemqOut

配置项名称 配置项描述 示例
URL(必填项) ActiveMQ地址 failover://(tcp://0.0.0.0:61616,tcp://0.0.0.0:61616)?randomize=false&timeout=5000&maxReconnectAttempts=-1
队列名(必填项) ActiveMQ队列名称 queue
用户名 ActiveMQ用户名 username
密码 ActiveMQ密码 password

  • RABBITMQ

选择此项会将数据发送至RabbitMQ,配置项如下:

RabbitmqOut

配置项名称 配置项描述 示例
URL(必填项) RabbitMQ地址 0.0.0.0
端口(必填项) RabbitMQ端口号 12000
用户名 RabbitMQ用户名 username
密码 RabbitMQ密码 password
RabbitMq工作模式(必填项) 共有:简单模式,订阅模式,路由模式和Topic四种模式;默认为简单模式 简单模式
RabbitMq交换机或队列名称以及路由键(必填项) 根据工作模式填写json数据 如下表所示
交换机或队列是否持久化(必填项) 默认为否,不支持持久化
无服务时是否自动删除队列或者交换机(必填项) 默认为否,不会自动删除队列或交换机
RabbitMq工作模式 对应json
简单模式 {"name":"交换机名称"}
订阅模式 {"name":"交换机名称"}
路由模式 {"name":"交换机名称","routingKey":"路由键"}
Topic模式 {"name":"交换机名称","routingKey":"路由键"}

注:此处的交换机名称和路由键按照实际情况填写


  • ROCKETMQ

选择此项会将数据发送至RocketMQ,配置项如下:

RocketmqOut

配置项名称 配置项描述 示例
请求地址(必填项) RocketMQ地址 0.0.0.0:9876;0.0.0.0:9876
生产者组别 RocketMQ生产者组别 producerGroup
消息发送主题 消息发送主题 topicA
消息标签 消息标签 tagA
超时时间 消息发送超时时间,单位为毫秒 30000
字符集 字符编码集,默认UTF-8 UTF-8
消息发送类型 分为:异步发送,单向发送,同步发送共三种;默认为异步发送 异步发送

  • KAFKA

选择此项会将数据发送至kafka,配置项如下:

KafkaOut

配置项名称 配置项描述 示例
请求地址(必填项) kafka地址 0.0.0.0:9092;0.0.0.0:9092
消息发送主题(必填项) 消息发送主题 topicA
sasl静态认证文件地址(非必填) sasl conf认证文件位置 /uinnova/dix/kafka_sasl_jaas.conf
用户名(非必填) Kafka动态认证用户名 username
密码(非必填) Kafka动态认证密码 password
密码加密算法(非必填) 对密码进行加密的算法,下拉框中二选一 SCRAM-SHA-256 或 SCRAM-SHA-512
延迟(非必填) 消息发送延迟,单位为秒 1

  • MQTT

选择此项会将数据发送至mqtt,配置项如下:

MqttOut

配置项名称 配置项描述 示例
URL(必填项) mqtt地址 tcp://127.0.0.0:1883
MQTT客户端ID(必填项) mqtt客户端ID clientID101
用户名 mqtt用户名 username
密码 mqtt密码 password
消息发送主题 消息发送主题 topicA
消息发送质量 分为:仅分发一次,至少分发一次,最多分发一次共三种;默认仅分发一次 仅分发一次
字符集 字符编码集,默认UTF-8 UTF-8

  • HTTPPOST

选择此项会将数据通过post请求发送至http服务,配置项如下:

HttppostOut

配置项名称 配置项描述 示例
http服务路径(必填项) http服务地址 http://0.0.0.0:0000
请求头 填写json格式的参数 {"key":"value"}
字符集 字符编码集,默认utf-8 utf-8

  • HTTPSPOST

选择此项会将数据通过post请求发送至https服务,配置项如下:

HttpspostOut

配置项名称 配置项描述 示例
http服务路径(必填项) https服务地址 https://0.0.0.0:0000
请求头 填写json格式的参数 {"key":"value"}
字符集 字符编码集,默认utf-8 utf-8

# 保存并启动

  • 配置信息填写完成后,点击保存,成功保存后会在森数据DIX的数据集成页面看到新建的DIP实例

    新建DIP实例

    • 点击开始/启动按钮。

    新建DIP实例

    名词解释

    已接入:当前数据接口接入到的总数据量
    处理中:当前数据接口正在进行处理的数据量
    发送中:当前数据接口正在向外部发送的数据量
    已发送:当前数据接口发送到外部的总数据量

    • 待启动成功之后,点击日志按钮,查看数据是否能正常接入

# 监控信息

  • DIP实例启动成功后,点击监控按钮,进入DIP实例的监控页面。
  • 基本信息:包括当前状态、DIP实例名称、DIP实例唯一标识、DIP实例类型、DIP实例产品名称、DIP实例主机。除DIP实例唯一标识和DIP实例产品名称是系统生成的外,其余信息是在配置DIP实例时写的。
  • :当待处理或待发送的数据量比较大时,可以将采集周期调整的长一点。 监控DIP实例





# 性能配置

  • 在类型配置处选择性能

选择DIP实例类型图

# DIP实例配置

名称配置

  • 名称:输入DIP实例名称。

# IN配置

性能IN配置

  • 主机:服务端程序的主机IP
  • 端口:与天旦BPC确认的syslog数据推送端口
  • 协议:进行syslog数据传输协议,可选UDPTCP
  • 延迟:接收syslog数据的延迟时间,延迟时间由客户需求所决定,默认3分钟
  • 分隔符:与天旦BPC确认syslog数据中各字段间的分隔符
  • 交易量:数据通过分隔符后对应字段值的下标位置,可以为空
  • 成功量:数据通过分隔符后对应字段值的下标位置,可以为空
  • 响应量:数据通过分隔符后对应字段值的下标位置,可以为空
  • respTime:平均响应时间,数据通过分隔符后对应字段值的下标位置,可以为空
  • transTime:交易时间,数据通过分隔符后对应字段值的下标位置

备注说明:天旦BPC的性能数据最后输出的指标受IN配置中的交易量成功量响应量respTime四个配置项影响,共有6个指标交易量=每分钟汇交易量;成功量=每分钟汇总成功量;响应量=每分钟汇总响应量;成功率=每分钟汇总成功量/每分钟汇总交易量;响应率=每分钟汇总响应量/每分钟汇交易量;平均响应时间=每分钟汇总(响应时间*响应量)/每分钟汇总响应量;由于四个配置项可以为空,因此在对应指标中如果该配置为空,则该指标不在。

# 数据映射

性能数据映射

  • 映射字段:

列表下的是天旦BPC数据通过分隔符后各个字段值的下标位置,列表下的是天旦BPC的数据通过分隔符后各个字段名称。

${0} app
${1} intf
${2} 交易渠道
${5} 源IP
${6} 目的IP
  • 映射CI:

列表下的是映射字段中的列表下的值或者是多个值的拼接,也可以是常量。映射CI列表下面是森数据DIX中的数据属性需要进行的匹配规则,当不需要映射时可以为空。

映射CI
${app} 不填/分类名.属性名/rulecode=索引名
${app}_${intf} 不填/分类名.属性名/rulecode=索引名
${app}_BPC 不填/分类名.属性名/rulecode=索引名
BPC 不填/分类名.属性名/rulecode=索引名
  • 备注:
    • CMV中用于确定性能所在CI的ciCode,其所在行映射CI字段列的填写方式有三种情况。
      • 1)当在对方系统中具有唯一性,若是CI分类中的主键,此时在SourceCIName这一行的映射CI字段处不填任何内容,会默认按照cicode查找。
      • 2)当在对方系统中具有唯一性,但不是CI分类中的主键,此时映射CI字段一栏填写分类名.属性名(CMV中的分类及属性名,该属性必须能够唯一标识CI),如X86宿主机.主机名,即按照搜索分类的指定属性查找。
      • 3)若对方系统的性能中没有属性来标识发生性能的设备,则可以用两个或多个属性来匹配到唯一的设备(这两个或多个属性在CI分类中必须存在),此时需要在NOAH中使用这两个或多个属性建立规则索引。规则表达式的书写格式:$(属性1)_$(属性2),下划线可以用其他符号代替。在映射CI字段列填写rulecode=索引名称,此时按照按照在NOAH中建立的规则索引查找。
      • 4)多分类多属性匹配。如:CIPropertys=[{"className":"ghws,ghw1","CIAttribute":[{"name":"id","opType": "1","value": "${2}"}]}] 其中CIPropertys=为标识,必须填,CIPropertys=后面的是匹配规则,为json格式。 - className为CMV中CI的分类名称,可以填多个,多个分类名称之间使用英文逗号分隔,,填入具体的分类会按照填写的分类进行匹配,不填则在全部分类中进行匹配; - CIAttribute为匹配的CI属性是一个数组格式,如果多属性匹配可配置多个属性的规则,name为属性名称,opType匹配的方式,1为精确匹配,2为模糊匹配,value为属性值${}是源数据中的值; - 不同分类或全部分类下的相同属性匹配:如CIPropertys=[{"className":"","CIAttribute":[{"name":"id","opType": "1","value": "${2}"}]}] - 不同分类下的不同属性,如CIPropertys=[{"className":"服务器","CIAttribute":[{"name":"配置项编码","opType": "1","value": "${2}"}]},{"className":"交换机","CIAttribute":[{"name":"IP地址","opType": "1","value": "${2}"}]}]

# Out配置

性能的发送方式选择:点击添加,选择对应的发送方式将数据进行发送

输出方式选择


  • MYSQL

选择此项会将数据保存至mysql库,配置项如下:

MysqlOut

配置项名称 配置项描述 示例
URL(必填项) 数据库地址 jdbc:mysql://0.0.0.0:3306/db_vmdb?useUnicode=true&characterEncoding=UTF-8&serverTimezone=GMT%2b8
用户名(必填项) 数据库用户名 username
密码(必填项) 数据库密码 password
是否保存历史数据(必填项) 默认为是,保存历史数据

  • ES

选择此项会将数据保存至ES库,配置项如下:

EsOut

配置项名称 配置项描述 示例
ES请求地址(必填项) 数据库地址 0.0.0.0:9200
用户名 数据库用户名 username
密码 数据库密码 password
ES性能数据保留天数(必填项) 默认为7,保存7天内的性能数据 7
数据域 ThingJS-X数据域ID (可选)

  • ACTIVEMQ

选择此项会将数据发送至ActiveMQ,配置项如下:

ActivemqOut

配置项名称 配置项描述 示例
URL(必填项) ActiveMQ地址 failover://(tcp://0.0.0.0:61616,tcp://0.0.0.0:61616)?randomize=false&timeout=5000&maxReconnectAttempts=-1
队列名(必填项) ActiveMQ队列名称 queue
用户名 ActiveMQ用户名 username
密码 ActiveMQ密码 password

  • RABBITMQ

选择此项会将数据发送至RabbitMQ,配置项如下:

RabbitmqOut

配置项名称 配置项描述 示例
URL(必填项) RabbitMQ地址 0.0.0.0
端口(必填项) RabbitMQ端口号 12000
用户名 RabbitMQ用户名 username
密码 RabbitMQ密码 password
RabbitMq工作模式(必填项) 共有:简单模式,订阅模式,路由模式和Topic四种模式;默认为简单模式 简单模式
RabbitMq交换机或队列名称以及路由键(必填项) 根据工作模式填写json数据 如下表所示
交换机或队列是否持久化(必填项) 默认为否,不支持持久化
无服务时是否自动删除队列或者交换机(必填项) 默认为否,不会自动删除队列或交换机
RabbitMq工作模式 对应json
简单模式 {"name":"交换机名称"}
订阅模式 {"name":"交换机名称"}
路由模式 {"name":"交换机名称","routingKey":"路由键"}
Topic模式 {"name":"交换机名称","routingKey":"路由键"}

注:此处的交换机名称和路由键按照实际情况填写


  • ROCKETMQ

选择此项会将数据发送至RocketMQ,配置项如下:

RocketmqOut

配置项名称 配置项描述 示例
请求地址(必填项) RocketMQ地址 0.0.0.0:9876;0.0.0.0:9876
生产者组别 RocketMQ生产者组别 producerGroup
消息发送主题 消息发送主题 topicA
消息标签 消息标签 tagA
超时时间 消息发送超时时间,单位为毫秒 30000
字符集 字符编码集,默认UTF-8 UTF-8
消息发送类型 分为:异步发送,单向发送,同步发送共三种;默认为异步发送 异步发送

  • KAFKA

选择此项会将数据发送至kafka,配置项如下:

KafkaOut

配置项名称 配置项描述 示例
请求地址(必填项) kafka地址 0.0.0.0:9092;0.0.0.0:9092
消息发送主题(必填项) 消息发送主题 topicA
sasl静态认证文件地址(非必填) sasl conf认证文件位置 /uinnova/dix/kafka_sasl_jaas.conf
用户名(非必填) Kafka动态认证用户名 username
密码(非必填) Kafka动态认证密码 password
密码加密算法(非必填) 对密码进行加密的算法,下拉框中二选一 SCRAM-SHA-256 或 SCRAM-SHA-512
延迟(非必填) 消息发送延迟,单位为秒 1

  • MQTT

选择此项会将数据发送至mqtt,配置项如下:

MqttOut

配置项名称 配置项描述 示例
URL(必填项) mqtt地址 tcp://127.0.0.0:1883
MQTT客户端ID(必填项) mqtt客户端ID clientID101
用户名 mqtt用户名 username
密码 mqtt密码 password
消息发送主题 消息发送主题 topicA
消息发送质量 分为:仅分发一次,至少分发一次,最多分发一次共三种;默认仅分发一次 仅分发一次
字符集 字符编码集,默认UTF-8 UTF-8

  • HTTPPOST

选择此项会将数据通过post请求发送至http服务,配置项如下:

HttppostOut

配置项名称 配置项描述 示例
http服务路径(必填项) http服务地址 http://0.0.0.0:0000
请求头 填写json格式的参数 {"key":"value"}
字符集 字符编码集,默认utf-8 utf-8

  • HTTPSPOST

选择此项会将数据通过post请求发送至https服务,配置项如下:

HttpspostOut

配置项名称 配置项描述 示例
http服务路径(必填项) https服务地址 https://0.0.0.0:0000
请求头 填写json格式的参数 {"key":"value"}
字符集 字符编码集,默认utf-8 utf-8

# 保存并启动

  • 配置信息填写完成后,点击保存,成功保存后会在森数据DIX的数据集成页面看到新建的DIP实例

新建DIP实例

  • 点击开始/启动按钮。

新建DIP实例

名词解释

已接入:当前数据接口接入到的总数据量
处理中:当前数据接口正在进行处理的数据量
发送中:当前数据接口正在向外部发送的数据量
已发送:当前数据接口发送到外部的总数据量

  • 待启动成功之后,点击日志按钮,查看数据是否能正常接入

# 监控信息

  • DIP实例启动成功后,点击监控按钮,进入DIP实例的监控页面。

  • 基本信息:包括当前状态、DIP实例名称、DIP实例唯一标识、DIP实例类型、DIP实例产品名称、DIP实例主机。

  • :当待处理或待发送的数据量比较大时,可以将采集周期调整的长一点。 监控DIP实例

上次更新时间: 3/20/2023, 9:06:32 AM