云端运维数据包具体CSV表结构说明

编辑
  • 文档创建者:Wendy123456
  • 浏览次数:214次
  • 编辑次数:7次
  • 最近更新:Wendy123456 于 2019-08-20
  • 1. 版本

    报表服务器版本JAR 包
    10.02019-5-20

    2.描述

    前面我们已经介绍过 云端运维,关于云端运维数据包收据具体 CSV 表结构的说明如下所示。

    3.数据包获取

    进入数据决策系统,通过以下步骤可下载云端运维数据包。

    1563342900915005.png

    注:进行第 4 步前,需要开通 云端运维服务具体步骤可参考 云端运维 。

    4.数据包整体结构

    1)月数据包

    解压后有多个日数据包+1 个日志文件夹+1 个月数据包信息文件( json 格式)。

    7.png

    2)日数据包内容

    日数据包解压后有 12 张表。

    8.png

    5.数据包构成

    5.1 包信息(package 表)

    应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。

    字段备注
    appname
    应用名称
    appid应用 id
    time包时间,比如 2018-11-01(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日)
    version云端运维版本

    5.2 当前容器配置情况(containermessage 表)

    应用所在容器,服务器的配置信息,每日记录一次。

    字段备注
    node
    节点名
    time时间,到日
    item配置项
    value

    其中 itme 包括:

    item说明
    containerMem
    容器设置的内存大小
    cpucpu 核数
    disk磁盘情况
    jdkVersion
    jdk 版本
    containerVersionweb 容器版本
    machineMem物理机内存
    system服务器操作系统
    systemNum服务器操作系统位数
    arch处理器架构,如 x86_64、x86
    diskSpeed磁盘存取速度
    buildNOjar 包版本
    licType注册类型(正式/临时)
    expireTime注册到期时间
    productVersion
    产品版本
    company公司名称
    projectName项目名称
    companyId
    公司ID

    5.3 模板属性(tplinfo 表)

    报表模板的各项信息,每张模板每天输出一天记录。

    字段备注
    cnums条件属性个数
    compformnums复杂公式的个数(包括层次坐标、sql、value 公式)
    dsnums数据集个数

    execute0-execute4

    执行时间的 5 级的分段记录
    filternums过滤个数
    formnums公式个数
    formula模板内公式使用情况
    id主键
    imgsize模板里图片的大小
    injectnums参数注入个数
    isfoldtree是否使用了折叠树
    isfrozen是否使用了冻结
    jsapi模板内 JS API 使用情况

    mem0-mem4

    内存使用量的 5 级的分段记录
    recordtime时间,到日,格式如:20190401
    sheetnums多 sheet 个数

    sql0-sql4

    sql 执行时间的 5 级的分段记录
    submitnums内置提交的个数
    tid模板 id
    tname物理模板名字( reportlets 下的完整路径)
    tsize模板总大小
    widgetnums控件个数
    time记录时间,时间戳格式

    5.4 模板使用情况(execute 表)

    模板的执行记录明细。

    字段备注
    id主键
    tname物理模板名字(reportlet 下的完整路径)
    displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
    time记录的时间,到秒即可
    memory报表占用内存,单位 B
    type报表访问方式
    consume后台耗时
    sqlTimesql 执行耗时间
    userId用户 ID
    complete是否计算完成
    source链接访问/平台访问
    reportId模板 ID

    5.5 sql执行情况(executesql 表)

    sql 的执行记录明细。

    字段备注
    executeid执行表 id
    dsname数据集的名称
    sqltimesql 执行时间,单位毫秒
    rows数据集规模,行
    columns数据集规模,列
    time执行时间,时间戳格式

    5.6 应用实时情况(realtimeusage 表)

    每分钟记录一条到 swift 中,导出指定日数据。

    字段备注
    node节点名
    time记录时间,每分钟一条
    memory当前 jvm 内存情况
    cpucpu 利用率
    sessionnum存活会话数
    onlinenum系统在线人数
    pid进程 pid

    5.7 功能使用情况(functionusagerate 表)

    功能点的使用情况。

    字段备注
    id功能点 id
    source功能点的类型,Original 类里面 embed 表示当前系统的,plugin 表示插件的埋点,undefined 表示没有定义来源
    time使用该功能的时间点,精确到秒
    text功能点的主要信息
    body埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(可能为空)
    username用户名 ID

    5.8 系统关闭情况(shutdownrecord 表)

    记录系统关闭前后的进程信息以及关闭类型。

    字段备注
    node节点名
    time当前时间
    pid进程 pid
    startTime进程开始时间
    upTime进程持续时间
    signalName信号量

    5.9 配置信息(confentity 表)

    每日将 FineDB 中的 fine_conf_entity 表中的特定信息记录一次。

    字段含义
    id数据在配置中的位置
    value数据值
    time该时间格式类似 2018-11-01 的形式,记为与包时间相同

    5.10 插件使用情况(pluginusage 表)

    插件的使用情况,每个插件每日记录一次。

    字段备注
    time记为与包时间相同
    plugin插件名
    version插件版本
    API插件中所用接口情况
    opration插件运行情况
    register插件注册情况
    enable插件是否启用

    5.11 功能点购买情况(functionpossess 表)

    功能点购买情况,每日记录一次。

    字段备注
    time生成时间,该时间格式类似 2018-11-01 的形式(记为与包时间相同)
    function功能点购买情况

    5.12 日志收集

    服务器日志会以压缩包的形式保存入 treasures 数据包,格式为:fanruan.log.2019-05-20.gz 在 logs 文件夹下;gc 日志以文件形式存入 treasures 数据包,格式为 fanruan.gc.log.2019-06-19,在 logs/gclogs 文件夹下。

    1)日志文件夹内容(logs 文件夹)

    日志文件夹下有多天的 fanruan.log 压缩文件以及一个 gclogs 文件夹,gclogs 文件夹打开后有多天的 fanuran.gc.log 文件。若在集群环境下  fanruan.gc.log 的后缀为节点名,如下图中所示:

    5.png

    2)月数据包信息文件(package.json)

    json 格式,其中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。

    1563332203852887.png

    注:导出指定日 gc 日志到云端运维日数据包中,集群下根据节点名区分不同节点。

    5.13 性能埋点收集(consumepoint 表)

    模板的性能情况,每日记录一次。

    字段备注
    id埋点 id 编号
    sourceOriginal 类里面 1 表示当前系统的,0 表示插件的埋点,-1 表示没有定义来源
    time开始时间
    finish结束时间

    consume

    耗时单位 ms
    memory内存大小 单位 byte
    title物理模板名字( reportlet 下的完整路径)
    textSessionID
    type操作类型
    comment可以是可以是更具体一些的信息,需要直接分析的数据
    body

    一个 json 数据结构,根据不同的埋点里面存放不同的信息

    username用户名 ID

    6.其他说明

    若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。

    (例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖)。


    附件列表


    主题: 数据决策系统
    标签: 暂无标签 编辑/添加标签
    如果您认为本文档还有待完善,请编辑

    文档内容仅供参考,如果你需要获取更多帮助,付费/准付费客户请咨询帆软技术支持
    关于技术问题,您还可以前往帆软社区,点击顶部搜索框旁边的提问按钮
    若您还有其他非技术类问题,可以联系帆软传说哥(qq:1745114201

    此页面有帮助吗?只是浏览 [ 去社区提问 ]