云端运维日志包表结构说明

  • 文档创建者:Wendy123456
  • 编辑次数:14次
  • 最近更新:Leo.Tsai 于 2019-12-05
  • 1. 版本

    报表服务器版本JAR 包版本
    10.02019-12-05

    2. 描述

    云端运维应用 这篇文档中提到了 treasures 这个数据包,有关这个数据包的具体 CSV 表结构,下面将详细说明。

    3. 数据包获取

    进入数据决策系统选择管理系统>智能运维>云端运维,点击下载数据即可下载云端运维数据包。

    Snag_151bda0c.png

    注:进行第 4 步前,需要登录帆软通行证,具体步骤可参考 云端运维应用 

    4. 数据包整体结构

    1)月数据包

    解压后有多个日数据包+一个月数据包信息文件( json 格式)。

    Snag_151ec116.png

    2)日数据包内容

    日数据包解压后有 9 张 CSV 表。

    Snag_151ffdcd.png

    3)日志导出

    服务器日志会以压缩包的形式保存入 treasures.zip 数据包。数据包中有两种文件,分别是:

    1)所选月份的日志文件(treasxxxxxx.zip)

    2)月数据包信息文件(package.json)

    Snag_14c37b7d.png

    其中,package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数,如下图所示:

    Snag_14c6e227.png

    5. 数据包构成

    5.1 package

    包信息表:应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。

    字段备注
    appname
    应用名称
    appid应用 ID
    time包时间,比如 2018-11-01(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日)
    version云端运维版本,2019-12-05版本 JAR 包更新后统一记为3.0

    5.2 execute

    模板使用情况表:记录模板的执行明细。

    字段备注
    id主键
    tname物理模板名字(reportlet 下的完整路径)
    displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
    time记录的时间,到秒即可
    memory报表占用内存,单位 B
    type报表访问方式
    consume后台耗时
    sqlTimeSQL 执行耗时间
    userId用户 ID
    complete是否计算完成
    source链接访问/平台访问
    reportId模板 ID
    brower
    浏览器
    sessionID会话ID,用于与性能埋点表中的前端渲染耗时相关埋点进行关联

    5.3 executeSql

    SQL执行情况表:记录 SQL 的执行明细。

    字段备注
    executeid执行表 ID
    dsname数据集的名称
    sqltimeSQL 执行时间,单位毫秒
    rows数据集规模,行
    columns数据集规模,列
    time执行时间,时间戳格式
    connection数据连接名
    connectionID数据连接标识 ID,用于与功能埋点表中的数据源连接相关埋点进行关联

    5.4 realTime

    应用实时情况表:应用的实时情况,每分钟记录一条。

    字段备注
    node节点名
    time记录时间,每分钟一条
    memory当前 jvm 内存情况
    cpuCPU 利用率
    sessionnum存活会话数
    onlinenum系统在线人数
    pid进程 pid
    templateRequest正在计算的模板请求数
    httpRequest总的正在处理的 http 请求数
    sessionRequest正在处理的带 SessionID 的请求数

    5.5 consumePoint

    性能埋点收集表:模板的性能情况,每日记录一次。

    字段备注
    id埋点 ID 编号
    sourceOriginal 类里面 1 表示当前系统的,0 表示插件的埋点,-1 表示没有定义来源
    time开始时间
    finish结束时间

    consume

    耗时单位 ms
    memory内存大小 单位 byte
    title物理模板名字( reportlet 下的完整路径)
    textSessionID
    type操作类型
    comment可以是可以是更具体一些的信息,需要直接分析的数据
    body

    一个 json 数据结构,根据不同的埋点里面存放不同的信息

    username用户名 ID

    5.6 focusPoint

    功能使用情况表:记录功能点的使用情况,以及各种埋点信息

    字段说明备注
    id埋点 ID 编号例如:FR-F4001
    source埋点来源功能点的类型,embed 表示当前系统的,plugin 表示插件的埋点,undefined表示没有定义来源
    time时间使用该功能的时间点
    username用户名用户名ID
    title标题主要内容
    text
    内容功能点的主要信息
    body埋点具体信息

    埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(次要信息,可能为空)

    字段 id 格式说明:

    例如:FR-F1001

    FR前缀,表示是FR的埋点。

    第一位字母表示功能/性能:F-功能、P-性能。

    第二位数字表示分类:1-数据源、2-前台、3-报错、4-智能运维、5-设计器。

    表中字段 id 和 body 之间的关系如下表所示:

    idbody作用
    FR-F1001

    id:数据连接标识

    version:数据源版本

    driver:连接驱动信息

    times:使用次数

    connecttime:创建连接的时间

    用于记录数据连接相关的信息
    FR-F3001记录具体的报错堆栈记录工程启动失败报错原因
    FR-F4001

    初版插件记录示例:{node:2,memory:16,situation:normal,inform:1,type:auto}

    node 为推荐节点数(推荐单机时记为1)

    memory 为推荐单机/单节点内存

    situation 为推荐的情况:记为"normal"时为正常推荐,"error"时为推荐值异常情况,"inequacy"时为运行数据不足情况,"nonsupport"时为不支持推荐配置。其中"normal"情况下 node 与 memory 有值,其余情况 node 与 memory 记为空

    inform 为是否进行了通知,记为1代表已通知,记为0代表未通知

    type 为推荐的类型,记为"auto"为根据一自然日运行数据进行推荐的结果,记为"manual"为用户访问接口链接推荐的结果

    内存配置推荐数值
    FR-F4002

    记录示例:{sessionid: xxxxxx, reason: release, detail: row count, load: high load, cell num: 100000, survival time: 600000}

    sessionid: 被清除的会话 id

    reason: 会话被清除的原因大类。包括 life(生命周期),limit(模板限制),release(智能释放)三项

    detail: 会话被清除的详细原因

    • reason 记为 life 时,此项记录为空。

    • reason 记为 limit 时,此项记录为:row count(单数据集行数限制),cell count(单模板单元格限制),sql time(sql执行时长限制),excel cell count(导入Excel单元格限制),commit row count(提交记录数限制),cartesian(填报笛卡尔积限制)

    • reason 记为 release 时,此项记录为:stop calculating

    load: 会话被杀时的系统的负载状况。包括endanger(危险状态),terrible load(超高负载),high load(高负载),normal load(中低负载)

    cell num:已计算的单元格个数

    survival time:存活时间

    记录会话因生命周期、模板限制被清除以及高负载时停止计算的情况
    FR-F4003

    记录示例:{type: high load kill, kill num time: 50, kill num cell: 50, session num: 300, load: terrible load}

    type: 包括high load kill(小杀),terrible load kill(大杀),remove all(超杀清除所有会话)

    kill num time: 因未更新时间过长被杀的会话数,type 为 removeAll 时记为空

    kill num cell: 因格子数过多被杀的会话数,type 为 removeAll 时记为空

    kill num sum: 被杀的会话数求和

    session num: 释放会话之前的会话总数

    load: 会话被杀时的系统的负载状况。包括 endanger(危险状态),terrible load(超高负载),high load(高负载),normal load(中低负载)

    记录 GC 回调触发的释放会话情况
    FR-F5001记录示例:{disk_beforegc:50, disk_aftergc:50}记录模板版本管理 GC 清理情况
    FR-F5002node:节点名

    time:进程关闭时间

    pid:进程 pid

    startTime:进程开始时间

    upTime:进程持续时间

    signalName:信号量

    系统关闭记录:记录系统关闭前后的进程信息以及关闭类型
    FR-F5003

    node:节点名

    containerMem:容器设置的内存大小

    cpu:CPU 核数

    disk:磁盘总空间

    diskUsed 磁盘已使用空间

    jdkVersion:JDK 版本

    containerVersion:Web容器版本

    machineMem:物理机内存

    system:服务器操作系统

    systemNum:服务器操作系统位数

    arch:处理器架构,如x86_64、x86

    diskSpeed:磁盘存取速度

    FRbuildNO:FR的 jar 包版本

    BIbuildNO:BI 的 jar 包版本(记录 BI 的 jar 包版本,未使用 BI 则记为空)

    serverType:服务器类型(cloud代表云服务器,local代表本地服务器)

    gcType:垃圾收集器类型

    容器配置情况:应用所在容器、服务器的配置信息。每日记录一次

    FR-F5004

    licType:注册类型

    expireTime:注册到期时间

    CTRID:合同 ID

    companyId:公司 ID

    productVersion:产品版本

    platformUserNum:用户人数

    用户基本信息:用户的注册信息等内容。每日记录一次

    FR-F5005

    tid:模板 ID

    tName:物理模板名字(reportlets下的完整路径)

    cNums:条件属性个数

    formNums:公式个数

    sheetNums:多 sheet 个数

    dsNums:数据集个数

    compFormNums:复杂公式的个数(包括层次坐标、SQL、Value公式)

    submitNums:内置提交的个数

    isFrozen:是否使用了冻结

    isFoldTree:是否使用了折叠树

    widgetNums:控件个数

    filterNums:过滤个数

    injectNums:参数注入个数

    formula:模板内公式使用情况

    jsAPI:模板内JS API使用情况(限制记录为255字符)

    tSize:模板总大小

    imgSize:模板里图片的大小

    lineEngine :是否启用行式引擎(1为启用,0为未启用)

    execute0-execute4:执行时间的5级的分段记录

    mem0-mem4:内存使用量的5级的分段记录

    sql0-sql4:SQL 执行时间的5级的分段记录

    模板属性信息:记录模板的各项信息,每张模板每日输出一条记录

    FR-F5006

    id:数据在配置中的位置

    value:数据值

    配置信息:每日将 FineDB 中的 fine_conf_entity 表中的特定信息记录一次

    FR-F5007

    plugin:插件名

    version:插件版本

    API:插件中所用接口情况

    opration:插件运行情况

    register:插件注册情况

    enable:插件是否启用

    插件使用情况:插件的使用情况,每个插件在每日记录一次

    FR-F5008function:功能点购买情况

    功能点购买情况:功能点购买情况,每日记录一次

    5.7 errorRecord

    错误日志记录表:记录系统中发生过的报错日志。

    字段含义
    tname出错的物理模板名字(reportlet下的完整路径)
    time出错记录时间
    displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
    platformDisplay

    是否在平台中显示(1为是,0为否)

    记录规则为:有记录到此表的错误日志,此字段记为1,反之此字段记为0

    username用户 ID(生成规则需和 excute 表中用户 ID 的生成规则保持一致)
    msg错误信息
    errorcode错误码
    trace错误路径

    5.8 gcRecord

    GC日志记录表:记录系统的 GC 信息。

    字段数据类型 & 单位备注
    gcStartTimelong timestampGC 开始时间
    gcTypeStringGC 类型
    gcCauseStringGC 的原因
    pidString进程pid
    nodeString用户命名的节点名,单机下记为空
    durationlong msGC 持续时间
    youngBeforeUsedlong KB年轻代 GC 前使用内存
    youngBeforeCommittedlong KB年轻代 GC 前申请内存
    youngAfterUsedlong KB年轻代 GC 后使用内存
    youngAfterCommittedlong KB年轻代 GC 后申请内存
    oldBeforeUsedlong KB老年代 GC 前使用内存
    oldBeforeCommittedlong KB老年代 GC 前申请内存
    oldAfterUsedlong KB老年代 GC 后使用内存
    oldAfterCommittedlong KB老年代 GC 后申请内存
    metaspaceBeforeUsedlong KBmetaspace GC 前使用内存
    metaspaceBeforeCommittedlong KBmetaspace GC 前申请内存
    metaspaceAfterUsedlong KBmetaspace GC 后使用内存
    metaspaceAfterCommittedlong KBmetaspace GC 后申请内存
    heapBeforeUsedlong KBGC 前堆使用内存
    heapBeforeCommittedlong KBGC 前堆申请内存
    heapAfterUsedlong KBGC 后堆使用内存
    heapAfterCommittedlong KBGC 后堆申请内存
    balancePromoterScoreint 分「分值的分」中止计算分值
    releasePromoterScore同上释放会话分值
    loadScore同上整体负载分值

    6. 注意事项

    若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。

    例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖。

    附件列表


    主题: 数据决策系统
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!