反馈已提交

网络繁忙

云端运维日志包表结构说明

  • 文档创建者:Wendy123456
  • 历史版本:22
  • 最近更新:Carly 于 2023-12-08
  • 1. 概述

    1.1 版本

    报表服务器版本功能变更
    11.0-
    11.0.3支持通过接口删除本地 treasures 数据包

    1.2 功能简介

    treasures 数据包的具体 CSV 表结构,下面将详细说明。

    2. 数据包获取

    管理员登录数据决策系统,点击「管理系统>智能运维>云端运维」,点击「下载日志」即可下载云端运维数据包。如下图所示:

    3. 数据包整体结构

    3.1 月数据包

    1)下载后的文件解压后,有多个月数据包+数据包信息文件( json 格式)。如下图所示:

    package.json 文件中信息为应用名称、应用 ID 、所有数据包所属月份以及该数据包所含月数据包的个数。

    2)单个月数据包解压后,有多个日数据包+该月数据包信息文件( json 格式)。如下图所示:

    package.json 文件中信息为应用名称、应用 ID 、该月数据包所属月份以及该月数据包所含日数据包的个数。

    3.2 日数据包

    日数据包解压后有多张 CSV 表。如下图所示:

    4. 数据表-通用&FR

    4.1 package

    应用的基本信息,每个数据包里都包含这个,用于鉴别数据包的来源。

    字段含义
    appname应用名称
    appid应用ID
    time数据包时间,例如20230905(自动导出情况下:每日凌晨四点导出前一天的包,记为导出日期的前一日)
    version云端运维版本
    DAU当日登录该工程的用户数
    gcRecord当日该工程GC次数
    BIUpdateTask当日该工程BI更新任务数
    BIExecute当日用户访问该工程FineBI仪表板次数
    recordOperate当日用户对该工程进行管理操作次数
    execute当日用户访问该工程FineReport模板次数
    focusPoint当日该工程功能点使用次数
    honeypot埋点记录次数
    realTime当日该应用实时情况记录次数
    engineQueryPerformance引擎埋点记录次数
    biDailyOperation当日用户对该工程FineBI仪表板、组件、数据集编辑查看次数
    BIUpdateTaskDetail当日该工程BI更新任务明细记录数
    fdlExecutorTaskFDL任务/节点/算子运行情况记录次数
    logpoint埋点报错信息记录次数
    biUserLifecycleFineBI用户流失记录条数
    consumePoint当日该工程模板性能记录次数
    recordWrite当日该工程FineReport报表填报次数
    templateError当日该工程报错日志记录条数
    processLog当日该工程云端运维任务运行次数
    executeSqlSQL 执行记录明细条数

    4.2 execute

    模板使用情况,记录模板的执行明细。

    字段备注
    id主键
    tname物理模板名字(reportlet 下的完整路径)
    displayName挂载到平台的目录名称(全路径),如果直接访问链接则为空
    time记录的时间,到秒即可
    memory报表占用内存,单位 B
    type报表访问方式
    consume后台耗时
    sqlTimeSQL 执行耗时间
    reportId模板 ID
    userId用户 ID
    ip用户所在ip(加密导出)
    complete是否计算完成
    source链接访问/平台访问
    brower
    浏览器
    sessionID会话ID,用于与性能埋点表中的前端渲染耗时相关埋点进行关联
    node加载模板的节点名
    error模板执行过程中第一个报错信息
    webInfo

    模板执行信息

    webResolution:当前模板执行在前端访问时的分辨率,记录格式为x*y

    fullScreen:当前模板执行在前端访问时是否是全屏模式,记录格式为1/0

    fineMarkId一个用户的标识id(用于判断非登录场景下的用户数)
    estimate估算内存(非格子计算),单位KB
    frFullVersionFineReport工程模块版本
    biFullVersionFineBI工程模块版本
    cloudVersion云端运维插件版本

    4.3 executesql

    记录 SQL 的执行记录明细。

    字段备注
    time执行时间,时间戳格式
    executeid执行表 ID
    dsname数据集的名称
    sqltimeSQL 执行时间,单位毫秒
    rows数据集规模,行
    columns数据集规模,列
    connection数据连接名
    connectionID数据连接标识 ID,用于与功能埋点表中的数据源连接相关埋点进行关联

    4.4 realTime

    应用的实时情况,每分钟记录一条。

    字段备注
    time记录时间,每分钟一条
    node节点名
    cpuCPU 利用率
    memory当前 jvm 内存情况
    sessionnum存活会话数
    onlinenum系统在线人数
    pid进程 pid
    templateRequest正在计算的模板请求数
    httpRequest总的正在处理的 http 请求数
    sessionRequest正在处理的带 SessionID 的请求数
    fineIOfineIO占用堆外内存大小,单位 KB
    NIONIO占用堆外内存大小,单位 KB
    bufferMemUse堆外使用总内存,directMem「nio」和mappedMem,单位 KB
    physicalMemUse物理内存已使用空间,单位 KB
    physicalMemFree物理内存空闲空间,单位 KB

    4.5 consumepoint

    模板的性能情况,每日记录一次。

    字段含义备注
    id埋点 id 编号
    source埋点来源

    Original 类

    1 表示当前系统的

    0 表示插件的埋点

    -1 表示没有定义来源

    time开始时间开始时间(时间戳格式)
    username用户名ID进行了转码处理
    ip用户ip进行了转码处理
    finish结束时间FineReport 字段,FineBI不适用
    consume耗时,单位 ms-
    memory
    内存大小,单位 byteFineReport 字段,FineBI不适用
    title
    资源 id可以是模板id,分析表id,表id等
    text
    资源内容FineReport 字段,FineBI不适用
    type
    操作类型FineReport 字段,FineBI不适用
    comment资源备注FineReport 字段,FineBI不适用
    body埋点具体信息-
    frFullVersionFineReport工程模块版本-
    biFullVersionFineBI工程模块版本-
    cloudVersion云端运维插件版本-

    4.6 focusPoint

    记录功能点的使用情况,以及各种埋点信息。

    字段说明备注
    id功能点 id例如:FR-F4001
    source埋点来源

    功能点的类型

    embed 表示当前系统的

    plugin 表示插件的埋点

    undefined表示没有定义来源

    time时间使用该功能的时间点
    username用户名用户名ID,进行了转码处理
    ip用户IP用户IP进行了转码处理
    title标题主要内容
    text
    内容功能点的主要信息
    body埋点具体信息

    埋点具体信息,一个 json 数据结构,根据不同的埋点里面存放不同的信息(次要信息,可能为空)

    frFullVersionFineReport工程模块版本-
    biFullVersionFineBI工程模块版本-
    cloudVersion云端运维插件版本-

    4.7 templateError

    错误日志记录表:记录系统中发生过的报错日志。

    字段含义
    tname出错的物理模板名字(reportlet下的完整路径)
    time出错记录时间
    displayName

    挂载到平台的目录名称(全路径)

    如果为空时,判断 platformDisplay是否为0,为零时平台前端显示处理为国际化的“非挂载访问”

    result

    是否成功预览

    1:预览成功

    0:预览失败

    code错误代码
    platformDisplay

    是否挂载访问

    1:表示挂载访问

    0:表示url访问

    username

    执行报表的用户

    notLogged:表示未登录访问

    fromSchedule:表示来自定时调度

    4.8 gcRecord

    记录系统的 GC 信息。

    字段数据类型 & 单位备注
    timelong timestamp记录时间
    gcStartTimelong timestampGC 开始时间
    gcTypeStringGC 类型
    gcCauseStringGC 的原因
    pidString进程pid
    nodeString用户命名的节点名,单机下记为空
    durationlong msGC 持续时间
    youngBeforeUsedlong KB年轻代 GC 前使用内存
    youngBeforeCommittedlong KB年轻代 GC 前申请内存
    youngAfterUsedlong KB年轻代 GC 后使用内存
    youngAfterCommittedlong KB年轻代 GC 后申请内存
    oldBeforeUsedlong KB老年代 GC 前使用内存
    oldBeforeCommittedlong KB老年代 GC 前申请内存
    oldAfterUsedlong KB老年代 GC 后使用内存
    oldAfterCommittedlong KB老年代 GC 后申请内存
    metaspaceBeforeUsedlong KBmetaspace GC 前使用内存
    metaspaceBeforeCommittedlong KBmetaspace GC 前申请内存
    metaspaceAfterUsedlong KBmetaspace GC 后使用内存
    metaspaceAfterCommittedlong KBmetaspace GC 后申请内存
    heapBeforeUsedlong KBGC 前堆使用内存
    heapBeforeCommittedlong KBGC 前堆申请内存
    heapAfterUsedlong KBGC 后堆使用内存
    heapAfterCommittedlong KBGC 后堆申请内存
    balancePromoterScoreint 分「分值的分」中止计算分值
    releasePromoterScore同上释放会话分值
    loadScore同上整体负载分值

    4.9 processLog

    记录云端运维任务运行相关的日志。

    字段含义
    time时间
    node节点
    process流程

    4.10 recordOperate

    管理日志表,即用户对模块进行操作的时候,将会在该表中添加一条记录,并在相应字段中填写其对应的信息记录。

      字段

    备注

    type模块(存国际化的 key)
    item设置项
    operation操作
    username  用户名
    ip用户 IP 地址
    time用户操作时间

    4.11 recordWrite

    填报表:记录填报日志信息,即如果报表进行填报的时候,将会在该表中添加一条记录,并在相应字段中填写其对应的信息记录。

    字段  

    备注

    username填报报表的用户
    tname  仪表板存放路径
    time填报时间
    result是否填报成功
    ip填报报表的IP地址
    displayName

    仪表板的实际名称,非「目录管理」中仪表板的名称

    如果直接访问链接则为空

    browser客户端访问报表所用的浏览器版本
    consume执行耗时,包括 SQL 执行时间,报表计算时间
    body用json数据结构记录以下信息(times, max,min,avg)

    times:该类请求出现次数,单位:次

    max:该类请求最大响应时长,单位:ms

    min:该类请求最小响应时长,单位:ms

    avg:该类请求平均响应时长,单位:ms

    frFullVersionFineReport工程模块版本
    biFullVersionFineBI工程模块版本
    cloudVersion云端运维插件版本

    5. 数据表-FDL

    5.1 fdlExecutorTask

    记录FDL任务/节点/算子运行情况

    字段
    含义
    id主键
    targetId任务/节点/算子ID
    category

    一级分类(区分任务 OR 节点 OR 算子)

    0:任务

    1:节点

    2:算子

    type

    二级分类

    1)任务

    SCHED:定时任务

    2)节点
    DATA_SYNC数据同步
    DATA_FLOW数据转换
    SQLSQL脚本
    PARAM参数赋值
    CONDITION条件分支
    VIRTUAL虚拟节点
    SUB_WORK调用任务
    MESSAGE消息通知
    LOOP循环容器
    SHELL_NODEShell脚本

    3)算子
    PARAM_OUTPUT参数输出
    数据源_READER数据源_输入
    数据源_WRITER数据源_输出

    beginTime执行开始时间 (时间戳格式)
    endTime执行结束时间 (时间戳格式)
    status

    执行状态

    任务和算子只有SUCCESS和FAILED状态

    节点状态有SUCCESS、FAILED、EXECUTOR_LINE_NOT_MATCH

    lasting执行耗时
    extraInfo

    执行补充信息(JSON)

    execUser:执行用户(仅任务包含,定时调度触发或作为子任务被调用时值固定为SYSTEM、手动运行时值为对应用户)
    errDetail:错误详情(仅失败任务包含,记录任务运行报错详情,与任务运维中运行结果为“报错”的任务的“报错信息”保持一致即可)
    execThroughput:执行吞吐量
    readRows读取数据行数
    writeRows写入数据行数
    updateRows更新数据行数
    deleteRows删除数据行数
    errorRows错误数据行数

    time数据入库时间,logdb自动生成(Swift表清理需要)

    6. 删除工程下数据包

    若曾自动/手动上传云端运维数据到帆软市场,那么在工程%FR_HOME%\webapps\webroot\WEB-INF\treasures目录下会对应生成上传的云端运维数据包。

    用户可通过接口快速删除工程目录下的云端运维数据包。

    管理员登录数据决策系统后,在浏览器新页面访问http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=X,显示success即为删除成功。

    每10分钟内可请求一次,X为删除的最近月份数量。

    例如:

    系统下存在2022年2-7月的数据,7月份访问http://IP:port/webroot/decision/v10/cloud/analytics/delete/treasure?month=3

    系统将自动删除执行日期起,最近三个月的云端运维数据包,仅保留2022年2-4月的数据

    7. 注意事项

    若导出数据包时该日数据包已存在,则先将该日数据包删除后再导出,即进行覆盖操作。

    (例如 2019-03-02 日凌晨四点会导出 2019-03-01 日数据包。而在 2019-03-01 日用户进行过手动下载,已生成当日数据包,2019-03-02 日凌晨四点导出的数据包则会将之前生成的数据包覆盖)。

    附件列表


    主题: 数据决策系统
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持