← 返回
数据分析

DataEngineering

OpenClaw 数据建表规范与流程指导。当用户需要创建数据仓库表(DDL)时使用,支持 DWS/DWD/DIM/ADS 等层级,引导完成工作空间选择、表命名、字段定义、分区策略、生命周期等完整建表流程。
OpenClaw 数据建表规范与流程指导。当用户需要创建数据仓库表(DDL)时使用,支持 DWS/DWD/DIM/ADS 等层级,引导完成工作空间选择、表命名、字段定义、分区策略、生命周期等完整建表流程。
jiangyan0722
数据分析 clawhub v1.0.0 1 版本 100000 Key: 无需
★ 1
Stars
📥 567
下载
💾 16
安装
1
版本
#latest

概述

OpenClaw 建表规范

使用流程

当用户需要建表时,按以下顺序确认关键信息:

1. 工作空间确认

询问用户要在哪个工作空间(Schema/数据库)建表:

  • 生产环境:prod_workspace
  • 测试环境:test_workspace
  • 开发环境:dev_workspace

2. 数据层级与数据域确认

数据层级(必选其一):

层级代码说明
------------------
数据仓库明细层dwd清洗后的明细数据
数据仓库汇总层dws按主题汇总的轻度汇总表
维度表dim维度数据(用户、商品等)
应用数据层ads面向应用的数据集市
原始数据层ods原始接入数据

数据域(根据业务选择):

  • usr - 用户域
  • ord - 订单域
  • prd - 商品域
  • trd - 交易域
  • mkt - 营销域
  • log - 日志域
  • fin - 财务域
  • 其他自定义域

3. 表调度策略确认

维度选项代码
------------------
调度周期天级d
小时级h
分钟级min
更新方式全量full
增量inc

表名拼接规则

【工作空间】.【数据层】_【数据域】_【业务描述】_【调度周期】【更新方式】

示例

  • prod_workspace.dws_ord_daily_order_stats_df (天级全量)
  • prod_workspace.dwd_ord_order_detail_di (天级增量)
  • prod_workspace.dws_usr_user_active_hr (小时级)

4. 字段定义收集

必须提供以下信息:

  • 字段英文名:蛇形命名(如 user_id, order_amount
  • 字段中文名:清晰业务含义
  • 数据类型:STRING/BIGINT/DOUBLE/DATETIME/DECIMAL(p,s) 等

常用字段模板

-- 基础审计字段(强烈建议)
`gmt_create`    DATETIME COMMENT '数据创建时间',
`gmt_modified`  DATETIME COMMENT '数据修改时间',
`ds`            STRING   COMMENT '数据日期,格式yyyyMMdd',

5. 表注释

必须提供表级 COMMENT,格式:

COMMENT '【数据域】_【业务描述】_【调度说明】,【主要字段说明】'

6. 分区字段

推荐分区策略

调度类型分区字段说明
------------------------
天级表ds STRING日期分区,格式 yyyyMMdd
小时级ds STRING, hr STRING日期+小时分区
全量表可选无分区按业务需要

分区示例

PARTITIONED BY (`ds` STRING COMMENT '数据日期,格式yyyyMMdd')

7. 存储格式

默认使用 ALIORC

STORED AS ALIORC

特殊情况可选项:

  • STORED AS ALIORC - 推荐,高压缩率
  • STORED AS TEXTFILE - 纯文本,调试用

8. 生命周期(TTL)

按数据层级设置默认 TTL:

层级建议 TTL说明
---------------------
ODS30-90 天原始数据短期保留
DWD180-365 天明细数据中期保留
DWS365-730 天汇总数据长期保留
ADS90-365 天应用数据按需保留
DIM365 天或无维度表通常长期保留

TTL 语法

TBLPROPERTIES ('lifecycle'='30')

完整建表示例

CREATE TABLE IF NOT EXISTS prod_workspace.dws_ord_daily_order_stats_df (
    -- 维度字段
    `stat_date`         STRING      COMMENT '统计日期,格式yyyy-MM-dd',
    `merchant_id`       BIGINT      COMMENT '商家ID',
    `merchant_name`     STRING      COMMENT '商家名称',
    `category_id`       BIGINT      COMMENT '类目ID',
    
    -- 指标字段
    `order_cnt`         BIGINT      COMMENT '订单笔数',
    `order_amount`      DECIMAL(18,2) COMMENT '订单金额',
    `paid_cnt`          BIGINT      COMMENT '支付笔数',
    `paid_amount`       DECIMAL(18,2) COMMENT '支付金额',
    `refund_cnt`        BIGINT      COMMENT '退款笔数',
    `refund_amount`     DECIMAL(18,2) COMMENT '退款金额',
    
    -- 衍生指标
    `gmv`               DECIMAL(18,2) COMMENT 'GMV',
    `actual_amt`        DECIMAL(18,2) COMMENT '实际成交金额',
    
    -- 审计字段
    `gmt_create`        DATETIME    COMMENT '数据创建时间',
    `gmt_modified`      DATETIME    COMMENT '数据修改时间'
)
COMMENT '订单域_商家每日订单统计_天级全量,包含订单数、金额、退款等核心指标'
PARTITIONED BY (`ds` STRING COMMENT '数据日期,格式yyyyMMdd')
STORED AS ALIORC
TBLPROPERTIES ('lifecycle'='365');

字段命名规范

数据类型后缀(可选但推荐)

类型后缀示例
------------------
数量/次数_cntorder_cnt, pv_cnt
金额_amt / _amountorder_amt, pay_amount
比率/比例_rate / _ratioconversion_rate
标识/ID_iduser_id, order_id
时间_timecreate_time, pay_time
日期_date / _dtstat_date, birth_dt
标记/Flag_flag / _is_xxxis_vip, del_flag

常见缩写

全称缩写示例
------------------
countcntorder_cnt
amountamtpay_amt
numbernumserial_num
identifieriduser_id
timestamptscreate_ts
datetimedtlog_dt

快速核对清单

建表完成后,确认以下事项:

  • [ ] 工作空间正确
  • [ ] 表名格式符合规范:{层}_{域}_{业务}_{调度}
  • [ ] 所有字段都有 COMMENT
  • [ ] 表有 COMMENT
  • [ ] 分区字段已定义(非全量表)
  • [ ] 存储格式为 ALIORC
  • [ ] TTL 已设置且合理

版本历史

共 1 个版本

  • v1.0.0 当前
    2026-03-30 02:01 安全 安全

安全检测

腾讯云安全 (Keen)

安全,无风险
查看报告

腾讯云安全 (Sanbu)

安全,无风险
查看报告

🔗 相关推荐

data-analysis

Excel / XLSX

ivangdavila
创建、检查和编辑 Microsoft Excel 工作簿及 XLSX 文件,支持可靠的公式、日期、类型、格式、重算及模板保留功能。
★ 367 📥 140,147
data-analysis

Stock Analysis

udiedrichsen
{"answer":"基于雅虎财经数据,分析股票与加密货币。支持投资组合管理、自选股预警、股息分析、8维评分、热门趋势扫描及传闻/早期信号探测。适用于股票分析、持仓追踪、财报异动、加密监控、热门股追踪或提前发掘非主流传闻。"}
★ 270 📥 56,914
data-analysis

A股量化 AkShare

mbpz
A股量化数据分析工具,基于AkShare库获取A股行情、财务数据、板块信息等。用于回答关于A股股票查询、行情数据、财务分析、选股等问题。
★ 164 📥 59,799