分类目录归档:数据管道

Smart智慧数据处理常见问题


使用说明

点击进入使用说明

常见的安装问题:

- 如果无法看到图标或运行出错, 你的系统可能缺失以下依赖包, 请安装:

微软VSTO组件

- 安装完后还看不到图标, 可在EXCEL中点击 文件 -> 选项 , 最下方 管理 中选 "COM 加载项" 然后 点击 "转到", 如下图, 将SmartData的勾打上

- 如果还无法使用, 你可能还需要安装Frame插件:

微软.NET Framework 4.5

- 如果出现如下受信任的发布者问题, 你可在EXCEL中点击 文件 --> 选项 --> 信任中心 --> 加载项 --> 将勾选的选项取消

- ...

Read more

KETTLE使用指南


Kettle工程存储方式有两种:一种是以XML形式存储,一种是以资源库方式存储。

Kettle中有两类设计分别是:Transformation(转换)与Job(作业),Transformation完成针对数据的基础转换,Job则完成整个工作流的控制。

 

Kettle常用三大家族:Spoon、Pan、Kitchen。

Spoon:通过图形界面方式设计、运行、调试Job与Transformation。

Pan: 通过脚本命令方式来运行Transformation。

Kitchen: 通过脚本命令方式来运行Job,一般就是通过调用Kitchen脚本来完成定时任务。

目前Kettle有两种版本...

Read more

数据上传设定指南


Smart Data 支持非常便捷的手工数据管理:

  • 无需开发ETL, 快速设定, 快速上传
  • 支持数据质量校验, 上传提示, 邮件通知, 上传模板管理
  • 权限管理, 数据预清洗, 支持自动增加时间戳和上传人字段
  • 可上传到任意数据源, 统一数据收集入口
  • 智能转码, 为你解决上传数据乱码的烦恼
  • 同时支持EXCEL和CSV上传
  • 支持下载历史数据,修改后上传

以上传大数据平台为例, 做基本流程介绍:

STEP1: 自动生成建表语句, 建意下载我们的开发工具 数据处理与开发工具 STEP2: 完成简单的配置即可

STEP3: 高级配置(此步骤为可选),填写我们上传完成后, 需要做的进一步处理...

Read more

DAG设定方法


关于任务调度的配置方法:

--在airflow中可自义参数, 如下方法可获取自定义参数或直接python生成
OPG_LOAD_DAYS = Variable.get("OPG_LOAD_DAYS") //airflow中获取
MSG = Variable.get("MSG")
report_time = datetime.datetime.now()- datetime.timedelta(days=int(OPG_LOAD_DAYS))
P_START_ZYM= report_time .strftime('%Y%m') //...

Read more