SmartChart designed for you
她是一个数据集装箱, 让你非常方便的把数据组装起来后, 可使用统一的接口对外服务,支持系统间嵌入,实时,快速定制化开发. 你也可以理解为数据中台, 用可视化提供统一数据服务. 这是一个面向开发人员的平台, 实现数据的最后一公里
| 功能说明 | 函数说明 | 备注 |
|---|---|---|
| 文件上传 | smart_upload(csvfilepath) | |
| 获取数据 | get_dataset(id, param={}) | |
| 发送邮件 | dash_mail(标题, 内容, 邮件列表) | |
| 执行shell | run_bash(cmdStr) | |
| 执行datax | run_datax(job, para_dict) | |
| 执行sql | run_sql_file(sql_file, db_connect='starrocks', para_dict=None) |
假设API的返回格式为:
{'data':[{'a':1,'b':2},..]}
def _get_api_data(param):
import json, requests
param = json.loads(param)
res = requests.post(url=url, json=param).json()['data']
res = json.dumps(res).encode()
return res##apiConn=get_api_data
##param={ "p1": xxx,"也许你最近可能听过这样的新闻，某向量数据库的初创公司刚写好 PPT，就获得了几千万的投资，某公司的开源的向量数据库因其代码的简陋而登上了 Hackernews 等等。在过去几个月时间中， AI 应用的发展如火如荼，带动了 AI 应用技术栈上下游的火爆，而向量数据库就是其中最热门的之一。
过去几个月的时间，我们正处于人工智能的革命中，其中最耀眼的莫过于 GPT-3.5/4 的横空出世，而 GPT-3.5/4 带给我们无限震撼的同时，其天然的缺陷和诸多的限制也让开发者头痛不已，例如其输入端上下文（tokens）大小的限制困扰着很多的开发者和消费者，像 gpt-3.5-turbo 模
airflow支持基于时间的任务回跑, 这样我们就需要使用到airflow自带的参数, 如 "execution_date"
airflow能向任务传递的参数如下:
{'conf': , 'dag': , 'dag_run':,
'ds': '2022-07-13',
'ds_nodash': '20220713',
'execution_date': DateTime(2022, 7, 13, 2, 4, 33, 244294, tzinfo=Timezone('+00:00')),
'inlets': [],
'macros': ,
'next_ds': '2022-07-13',
SQL 有很多可用于计数和计算的内建函数。常用的函数有聚合函数、日期和时间函数、转换函数、窗口函数、字符串函数等。
| 名称 | 功能 | 备注 |
|---|---|---|
| AVG | 平均值 | |
| COUNT | 非空值的个数 | |
| FIRST | 第一个记录的值 | |
| LAST | 最后一个记录的值 | |
| MAX() | 最大值 | |
| MIN | 最小值 | |
| SUM | 总和 |
| 名称 | 功能 | 备注 |
|---|---|---|
| CURDATE | 当前日期 | |
| CURTIME | 当前时间 | |
| NOW | 当前日期和时间 | |
| UNIX_TIMESTAMP | 返回 UNIX 时间戳 | |
| DATE_ADD | 将两个日期相加 | |
| DATE_FORMA |
在数据抽取过程中, 如何通过目标数据库最大ID或时间等条件进行抽取, 这样可以将数据同步的粒度做得更细
在datax的数据同步设定中加入
##incColumn = 增量字段
##incDB = 目标查询DB[默认为starrocks]select
max(id) as maxid, max(event_day) as event_day
from targettablename
你可能需要自定义邮件内容, 甚至可能需要动态获取数据进行发送
msg = ['报表刷新成功', '<h1>刷新成功!!</h1>']
maillist = 'xxx@smartchart.cn'
#send_mail reportmail msg maillist
maillist = 'xxx@smartchart.cn,abc@xxx.cn'
def fun_msg():
result = get_dataset(123)['data']
JavaScript的Array可以包含任意数据类型，并通过索引来访问每个元素。 要取得Array的长度，直接访问length属性：
var arr = [1, 2, 3.14, 'Hello', null, true];
arr.length; // 6请注意，直接给Array的length赋一个新的值会导致Array大小的变化：
var arr = [1, 2, 3];
arr.length; // 3
arr.length = 6;
arr; // arr变为[1, 2, 3, undefined, undefined, u比如数据库中存在一些表, 这些表名后缀是按天命名的, 现在需要自动抽取汇总到同一个表中, 这样就需要用到循环抽取 smartpip中已有datax组件, 但只能进行单一表格抽取, 不能增加逻辑 所以我们需要使用到smartpip的diy组件功能 首先我们需要新一个datax抽取任务,在这个任务中我们传递参数ZYM, 比如:
#datax job1 ZYM之后再新一建一个diy任务, 实现循环抽取:
ZYM = '202001'
def fun_job2():
job = os.path.join(ETL_FILE_PATH , '项目名/job1.sql')
report