数字化商业模型包括5个重点领域:IT系统、客户、生态、物联和智能。
其中"数据中台" 是贯穿所有领域的核心, 数字化基础平台非常重要
常见html组件
常见html组件
类型 | 标签 | 说明 | 效果 |
---|---|---|---|
文字 | h1..h6 | <h4>我是中号字体</h4> |
我是中号字体 |
文字 | br | 换行 | |
图片 | img | <img src="smiley-2.gif" alt="Smiley face" width="42" height="42"> |
|
嵌入 | iframe | <iframe src="http://www.smartchart.cn"></iframe> |
|
链接 | a | <a href="http://www.smartchart.cn" target="_blank" |
常用样式参考
样式操作:
要想大屏做得好, 样式要写得好 可是我们不是前端的同学也能写样式么 当然可以, 相信你观看完以下视屏即可
smartchart开发方法, 参考专业版本开发文档
基础样式入门:
CSS介绍
CSS(Cascading Style Sheet,层叠样式表)定义如何显示HTML元素。 当浏览器读到一个样式表,它就会按照这个样式表来对文档进行格式化(渲染)。
CSS语法
CSS实例
每个CSS样式由两个组成部分:选择器和声明。声明又包括属性和属性值。每个声明之后用分号结束。
CSS注释
/*这是注释*/
注释是代码之母, smartchart编辑中你可以使用CTRL+/
为什么要建设数据中台
什么是数据中台
数据中台这个名词出现很久了, 最初2014年马云正式提出“DT(Data Technology)”的概念,人类从IT时代走向DT时代,阿里内部的数据平台事业部大刀阔斧的建立整个集团的数据资产,同年,阿里从芬兰Supercell公司接触到中台概念后,在集团内部积极践行,开创了“大中台、小前台”的组织机制和业务机制,通过高效、统一的后方系统来支撑快速变化的前端业务,提高业务产出效率,减少成本投入
关于数据中台有以下几个功能特点: 1)数据中台具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现核心能力。 2)数据中台的核心就是实现公共计算逻辑下沉,实现数据复用,提供给接口
为什么建设一下传统的数据中台那么贵
为什么建设一下传统的数据中台那么贵, 我给大家分析一下:
- 比如建设一个基于Hadoop生态的大数据平台, 你可能会选择CDH, 商业版本大概是7W一台服务器每年, 至少要6台服务器吧, 一年投入差不多要40W
- 你还需要一个BI工具, 一般商业BI工具一年30-50W左右
- 要做数据开发, 总得要数据开发平台, 任务调度平台这些吧, 一般价格在20-30W左右 然后基本上线开始做BI了, 这时还算不上数据中台, 也是就是个大数据仓库
- 后来你会发现BI太慢了, 这个时候又需要购买OLAP加速引擎, 比如Kyligence, 一年50W左右
- 有了数据, 总得提供数据服务吧, 还得采购低代码的数据服务
smartpip使用方法sample
一个完整的sample
//获取变量,以下为python语法(option)
P_DAYS = 12
MSG = '------------------------------------------------------------'
report_time = datetime.datetime.now()- datetime.timedelta(days=int(P_DAYS))
P_START_ZYM= report_time.strftime('%Y%m')
//以下为JOB专署语法
#link lastdag 30 3600 --
smartpip不常用驱动使用方法
sqoop
填写以下内容到你的SQL文件, 比如命名为: mysqoop.sql
/*
conn = zspl -- 连接串, 找管理员要, 也可自定义, (必填)
sourceTable = tablename -- 源系统表名,(必填)
columns = -- 抽取原表的字段 a,b,c (可省略)
where = -- 抽取时的条件 a>1 (可省略)
seq = -- 分隔符, 默认 \t (可省略)
query = -- 查询语名,
使用SmartPip监控Starrocks的Routine Load
什么是Routine Load
Starrocks支持例行导入(Routine Load)功能,提交一个常驻的导入任务,通过不断的从指定的数据源读取数据,将数据导入到 StarRocks 中。
什么是SmartPip
smartpip是我们基于airflow研发的任务调度平台, 针对定时导入kafka数据到starrocks, 已实现了一个配置即可实现 但是如果对实时监听kafka导入, 并不太合适, 所以本文将介绍如何使用starrocks自带的routine load的功能,同时来使用smartpip实现监控功能
如何实现
在smartchart中新建一个数据集, 查询内容:
SHOW
Starrocks与Magiccube
什么是 StarRocks
StarRocks 是新一代极速全场景MPP数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理,就可以用 StarRocks 来支持多种数据分析场景的极速分析。
StarRocks 的架构简洁,采用了全面向量化引擎,并配备全新设计的 CBO 优化器,查询速度(尤其是多表关联查询)远超同类产品。
StarRocks 能很好地支持实时数据分析,并能实现对实时更新数据的高效查询。StarRocks 还支持现代化物化视图,以进一步加速查询。
使用 StarRocks,用户可以灵活构建包括大宽表、星型模型、雪花模型在内的各类模
使用webhdfs
最近在研究腾讯的TBDS产品, 但是没有相关的hdfs sdk, 因此自已就开发了一个 此sdk兼容其它平台的hdfs认证(InsecureClient, TokenClient)
安装tbds-hdfs
pip install tbds-hdfs
使用方法
获取client
SecretId = 'xxxxxxx'
SecretKey = 'xxxxxxx'
url = 'http://xxxx:50070;http://xxxxx:50070' #支持高可用写法
from hdfs import TbdsClient
client =