分类目录归档:开发相关

使用webhdfs


最近在研究腾讯的TBDS产品, 但是没有相关的hdfs sdk, 因此自已就开发了一个 此sdk兼容其它平台的hdfs认证(InsecureClient, TokenClient)

安装tbds-hdfs

pip install tbds-hdfs

使用方法

获取client
SecretId = 'xxxxxxx'
SecretKey = 'xxxxxxx'
url = 'http://xxxx:50070;http://xxxxx:50070'  #支持高可用写法

from hdfs import TbdsClient
client =

Read more

Python连接器使用说明


当SQL查询无法满足你的需求, 你需要对查询后的结果进行处理, 或者你需要使用Excel的数据源, 甚至你需要对不同系统的数据进行查询, Python连接器可以帮到你

# 内置函数说明
ds_get(id)    #输入目标数据集的id名, 可以获取目标数据集
ds_df(id)     #输入目标数据集的id名, 转化成pandas的df对象
ds_sql(conn_name, sql_str)     #输入连接池中的名称, SQL语句, 获取数据集
ds_list(df)   #将pandas的df对象转化成数据集
使用方法样列说明
# 读取Excel数据处理
import panda

Read more

Pandas与SQL对比


与SQL比较

大多数示例将使用tipspandas测试中找到的数据集。我们将数据读入名为tips的DataFrame中,并假设我们有一个具有相同名称和结构的数据库表。

In [3]: url = ('https://raw.github.com/pandas-dev'
   ...:        '/pandas/master/pandas/tests/data/tips.csv')
   ...: 

In [4]: tips = pd.read_csv(url)

In [5]: tips.head()
Out[5]: 
   total_bill   t

Read more

SMARTCHART与Jupyter notebook


Smartchart支持像pyecharts, Matplotlib 等python绘图工具一样在Jupyter中使用, 更加方便, 更加炫酷 和 通用化, 不仅仅是一个绘图工具, 而且是一个平台

我们有什么不一样:

  • 使用上手非常简单, 仅仅只有两个命令, get and set
  • 配置项采用原生的Echarts配置, 无重复学习成本, 使用顺滑
  • 支持Echarts所有功能, 可定制化程度高, 显示效果好
  • 数据可以固化存储, 采用smartchart Portal可以直接拼接炫酷大屏
  • 可嵌入也可以弹出窗口显示, 也可以dashboard中显示

安装使用方法

pip install smar

Read more

ECharts 基础概念


Smartchat基于Echarts,所以开发Smartchart,你需要了解下ECharts基础概念

只需要围绕option进行定制设定。echarts 的使用者,使用 option 来描述其对图表的各种需求,包括:有什么数据、要画什么图表、图表长什么样子、含有什么组件、组件能操作什么事情等等。简而言之,option 表述了:数据、数据如何映射成图形、交互行为。

echarts 实例

一个网页中可以创建多个 echarts 实例。每个 echarts 实例 中可以创建多个图表和坐标系等等(用 option 来描述)。准备一个 DOM 节点(作为 echarts 的渲染容器),就可以在上面创建

Read more

Django常用Import模块


#用户相关
from django.contrib.auth import models
from django.contrib.auth import authenticate
from django.contrib.auth.models import Group,User

#Model,Admin,Form, Url中需引用
from django.conf import settings
from django.db import models
from django.contrib import admin
from django import forms
from django.

Read more

Tableau嵌入参数设置


URL 参数  值   说明  示例
:alerts no  隐藏嵌入视图中的“通知”按钮。
http://tabserver/views/Date-Time/DateCalcs?:embed=yes&:alerts=no
:customViews    no  “记住我的更改”选项。
http://tabserver/views/Date-Time/DateCalcs?:embed=yes&:customViews=no
:device desktop; tablet; phone  
如果仪表板具有适用于移动设备的布局,则会显示一个特定布局,而不考虑屏幕大小。如果未设置此参

Read more

KETTLE配置


配置你的kettle变量:

##### Windows:
C:\Users\你的用户名\.kettle\kettle.properties

##### Linux:
~/.kettle\kettle.properties

需要重启kettle才能生效  
之后就可以使用kettle的变量  

Kitchen——工作(job)执行器 (命令行方式)
Span——转换(trasform)执行器 (命令行方式)
这里我们重点讲一下 Kitchen.bat作业执行器 ,这个是经常要用到的。
它是一个作业执行引擎,用来执行作业。这是一个命令行执行工具,它的参数说明如下:
    -rep     

Read more