分类标签归档:Python

使用webhdfs


最近在研究腾讯的TBDS产品, 但是没有相关的hdfs sdk, 因此自已就开发了一个 此sdk兼容其它平台的hdfs认证(InsecureClient, TokenClient)

安装tbds-hdfs

pip install tbds-hdfs

使用方法

获取client
SecretId = 'xxxxxxx'
SecretKey = 'xxxxxxx'
url = 'http://xxxx:50070;http://xxxxx:50070'  #支持高可用写法

from hdfs import TbdsClient
clien...

Read more

Python连接器使用说明


当SQL查询无法满足你的需求, 你需要对查询后的结果进行处理, 或者你需要使用Excel的数据源, 甚至你需要对不同系统的数据进行查询, Python连接器可以帮到你

# 内置函数说明
ds_get(id)    #输入目标数据集的id名, 可以获取目标数据集
ds_df(id)     #输入目标数据集的id名, 转化成pandas的df对象
ds_sql(conn_name, sql_str)     #输入连接池中的名称, SQL语句, 获取数据集
ds_list(df)   #将pandas的df对象转化成数据集
使用方法样列说明
# 读取Excel数据处理
import pa...

Read more

python常用的命令行操作


Python安装

useradd username -g usergroup
wget https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
https://repo.continuum.io/archive/index.html
./Anaconda3-5.3.0-Linux-x86_64.sh
# vi ~/.bashrc
source ~/.bashrc
# 包安装方法
pip install --upgrade pip
pip show Jinja2
pip list
pip install some....

Read more