分类目录归档:大数据平台

带你了解大数据这些事


一文带你了解大数据这些事

介绍

如果您从大数据开始,通常会被众多工具,框架和选项所困扰。 在本文中,我将尝试总结其成分和基本配方,以帮助您开始大数据之旅。 我的目标是对不同的工具进行分类,并试图解释每个工具的目的以及它如何适应生态系统。

首先,让我们回顾一些注意事项,并检查您是否确实遇到大数据问题。 我将重点介绍可以在本地部署的开源解决方案。 云提供商为您的数据需求提供了几种解决方案,我将略微提及它们。 如果您在云中运行,则应真正检查可用的选项,并与开源解决方案进行比较,以了解成本,可操作性,可管理性,监控和上市时间。 > Big Data Ecosystem(仅供参考,不是最新...

Read more

Sqoop导入使用方法


从RDBMS(mysql)中导入数据到hdfs

全部导入(导入一个表中的数据)

在sqoop的安装目录下执行以下命令:

bin/sqoop import \
--connect jdbc:mysql://xxxx:3306/sqoop_test \
--username root \
--password 061111 \
--table staff \
--target-dir /user/sqoop \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

–connect:表示连...

Read more

Kudu常用SQL操作


建表语句

CREATE TABLE my_first_table
(
  id BIGINT,
  name STRING,
  PRIMARY KEY(id)
)
PARTITION BY HASH PARTITIONS 16
STORED AS KUDU;

CREATE TABLE kudu_testdb.perf_test_t1
(
id string ENCODING PLAIN_ENCODING COMPRESSION SNAPPY,
int_value int,
bigint_value bigint, 
timestamp_value timestamp, 
bool_v...

Read more

Clouder Hue 二次开发指引


使用CM 安装的童鞋可能会很困惑, HUE源码安装到那里去了, 要怎么修改呢?

首先安装位置在: /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/

如果你要修改认证模块:

desktop/core/src/desktop/auth/views.py
266 -- add tokenlogin
desktop/core/src/desktop/urls.py
59 -- add url

修改页面模板

desktop/core/src/desktop/templates/common_header.mako
226  -- addl...

Read more