Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
4个月前 (12-23) 4738℃ 1评论
2喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
4个月前 (12-20) 4488℃ 0评论
0喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
4个月前 (12-18) 4478℃ 0评论
0喜欢
Lag和Lead分析函数可以在同一次查询中取出同一字段的后N行的数据(Lag)和前N行的数据(Lead)作为独立的列。
这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率，其中over()表示当前查询的结果集对象，括号里面的语句则表示对这个结果集进行处理。
1 LEAD...
柯广
4个月前 (12-17) 3673℃ 0评论
0喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
4个月前 (12-15) 3656℃ 0评论
0喜欢
发展史
时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。
时间就是一把尺子，它能衡...
柯广
4个月前 (12-13) 2483℃ 0评论
0喜欢
分层建设理论
简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽象、总结。
数仓的建模或者分层，其实都是为...
柯广
4个月前 (12-12) 2254℃ 0评论
0喜欢
建模方法论
数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。小到JVM 内存区域的划分，JVM 中堆空间的划分(年轻代、老年代、方法区等)，大到国家的省市区的划分，无一例外的都是为了更好的组织管理
...
柯广
4个月前 (12-08) 2853℃ 0评论
0喜欢
前面遇到过一次因为Hive中表被锁住了，导致定时任务一直失败。这两天又出现了表被锁，原因是连接hiveserver2过于频繁，mysql连接被打满，引发的连锁反应，导致我们的小时任务一直失败，下午重点注意到这个问题，才解决好。
Hive中的锁
在执行insert into或ins...
柯广
4个月前 (12-07) 2001℃ 0评论
0喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
5个月前 (11-05) 6829℃ 0评论
5喜欢
SpringBoot连接Hive异常，错误信息如下：
Table not found 'DUAL'
通过 jdbc的方式，都是可以的，这里咋就不行了。
原因
dual表的概念来自oracle，数据库建立时即与数据字典一起初始化，该表只有一个varchar2类型...
柯广
6个月前 (10-27) 7041℃ 0评论
2喜欢
读多写少
由于业务场景的需要，我们hbase偏读多写少的，虽然hbase读的速度会慢于写的速度。搭建hbase集群，需要做一些基础的配置，尽量让hbase能有一个不错的表现，其中内存规划工作占了很大的比例。
机器64G内存
序号
步骤
原理
计算公式
计算值
修正值
...
柯广
7个月前 (09-03) 3757℃ 2评论
5喜欢
版本信息
cdh-6.0.1
hadoop-3.0
hbase-2.0.0
问题
想在空闲时候重启一下hbase释放一下内存，顺便修改一下yarn的一些配置，结果停掉后，hbase起不来了，错误信息就是hbase:namespace表is not online，master一...
柯广
8个月前 (08-17) 4483℃ 4评论
4喜欢
在cdh 6.0.1版本中，提交spark任务，发现yarn分配的container集中于几台节点，其它节点没有分配。这显然会导致个别机器负载过高，从而影响集群整个性能。
原因
yarn.scheduler.fair.assignmultiple: Whether to allo...
柯广
9个月前 (07-08) 7201℃ 0评论
5喜欢
这里有一张hbase表test:test：
hbase(main):009:0> scan 'test:test'
ROW COLUMN+CELL ...
柯广
11个月前 (05-25) 6654℃ 0评论
0喜欢
