活了二十多年,没能为祖国、为人民做点什么,每思及此,伤心欲绝 !

 分类:大数据

Hive动态分区详解

Hive动态分区详解
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 4个月前 (12-23) 4738℃ 1评论 2喜欢

Hive中的集合数据类型

Hive中的集合数据类型
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 4个月前 (12-20) 4488℃ 0评论 0喜欢

通过HiveServer2访问Hive

通过HiveServer2访问Hive
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 4个月前 (12-18) 4478℃ 0评论 0喜欢

Hive 分析函数lead、lag实例应用

Hive 分析函数lead、lag实例应用
Lag和Lead分析函数可以在同一次查询中取出同一字段的后N行的数据(Lag)和前N行的数据(Lead)作为独立的列。 这种操作可以代替表的自联接,并且LAG和LEAD有更高的效率,其中over()表示当前查询的结果集对象,括号里面的语句则表示对这个结果集进行处理。 1 LEAD...

柯广 4个月前 (12-17) 3673℃ 0评论 0喜欢

数据仓库之拉链表

数据仓库之拉链表
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 4个月前 (12-15) 3656℃ 0评论 0喜欢

数仓架构发展史

数仓架构发展史
发展史 时代的变迁,生死的轮回,历史长河滔滔,没有什么是永恒的,只有变化才是不变的,技术亦是如此,当你选择互联网的那一刻,你就相当于乘坐了一个滚滚向前的时代列车,开往未知的方向,不论什么样的技术架构只有放在当前的时代背景下,才是有意义的,人生亦是如此。 时间就是一把尺子,它能衡...

柯广 4个月前 (12-13) 2483℃ 0评论 0喜欢

数仓建模分层理论

数仓建模分层理论
分层建设理论 简单点儿,直接ODS+DM就可以了,将所有数据同步过来,然后直接开发些应用层的报表,这是最简单的了;当DM层的内容多了以后,想要重用,就会再拆分一个公共层出来,变成3层架构,这个过程有点类似代码重构,就是在实践中不断的进行抽象、总结。 数仓的建模或者分层,其实都是为...

柯广 4个月前 (12-12) 2254℃ 0评论 0喜欢

数据仓库建模方法论

数据仓库建模方法论
建模方法论 数仓的建模或者分层,其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话,所有的划分都是为了更好的管理。小到JVM 内存区域的划分,JVM 中堆空间的划分(年轻代、老年代、方法区等),大到国家的省市区的划分,无一例外的都是为了更好的组织管理 ...

柯广 4个月前 (12-08) 2853℃ 0评论 0喜欢

Hive中的锁的用法和使用场景

Hive中的锁的用法和使用场景
前面遇到过一次因为Hive中表被锁住了,导致定时任务一直失败。这两天又出现了表被锁,原因是连接hiveserver2过于频繁,mysql连接被打满,引发的连锁反应,导致我们的小时任务一直失败,下午重点注意到这个问题,才解决好。 Hive中的锁 在执行insert into或ins...

柯广 4个月前 (12-07) 2001℃ 0评论 0喜欢

SpringBoot连接Hive实现自助取数

SpringBoot连接Hive实现自助取数
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 5个月前 (11-05) 6829℃ 0评论 5喜欢

SpringBoot连接Hive异常

SpringBoot连接Hive异常
SpringBoot连接Hive异常,错误信息如下: Table not found 'DUAL' 通过 jdbc的方式,都是可以的,这里咋就不行了。 原因 dual表的概念来自oracle,数据库建立时即与数据字典一起初始化,该表只有一个varchar2类型...

柯广 6个月前 (10-27) 7041℃ 0评论 2喜欢

hbase2.0.3 内存规划

hbase2.0.3 内存规划
读多写少 由于业务场景的需要,我们hbase偏读多写少的,虽然hbase读的速度会慢于写的速度。搭建hbase集群,需要做一些基础的配置,尽量让hbase能有一个不错的表现,其中内存规划工作占了很大的比例。 机器64G内存 序号 步骤 原理 计算公式 计算值 修正值 ...

柯广 7个月前 (09-03) 3757℃ 2评论 5喜欢