活了二十多年,没能为祖国、为人民做点什么,每思及此,伤心欲绝 !

 分类:大数据

Hive中的锁的用法和使用场景

Hive中的锁的用法和使用场景
前面遇到过一次因为Hive中表被锁住了,导致定时任务一直失败。这两天又出现了表被锁,原因是连接hiveserver2过于频繁,mysql连接被打满,引发的连锁反应,导致我们的小时任务一直失败,下午重点注意到这个问题,才解决好。 Hive中的锁 在执行insert into或ins...

柯广 1个月前 (12-07) 1635℃ 0评论 0喜欢

SpringBoot连接Hive实现自助取数

SpringBoot连接Hive实现自助取数
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 2个月前 (11-05) 3203℃ 0评论 5喜欢

SpringBoot连接Hive异常

SpringBoot连接Hive异常
SpringBoot连接Hive异常,错误信息如下: Table not found 'DUAL' 通过 jdbc的方式,都是可以的,这里咋就不行了。 原因 dual表的概念来自oracle,数据库建立时即与数据字典一起初始化,该表只有一个varchar2类型...

柯广 3个月前 (10-27) 3546℃ 0评论 2喜欢

hbase2.0.3 内存规划

hbase2.0.3 内存规划
读多写少 由于业务场景的需要,我们hbase偏读多写少的,虽然hbase读的速度会慢于写的速度。搭建hbase集群,需要做一些基础的配置,尽量让hbase能有一个不错的表现,其中内存规划工作占了很大的比例。 机器64G内存 序号 步骤 原理 计算公式 计算值 修正值 ...

柯广 5个月前 (09-03) 3417℃ 2评论 5喜欢

hive关联hbase表

hive关联hbase表
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 8个月前 (05-25) 2989℃ 0评论 0喜欢

Hive常见问题

Hive常见问题
1. 内存溢出 虚拟内存溢出: Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.==【即虚拟内存溢出】==; 方法一...

柯广 9个月前 (04-14) 3776℃ 0评论 0喜欢

Hive知识点

Hive知识点
hive知识点 工作中hive常用知识点。 Hive简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单...

柯广 9个月前 (04-14) 2637℃ 0评论 0喜欢

第一章——hive入门教程之hello world

第一章——hive入门教程之hello world
1. Hive简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专...

柯广 9个月前 (04-12) 3373℃ 0评论 0喜欢

hive中orc格式表的数据导入

hive中orc格式表的数据导入
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive ...

柯广 9个月前 (04-12) 3692℃ 0评论 0喜欢

hive常见问题

hive常见问题
1 hiveserver2 不识别udf函数 新写的UDF在hive cli注册以后,无法在hiveserver2远程连接时使用,show functions没有这个函数。 在无法使用UDF的 HiveServer2 上,执行 reload function 命令,将MetaSt...

柯广 1年前 (2019-08-05) 5171℃ 1评论 3喜欢