前面遇到过一次因为Hive中表被锁住了，导致定时任务一直失败。这两天又出现了表被锁，原因是连接hiveserver2过于频繁，mysql连接被打满，引发的连锁反应，导致我们的小时任务一直失败，下午重点注意到这个问题，才解决好。
Hive中的锁
在执行insert into或ins...
柯广
1个月前 (12-07) 1635℃ 0评论
0喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
2个月前 (11-05) 3203℃ 0评论
5喜欢
SpringBoot连接Hive异常，错误信息如下：
Table not found 'DUAL'
通过 jdbc的方式，都是可以的，这里咋就不行了。
原因
dual表的概念来自oracle，数据库建立时即与数据字典一起初始化，该表只有一个varchar2类型...
柯广
3个月前 (10-27) 3546℃ 0评论
2喜欢
读多写少
由于业务场景的需要，我们hbase偏读多写少的，虽然hbase读的速度会慢于写的速度。搭建hbase集群，需要做一些基础的配置，尽量让hbase能有一个不错的表现，其中内存规划工作占了很大的比例。
机器64G内存
序号
步骤
原理
计算公式
计算值
修正值
...
柯广
5个月前 (09-03) 3417℃ 2评论
5喜欢
版本信息
cdh-6.0.1
hadoop-3.0
hbase-2.0.0
问题
想在空闲时候重启一下hbase释放一下内存，顺便修改一下yarn的一些配置，结果停掉后，hbase起不来了，错误信息就是hbase:namespace表is not online，master一...
柯广
5个月前 (08-17) 3765℃ 2评论
4喜欢
在cdh 6.0.1版本中，提交spark任务，发现yarn分配的container集中于几台节点，其它节点没有分配。这显然会导致个别机器负载过高，从而影响集群整个性能。
原因
yarn.scheduler.fair.assignmultiple: Whether to allo...
柯广
6个月前 (07-08) 3836℃ 0评论
5喜欢
这里有一张hbase表test:test：
hbase(main):009:0> scan 'test:test'
ROW COLUMN+CELL ...
柯广
8个月前 (05-25) 3552℃ 0评论
0喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
8个月前 (05-25) 2989℃ 0评论
0喜欢
1. 内存溢出
虚拟内存溢出:
Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.==【即虚拟内存溢出】==；
方法一...
柯广
9个月前 (04-14) 3776℃ 0评论
0喜欢
hive知识点
工作中hive常用知识点。
Hive简介
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单...
柯广
9个月前 (04-14) 2637℃ 0评论
0喜欢
如果使用java编写mapreduce程序实现wordcount也很简单，如下代码就实现了一个简单的hello world程序：word count。需要的pom.xml依赖
<!-- 版本信息 -->
<properties>
&...
柯广
9个月前 (04-12) 2498℃ 0评论
0喜欢
本文目录
一. Sqoop介绍
二. Mysql 数据导入到 Hive
三. Hive数据导入到Mysql
四. mysql数据增量导入hive
1 基于递增列Append导入
1). 创建hive表
2). 创建job
3) 执行job
2 Lastmodified 导...
柯广
9个月前 (04-12) 3931℃ 0评论
0喜欢
1. Hive简介
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专...
柯广
9个月前 (04-12) 3373℃ 0评论
0喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
9个月前 (04-12) 3692℃ 0评论
0喜欢
1 hiveserver2 不识别udf函数
新写的UDF在hive cli注册以后，无法在hiveserver2远程连接时使用，show functions没有这个函数。
在无法使用UDF的 HiveServer2 上，执行 reload function 命令，将MetaSt...
柯广
1年前 (2019-08-05) 5171℃ 1评论
3喜欢
