公司运营免不了让我们数据做一些临时取数，这些取数有时候是重复的，或者可以做成可配置的。需要开发成界面，供他们选择，自然想到SpringBoot连接Hive，可以把取数做成一键生成，或者让他们自己写sql，通常大多人是不会sql的。
1. 需要的依赖配置
为了节省篇幅，这里给出hi...
柯广
4周前 (11-05) 1295℃ 0评论
5喜欢
java连接hive进行一些统计分析，在工作中再正常不过了。这里介绍通过java直连和mybatis整合的方式。
1. java直连的方式
java直连的方式跟连接mysql手法一样，只是driverName不一样而已。
public class HiveJdbcConnect ...
柯广
1个月前 (10-29) 1572℃ 0评论
0喜欢
SpringBoot连接Hive异常，错误信息如下：
Table not found 'DUAL'
通过 jdbc的方式，都是可以的，这里咋就不行了。
原因
dual表的概念来自oracle，数据库建立时即与数据字典一起初始化，该表只有一个varchar2类型...
柯广
1个月前 (10-27) 1693℃ 0评论
2喜欢
Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。一种方法是使用hive关联hbase表，可以完成对hbase表的数据插入(insert)和查询(select)。
新建hive表关联hbase表
hive关联的hbase表，对应的h...
柯广
6个月前 (05-25) 2082℃ 0评论
0喜欢
1. 内存溢出
虚拟内存溢出:
Current usage: 1.1gb of 2.0gb physical memory used; 4.6gb of 4.2gb virtual memory used. Killing container.==【即虚拟内存溢出】==；
方法一...
柯广
8个月前 (04-14) 2731℃ 0评论
0喜欢
hive知识点
工作中hive常用知识点。
Hive简介
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单...
柯广
8个月前 (04-14) 2007℃ 0评论
0喜欢
如果使用java编写mapreduce程序实现wordcount也很简单，如下代码就实现了一个简单的hello world程序：word count。需要的pom.xml依赖
<!-- 版本信息 -->
<properties>
&...
柯广
8个月前 (04-12) 1912℃ 0评论
0喜欢
1. Hive简介
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专...
柯广
8个月前 (04-12) 1957℃ 0评论
0喜欢
hive创建orc格式表不能像textfile格式一样直接load数据到表中，需要创建临时textfile表，然后通过insert into 或者insert overwrite到orc存储格式表中。
如果你直接load数据到orc格式表中，这个步骤可以成功，但是会发现'sel...
柯广
8个月前 (04-12) 2962℃ 0评论
0喜欢
hive作为一个sql查询引擎，自带了一些基本的函数，比如count(计数)，sum(求和)，有时候这些基本函数满足不了我们的需求，这时候就要写hive hdf(user defined funation)，又叫用户自定义函数，应用与select 语句中。
哪些情况满足不了我们的...
柯广
2年前 (2019-04-08) 2354℃ 0评论
2喜欢
