活了二十多年,没能为祖国、为人民做点什么,每思及此,伤心欲绝 !

标签:大数据

Java

SpringBoot连接Hive实现自助取数

SpringBoot连接Hive实现自助取数
公司运营免不了让我们数据做一些临时取数,这些取数有时候是重复的,或者可以做成可配置的。需要开发成界面,供他们选择,自然想到SpringBoot连接Hive,可以把取数做成一键生成,或者让他们自己写sql,通常大多人是不会sql的。 1. 需要的依赖配置 为了节省篇幅,这里给出hi...

柯广 4周前 (11-05) 1298℃ 0评论 5喜欢

大数据

hbase2.0.3 内存规划

hbase2.0.3 内存规划
读多写少 由于业务场景的需要,我们hbase偏读多写少的,虽然hbase读的速度会慢于写的速度。搭建hbase集群,需要做一些基础的配置,尽量让hbase能有一个不错的表现,其中内存规划工作占了很大的比例。 机器64G内存 序号 步骤 原理 计算公式 计算值 修正值 ...

柯广 3个月前 (09-03) 1977℃ 2评论 5喜欢

大数据

hive中orc格式表的数据导入

hive中orc格式表的数据导入
hive创建orc格式表不能像textfile格式一样直接load数据到表中,需要创建临时textfile表,然后通过insert into 或者insert overwrite到orc存储格式表中。 如果你直接load数据到orc格式表中,这个步骤可以成功,但是会发现'sel...

柯广 8个月前 (04-12) 2965℃ 0评论 0喜欢

大数据

hive常见问题

hive常见问题
1 hiveserver2 不识别udf函数 新写的UDF在hive cli注册以后,无法在hiveserver2远程连接时使用,show functions没有这个函数。 在无法使用UDF的 HiveServer2 上,执行 reload function 命令,将MetaSt...

柯广 1年前 (2019-08-05) 3303℃ 1评论 3喜欢

机器学习

程序员必备的一些数学基础知识

程序员必备的一些数学基础知识
作为一个标准的程序员,应该有一些基本的数学素养,尤其现在很多人在学习人工智能相关知识,想抓住一波人工智能的机会。很多程序员可能连这样一些基础的数学问题都回答不上来。 矩阵A(m,n)与矩阵B(n,k)乘积C维度是多少? 抛一枚硬币,正面表示1,反面表示0,那么取值的数学期望E(...

柯广 1年前 (2019-08-05) 2596℃ 0评论 1喜欢

大数据

hive udf 使用方法

hive udf 使用方法
hive作为一个sql查询引擎,自带了一些基本的函数,比如count(计数),sum(求和),有时候这些基本函数满足不了我们的需求,这时候就要写hive hdf(user defined funation),又叫用户自定义函数,应用与select 语句中。 哪些情况满足不了我们的...

柯广 2年前 (2019-04-08) 2357℃ 0评论 2喜欢

大数据

使用scala编写flink消费kafka实时计算pv,uv

使用scala编写flink消费kafka实时计算pv,uv
实时统计pv、uv是再常见不过的大数据统计需求了,前面出过一篇SparkStreaming实时统计pv,uv的案例,这里用flink实时计算pv,uv。 我们需要统计不同数据类型每天的pv,uv情况,并且有如下要求. 每秒钟要输出最新的统计结果 程序永远跑着不会停,所以要定期清...

柯广 2年前 (2019-04-05) 2486℃ 0评论 0喜欢