Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 场景 需要查看历史某一时间节点的状态,同时考虑到存储空间;或则适用于数据会发生变化,但是大部分是不变的 在数据仓库的数据模型设计过…

2020-12-15 0条评论 4202点热度 0人点赞 柯广 阅读全文

在开设传统培训班时,正常的流程是先预订酒店,提前担负几万、十几万的会务开支。之后再在开课之前,招募到足够多的学员,以此保证收支平衡。而我筹备的这次培训完全不一样,因为我不必提前承担不可预知的会务成本。我通过发展种子学员的方式,用最轻松、最简单的方法达到了我预期的效果。 组织一场线下的培训班。在学员招募的过程中,我也是采取了优先发展种子学员的思路。最终,我单枪匹马一个人通过这个培训班,收到了33万的现金。那么,我是怎么组织起这个培训班的呢? 在培训班宣传文案当中,我提出了这样一个合作主张:前10名种子学员,将能够享受…

2020-12-13 1条评论 5695点热度 0人点赞 柯广 阅读全文

发展史 时代的变迁,生死的轮回,历史长河滔滔,没有什么是永恒的,只有变化才是不变的,技术亦是如此,当你选择互联网的那一刻,你就相当于乘坐了一个滚滚向前的时代列车,开往未知的方向,不论什么样的技术架构只有放在当前的时代背景下,才是有意义的,人生亦是如此。 时间就是一把尺子,它能衡量奋斗者前进的进程;时间就是一架天平,它能衡量奋斗者成果的重量;时间就是一架穿梭机,它能带我们遨游历史长河,今天我们看一下数仓架构的发展,来感受一下历史的变迁,回头看一下那些曾经的遗迹。准备好了吗 let's go!,在此之前我们先看一下,数…

2020-12-13 0条评论 3023点热度 0人点赞 柯广 阅读全文

超链接<a>里面的属性nofollow就是告诉搜索引擎:不要跟踪我。也就是说不让搜索蜘蛛继续追踪,同样,也不传递丝毫的权重。 通俗说,就是一个人推荐你,说你很优秀,跟着偷偷来一句:别当真!所以,友链里面别人给你加了noflollow属于偷奸耍滑的,别和他做友链了,果断删除吧! 带有nofollow的链接是不传递权重的,这个是所有搜索引擎都公认的,如果是友情链接代了这个,那就没有意义了。果断去掉 他会阻止蜘蛛进行跟踪,同时也阻止了权重的传递。查询的方法也很简单,我们只要直接打开对方站点页面的源文件,查看其…

2020-12-12 0条评论 5602点热度 0人点赞 柯广 阅读全文

分层建设理论 简单点儿,直接ODS+DM就可以了,将所有数据同步过来,然后直接开发些应用层的报表,这是最简单的了;当DM层的内容多了以后,想要重用,就会再拆分一个公共层出来,变成3层架构,这个过程有点类似代码重构,就是在实践中不断的进行抽象、总结。 数仓的建模或者分层,其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话,所有的划分都是为了更好的管理。小到JVM 内存区域的划分,JVM 中堆空间的划分(年轻代、老年代、方法区等),大到国家的省市区的划分,无一例外的都是为了更好的组织管理。 所以数…

2020-12-12 0条评论 2780点热度 0人点赞 柯广 阅读全文

晚上健身回来坐那发了一会呆,突然想到前段时间的:”年轻人不讲武德“、”耗子尾汁“、”我大E了“,我想了好久都想不起来那个网红的名字了,直到刚才我特意在网上搜了下才想起来,人民日报客户端痛批马保国闹剧。 我就在想,为什么我竟然想不起来这个前段时间亿级IP的流量王,因为他的个人IP、个人品牌,不是持久的。 那么怎样才能算一个持久的个人IP呢,首先这个人必须是能持续性地进行对个人品牌产生影响的活动的,这个活动最好是正向的。主人公(这里暂且叫他大E)在被人民日报痛批后也是选择了隐居,不在进行公开的活动了。 大E如果真的能开…

2020-12-10 0条评论 5662点热度 0人点赞 柯广 阅读全文

建模方法论 数仓的建模或者分层,其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话,所有的划分都是为了更好的管理。小到JVM 内存区域的划分,JVM 中堆空间的划分(年轻代、老年代、方法区等),大到国家的省市区的划分,无一例外的都是为了更好的组织管理 访问性能:能够快速查询所需的数据,减少数据I/O。 数据成本:减少不必要的数据冗余,实现计算结果数据复用,降低大数据系统中的存储成本和计算成本。 使用效率:改善用户应用体验,提高使用数据的效率。 数据质量:改善数据统计口径的不一致性,减少数据计算…

2020-12-08 0条评论 3383点热度 0人点赞 柯广 阅读全文

前面遇到过一次因为Hive中表被锁住了,导致定时任务一直失败。这两天又出现了表被锁,原因是连接hiveserver2过于频繁,mysql连接被打满,引发的连锁反应,导致我们的小时任务一直失败,下午重点注意到这个问题,才解决好。 Hive中的锁 在执行insert into或insert overwrite任务时,中途手动将程序停掉,会出现卡死情况(无法提交MapReduce),只能执行查询操作,而drop insert操作均不可操作,无论执行多久,都会保持卡死状态。 查看Hive的中死锁,可以使用show lock…

2020-12-07 0条评论 2527点热度 0人点赞 柯广 阅读全文

下午去滨江走了走,人很多,也很热闹,我心里很平静。 早晨跟好朋友语音聊了聊,我还没起床呢,他已经在键盘敲的飞起,肯定是在搞事情嘛!他说最近感觉时间不够用,很明显,他现在状态很好,一心在做事情,未来可期。在去年有一段8个月的持续期,我当时也是这种感觉,感觉时间不够用。我记得是,周末早晨8点起床,然后随便吃点东西就坐在电脑前写作,除了午饭,一口气写到晚上,可能一篇文章才写完,然后发到公众号和网上去。当时我的感觉也是一天24小时真的不够用,哪怕再多两个小时就好了。反观我今年以来,明显是懈怠了很多,也没有真的拼命去做过事。…

2020-12-06 0条评论 6046点热度 0人点赞 柯广 阅读全文

我的简历 先介绍一下我的基本情况,看这写得是不是感觉像是来面试的,又或者是来相亲的??。 身高:175cm 体重:63kg 生日:1995-06-09 行业:互联网 技术栈:Java / Python / 大数据等 微信:ddxygq Email:ikeguang@126.com 微信公众号:Java大数据与数据仓库 爱情观:弱水三千,只取一瓢!待我代码写成,便娶你为妻。 魔童降世 我生日是1995年农历6月初9,生在伏天(炎热的夏天),所以家里人都说我长大后“有福”,我知道这是家人对我的深切祝福,希望我平安长大,…

2020-12-06 4条评论 11260点热度 0人点赞 柯广 阅读全文

看了这个标题,你可能会笑,你如果笑一下,我会觉得你幽默。如果你一直笑,别人会把你当作傻子,我也不会叫醒你的,这样我也顺便超过你了,因为你已经傻了。 这篇文章主要是看了左耳听风的作者陈皓前辈的文章,自己做的读书笔记,也有一些自己感想。 在中国互联网大环境下,想要超过大部分人还是蛮简单的,你只需要提醒身边的人,让他们做这些事。 鼓励他使用百度搜索引擎,支持国产,这样他就能陷入大量的广告筛选和各种无关咨询、信息甄别中,而浪费大量青春时间; 鼓励他们多刷微博,了解实时八卦热点,这样跟别人聊天才有谈资; 告诉他们刷抖音使人放…

2020-12-05 0条评论 5921点热度 0人点赞 柯广 阅读全文

最近这一年,是不安定、不平凡的一年。年初的疫情,真的是给很多人的工作和生活带来了影响。但是,有几位程序员大佬却开始创业了,佩服他们这么多年为这所作的努力和准备。 程序员互联网创业,通常是软件技术服务方面,自身肯定是需要过硬的技术的,然后还需要多年积累的一些资金做支撑。相对而言,程序员创业成本要低一些,本身自己是有技术经验的,因为本身就是干这一行的。 很多互联网大佬,比如深圳马,狗东等,他们都是那个时代的宠儿,站在时代的风口浪尖上,成功也是相对简单些了。这让我想起一句话: 近一百多年来,总有一些公司很幸运地、有意识或…

2020-12-04 0条评论 5918点热度 0人点赞 柯广 阅读全文

Markdown 是用来编写结构化文档的一种纯文本格式,它使我们在双手不离开键盘的情况下,可以对文本进行一定程度的格式排版。markdown语法是通用的,很多写作平台都是支持markdown的,比如简书,这就意味着做自媒体的你写一次文章,就能很快同步到各大平台,而不需要要考虑不同写作平台之间排版的兼容性,从而兼顾各大平台的流量,让你能专注于写作。 优点 简单易学; 支持的平台都能通用,省去排版的烦恼; 缺点 需要记一些语法,不过这比记26个英文单词要简单多了,五分钟学会; 有些平台是不支持markdown的,比如知…

2020-12-03 0条评论 4995点热度 0人点赞 柯广 阅读全文

我生日是农历6月初9,生在伏天(炎热的夏天),所以家里人都说我长大后“有福”,我知道这是家人对我的深切祝福,希望我平安长大,好好生活。 小时候真的是无忧无虑,除了作业,就是到处玩耍、放羊,漫山遍野的羊,山羊白花花的一片,主要是小伙伴多,多么快乐的时光。 记得有一次,父亲从隔壁邻居借来那种老式的理发的推子,给我理发,一点都不好用,不锋利,我感觉好多头发都不是推下来的,而是拉下来的。太疼了,我要反抗,然后父亲就满村追我,最后还是把我头给推了。 五年级的时候,喜欢玩儿那种插卡游戏机,例如坦克大战、超级玛丽,我说到这,懂的…

2020-12-03 0条评论 5903点热度 0人点赞 柯广 阅读全文

本文主要介绍Java中两种常见的动态代理方式:JDK原生动态代理和CGLIB动态代理。 什么是代理模式 就是为其他对象提供一种代理以控制对这个对象的访问。代理可以在不改动目标对象的基础上,增加其他额外的功能(扩展功能)。 代理模式角色分为 3 种: Subject(抽象主题角色):定义代理类和真实主题的公共对外方法,也是代理类代理真实主题的方法; RealSubject(真实主题角色):真正实现业务逻辑的类; Proxy(代理主题角色):用来代理和封装真实主题; 如果根据字节码的创建时机来分类,可以分为静态代理和动…

2020-12-03 0条评论 5897点热度 0人点赞 柯广 阅读全文
13456717