Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 场景 需要查看历史某一时间节点的状态，同时考虑到存储空间；或则适用于数据会发生变化，但是大部分是不变的 在数据仓库的数据模型设计过…

在开设传统培训班时，正常的流程是先预订酒店，提前担负几万、十几万的会务开支。之后再在开课之前，招募到足够多的学员，以此保证收支平衡。而我筹备的这次培训完全不一样，因为我不必提前承担不可预知的会务成本。我通过发展种子学员的方式，用最轻松、最简单的方法达到了我预期的效果。 组织一场线下的培训班。在学员招募的过程中，我也是采取了优先发展种子学员的思路。最终，我单枪匹马一个人通过这个培训班，收到了33万的现金。那么，我是怎么组织起这个培训班的呢？ 在培训班宣传文案当中，我提出了这样一个合作主张：前10名种子学员，将能够享受…

发展史 时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。 时间就是一把尺子，它能衡量奋斗者前进的进程；时间就是一架天平，它能衡量奋斗者成果的重量；时间就是一架穿梭机，它能带我们遨游历史长河,今天我们看一下数仓架构的发展，来感受一下历史的变迁，回头看一下那些曾经的遗迹。准备好了吗 let's go!，在此之前我们先看一下，数…

超链接<a>里面的属性nofollow就是告诉搜索引擎：不要跟踪我。也就是说不让搜索蜘蛛继续追踪，同样，也不传递丝毫的权重。 通俗说，就是一个人推荐你，说你很优秀，跟着偷偷来一句：别当真！所以，友链里面别人给你加了noflollow属于偷奸耍滑的，别和他做友链了，果断删除吧！ 带有nofollow的链接是不传递权重的，这个是所有搜索引擎都公认的，如果是友情链接代了这个，那就没有意义了。果断去掉 他会阻止蜘蛛进行跟踪，同时也阻止了权重的传递。查询的方法也很简单，我们只要直接打开对方站点页面的源文件，查看其…

分层建设理论 简单点儿，直接ODS+DM就可以了，将所有数据同步过来，然后直接开发些应用层的报表，这是最简单的了；当DM层的内容多了以后，想要重用，就会再拆分一个公共层出来，变成3层架构,这个过程有点类似代码重构，就是在实践中不断的进行抽象、总结。 数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。小到JVM 内存区域的划分，JVM 中堆空间的划分(年轻代、老年代、方法区等)，大到国家的省市区的划分，无一例外的都是为了更好的组织管理。 所以数…

晚上健身回来坐那发了一会呆，突然想到前段时间的：”年轻人不讲武德“、”耗子尾汁“、”我大E了“，我想了好久都想不起来那个网红的名字了，直到刚才我特意在网上搜了下才想起来，人民日报客户端痛批马保国闹剧。 我就在想，为什么我竟然想不起来这个前段时间亿级IP的流量王，因为他的个人IP、个人品牌，不是持久的。 那么怎样才能算一个持久的个人IP呢，首先这个人必须是能持续性地进行对个人品牌产生影响的活动的，这个活动最好是正向的。主人公（这里暂且叫他大E）在被人民日报痛批后也是选择了隐居，不在进行公开的活动了。 大E如果真的能开…

建模方法论 数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。小到JVM 内存区域的划分，JVM 中堆空间的划分(年轻代、老年代、方法区等)，大到国家的省市区的划分，无一例外的都是为了更好的组织管理 访问性能：能够快速查询所需的数据，减少数据I/O。 数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本。 使用效率：改善用户应用体验，提高使用数据的效率。 数据质量：改善数据统计口径的不一致性，减少数据计算…

前面遇到过一次因为Hive中表被锁住了，导致定时任务一直失败。这两天又出现了表被锁，原因是连接hiveserver2过于频繁，mysql连接被打满，引发的连锁反应，导致我们的小时任务一直失败，下午重点注意到这个问题，才解决好。 Hive中的锁 在执行insert into或insert overwrite任务时，中途手动将程序停掉，会出现卡死情况（无法提交MapReduce），只能执行查询操作，而drop insert操作均不可操作，无论执行多久，都会保持卡死状态。 查看Hive的中死锁，可以使用show lock…

下午去滨江走了走，人很多，也很热闹，我心里很平静。 早晨跟好朋友语音聊了聊，我还没起床呢，他已经在键盘敲的飞起，肯定是在搞事情嘛！他说最近感觉时间不够用，很明显，他现在状态很好，一心在做事情，未来可期。在去年有一段8个月的持续期，我当时也是这种感觉，感觉时间不够用。我记得是，周末早晨8点起床，然后随便吃点东西就坐在电脑前写作，除了午饭，一口气写到晚上，可能一篇文章才写完，然后发到公众号和网上去。当时我的感觉也是一天24小时真的不够用，哪怕再多两个小时就好了。反观我今年以来，明显是懈怠了很多，也没有真的拼命去做过事。…

我的简历 先介绍一下我的基本情况，看这写得是不是感觉像是来面试的，又或者是来相亲的??。 身高：175cm 体重：63kg 生日：1995-06-09 行业：互联网 技术栈：Java / Python / 大数据等 微信：ddxygq Email：ikeguang@126.com 微信公众号：Java大数据与数据仓库 爱情观：弱水三千，只取一瓢！待我代码写成，便娶你为妻。 魔童降世 我生日是1995年农历6月初9，生在伏天（炎热的夏天），所以家里人都说我长大后“有福”，我知道这是家人对我的深切祝福，希望我平安长大，…

看了这个标题，你可能会笑，你如果笑一下，我会觉得你幽默。如果你一直笑，别人会把你当作傻子，我也不会叫醒你的，这样我也顺便超过你了，因为你已经傻了。 这篇文章主要是看了左耳听风的作者陈皓前辈的文章，自己做的读书笔记，也有一些自己感想。 在中国互联网大环境下，想要超过大部分人还是蛮简单的，你只需要提醒身边的人，让他们做这些事。 鼓励他使用百度搜索引擎，支持国产，这样他就能陷入大量的广告筛选和各种无关咨询、信息甄别中，而浪费大量青春时间； 鼓励他们多刷微博，了解实时八卦热点，这样跟别人聊天才有谈资； 告诉他们刷抖音使人放…

最近这一年，是不安定、不平凡的一年。年初的疫情，真的是给很多人的工作和生活带来了影响。但是，有几位程序员大佬却开始创业了，佩服他们这么多年为这所作的努力和准备。 程序员互联网创业，通常是软件技术服务方面，自身肯定是需要过硬的技术的，然后还需要多年积累的一些资金做支撑。相对而言，程序员创业成本要低一些，本身自己是有技术经验的，因为本身就是干这一行的。 很多互联网大佬，比如深圳马，狗东等，他们都是那个时代的宠儿，站在时代的风口浪尖上，成功也是相对简单些了。这让我想起一句话： 近一百多年来，总有一些公司很幸运地、有意识或…

Markdown 是用来编写结构化文档的一种纯文本格式，它使我们在双手不离开键盘的情况下，可以对文本进行一定程度的格式排版。markdown语法是通用的，很多写作平台都是支持markdown的，比如简书，这就意味着做自媒体的你写一次文章，就能很快同步到各大平台，而不需要要考虑不同写作平台之间排版的兼容性，从而兼顾各大平台的流量，让你能专注于写作。 优点 简单易学； 支持的平台都能通用，省去排版的烦恼； 缺点 需要记一些语法，不过这比记26个英文单词要简单多了，五分钟学会； 有些平台是不支持markdown的，比如知…

我生日是农历6月初9，生在伏天（炎热的夏天），所以家里人都说我长大后“有福”，我知道这是家人对我的深切祝福，希望我平安长大，好好生活。 小时候真的是无忧无虑，除了作业，就是到处玩耍、放羊，漫山遍野的羊，山羊白花花的一片，主要是小伙伴多，多么快乐的时光。 记得有一次，父亲从隔壁邻居借来那种老式的理发的推子，给我理发，一点都不好用，不锋利，我感觉好多头发都不是推下来的，而是拉下来的。太疼了，我要反抗，然后父亲就满村追我，最后还是把我头给推了。 五年级的时候，喜欢玩儿那种插卡游戏机，例如坦克大战、超级玛丽，我说到这，懂的…

本文主要介绍Java中两种常见的动态代理方式：JDK原生动态代理和CGLIB动态代理。 什么是代理模式 就是为其他对象提供一种代理以控制对这个对象的访问。代理可以在不改动目标对象的基础上，增加其他额外的功能（扩展功能）。 代理模式角色分为 3 种： Subject（抽象主题角色）：定义代理类和真实主题的公共对外方法，也是代理类代理真实主题的方法； RealSubject（真实主题角色）：真正实现业务逻辑的类； Proxy（代理主题角色）：用来代理和封装真实主题； 如果根据字节码的创建时机来分类，可以分为静态代理和动…