理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可...
柯广
2个月前 (01-27) 3224℃ 0评论
3喜欢
Driver
spark.driver.cores
driver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给多。
spark.driver.memory
driver端分配的内存数，默认为1g，同上。
spark...
柯广
3个月前 (01-26) 3235℃ 0评论
0喜欢
大学里的三点收获
2001年我考入了南开大学，起初大学的生活是让人有点失落的，但慢慢地从安静朴素的校园和踏实努力的氛围中，我还是找到了自己的节奏。大学期间我主要在做三件事情 ，一是写代码，因为我是搞技术的；二是看书，看了很多很多书；三是修电脑。基于此自己也有三点收获：耐心，知识，...
柯广
3个月前 (01-25) 3304℃ 0评论
0喜欢
Windows微信多开，比如说我有两个微信号，我通常开两个微信进程。
方法
新建wechar.bat文件，里面内容：
start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe"
s...
柯广
3个月前 (01-24) 3167℃ 0评论
0喜欢
不得不佩服 Spring Boot 的生态如此强大，今天我给大家推荐几款 Gitee 上优秀的后台开源版本的管理系统，小伙伴们再也不用从头到尾撸一个项目了，简直就是接私活，挣钱的利器啊。
SmartAdmin
我们开源一套漂亮的代码和一套整洁的代码规范，让大家在这浮躁的代码世界里...
柯广
3个月前 (01-19) 3606℃ 0评论
4喜欢
让人焦虑和烦恼的，不是累，更不是忙，而是没有特别感兴趣的事，没有特别爱的人。知道自己该努力了，却不知道努力的方向！
而大多数人寻找的是又能赚钱，又感兴趣，又能获得满足感，这三者的交集。所以有人终身都找不到，每天处在焦虑和选择之间徘徊不定！
转载请注明：柯广的网络日志 »...
柯广
3个月前 (01-18) 3576℃ 0评论
1喜欢
Spark内核概述
Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌握Spark内核原理。
一、Spark核心组件回顾
Driver
Spark驱动器节点，用于执行...
柯广
3个月前 (01-14) 3773℃ 0评论
3喜欢
抽样
抽样在Hive 中也是比较常用的一种手段，主要用在下面的几个场景中
一些机器学习的场景中，数仓作为数据的提供方提供样本数据
数据的计算结果异常或者是指标异常，这个时候如果我们往往需要确认数据源的数据是否本身就有异常
SQL的性能有问题的时候我们也会使用抽样的方法区查看数...
柯广
3个月前 (01-13) 3769℃ 0评论
1喜欢
我来个简单粗暴的回答。
如果你经过自己的努力，成功圈了一波粉丝，跟粉丝互动不错，赚钱途径通常是有这些的。
赞赏，如果你文章写的好，读者会给你赞赏，通常赞赏的人很少，毕竟非亲非故的，除非你写的特别好，也可能一千个人，有一个人给你赞赏就算不错了！
文章后面的广告卡片，这个广告卡片读...
柯广
3个月前 (01-10) 3902℃ 0评论
0喜欢
Hive系列文章
Hive表的基本操作
Hive中的集合数据类型
Hive动态分区详解
hive中orc格式表的数据导入
Java通过jdbc连接hive
通过HiveServer2访问Hive
SpringBoot连接Hive实现自助取数
hive关联hbase表
Hive ...
柯广
3个月前 (01-10) 3950℃ 0评论
0喜欢
关注公众号：Java大数据与数据仓库，学习大数据技术。
一直想写一篇介绍设计模式的文章，让读者可以很快看完，而且一看就懂，看懂就会用，同时不会将各个模式搞混。自认为本文还是写得不错的😂😂😂，花了不少心思来写这文章和做图，力求让读者真的能看着简单同时有所收获。
设计模式是对大家...
柯广
3个月前 (01-10) 3890℃ 0评论
1喜欢
row_number
前面我们介绍窗口函数的时候说到了窗口函数的使用场景，我们也给它起了一个名字进行区分，通用窗口函数和特殊窗口函数，今天我们就来看一下排序相关的窗口函数，因为是窗口函数，并且我们说它是用来排序的，我们大概也能猜到它就是用来对窗口内的数据进行排序的
其实关于排序...
柯广
3个月前 (01-07) 4059℃ 0评论
1喜欢
Hive 中的四种排序
排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什么作用。
数据准备
下面我们有一份温度数据,tab 分割
2008 32.0
2008 21....
柯广
3个月前 (01-06) 4058℃ 0评论
0喜欢
