关注公众号:大数据技术派,领取资料,学习大数据技术。 理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。YARN架构如下: ResourceManager(RM):负责对各NM上的资源进行统一管理和调度,将AM分配…

2021年1月27日 0条评论 4505点热度 0人点赞 ikeguang 阅读全文

Driver spark.driver.cores driver端分配的核数,默认为1,thriftserver是启动thriftserver服务的机器,资源充足的话可以尽量给多。 spark.driver.memory driver端分配的内存数,默认为1g,同上。 spark.driver.maxResultSize driver端接收的最大结果大小,默认1GB,最小1MB,设置0为无限。 这个参数不建议设置的太大,如果要做数据可视化,更应该控制在20-30MB以内。过大会导致OOM。 spark.extraL…

2021年1月26日 0条评论 4213点热度 0人点赞 ikeguang 阅读全文

大学里的三点收获 2001年我考入了南开大学,起初大学的生活是让人有点失落的,但慢慢地从安静朴素的校园和踏实努力的氛围中,我还是找到了自己的节奏。大学期间我主要在做三件事情 ,一是写代码,因为我是搞技术的;二是看书,看了很多很多书;三是修电脑。基于此自己也有三点收获:耐心,知识,伙伴。 第一点收获:耐心。有耐心,能独处,并基于长期思考做判断,而不为短期因素所干扰,耐心地等待你设想和努力的事情逐步发生,这对创业来说是非常重要的事情。事实上,你经常想象的很美好,设计的也很完整,你也很努力,但你所期待的事情,经常需要很长…

2021年1月25日 0条评论 4217点热度 0人点赞 ikeguang 阅读全文

Windows微信多开,比如说我有两个微信号,我通常开两个微信进程。 方法 新建wechar.bat文件,里面内容: start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" 里面有两行,是微信的安装目录,保存后,双击这个文件即可双开微信。如果你想开5个,复…

2021年1月24日 0条评论 4196点热度 0人点赞 ikeguang 阅读全文

不得不佩服 Spring Boot 的生态如此强大,今天我给大家推荐几款 Gitee 上优秀的后台开源版本的管理系统,小伙伴们再也不用从头到尾撸一个项目了,简直就是接私活,挣钱的利器啊。 SmartAdmin 我们开源一套漂亮的代码和一套整洁的代码规范,让大家在这浮躁的代码世界里感受到一股把代码写好的清流!同时又让开发者节省大量的时间,减少加班,快乐工作,热爱生活。SmartAdmin 让你从认识到忘不了,绝对是你最想要的! 项目地址: https://gitee.com/lab1024/smart-admin l…

2021年1月19日 0条评论 4890点热度 1人点赞 ikeguang 阅读全文

让人焦虑和烦恼的,不是累,更不是忙,而是没有特别感兴趣的事,没有特别爱的人。知道自己该努力了,却不知道努力的方向! 而大多数人寻找的是又能赚钱,又感兴趣,又能获得满足感,这三者的交集。所以有人终身都找不到,每天处在焦虑和选择之间徘徊不定!

2021年1月18日 0条评论 4495点热度 0人点赞 ikeguang 阅读全文

最近有好多小伙伴问我,怎么购买比特币、狗狗币等,不为赚钱,就是玩儿。 是的,赚钱那么那么简单,赚钱的永远是少数。可以少投一点,买个几十块啥的,亏了不心疼,可以与全球的小伙伴一起参与一个大项目——炒币,形成共识,达成信仰。 步骤很简单,大概就是下载个APP——欧易okex,然后充usdt币,然后使用usdt币进行购买比特币,狗狗币等。 为什么要充值usdt币,举个例子吧,你去美国旅游,得使用美元支付,你得先把人民币兑换成美元,然后才能在美国各个地方消费。 1. 下载 欧易okex APP 可以使用手机、电脑下载都行,…

2021年1月16日 0条评论 631点热度 0人点赞 ikeguang 阅读全文

Spark内核概述 Spark内核泛指Spark的核心运行机制,包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等,熟练掌握Spark内核原理。 一、Spark核心组件回顾 Driver Spark驱动器节点,用于执行Spark任务中的main方法,负责实际代码的执行工作。Driver在Spark作业执行时主要负责: 1、将用户程序转化为任务(Job); 2、在Executor之间调度任务(task); 3、跟踪Executor的执行情况; 4、通过UI…

2021年1月14日 0条评论 5008点热度 0人点赞 ikeguang 阅读全文

抽样 抽样在Hive 中也是比较常用的一种手段,主要用在下面的几个场景中 一些机器学习的场景中,数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常,这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据,然后进行SQL调优 在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。 随机抽样(rand()函数) 我们一般情况下是使用排序函数和rand…

2021年1月13日 0条评论 4683点热度 0人点赞 ikeguang 阅读全文

5月13日,埃隆·马斯克透露,在比特币挖矿变得更加环保之前,特斯拉将不再接受任何比特币支付,这给整个加密货币市场带来了冲击。 马斯克指出,在特斯拉等待比特币转向可再生能源的同时,公司将关注“其他加密货币”,这些加密货币每笔交易的能耗不到比特币的1%。 特斯拉和比特币 ——埃隆·马斯克(@elonmusk) 2021年5月12日 这条推文让许多加密货币社区陷入狂热的猜测,猜测特斯拉还可能探索哪些加密货币。 社交影响者“The Cryptic Poet”告诉他的4.5万名推特粉丝,他预测特斯拉将“使用ETH或XRP”,…

2021年1月13日 0条评论 397点热度 0人点赞 ikeguang 阅读全文
12