等待下一个秋

  • Spark
  • Flink
  • Hive
  • 数据仓库
  • ClickHouse
  • 收徒弟
  • Java
    • Spring
    • Mybatis
    • SpringBoot
    • 面试题
  • Python
    • Python基础
    • 爬虫
    • Numpy
    • matplotlib
    • Flask
  • 技术杂谈
    • Linux知识
    • Docker
    • Git教程
    • Redis教程
    • mysql
    • 前端
    • R语言
    • 机器学习
  • 关于我
  • 其它
    • 副业挣钱
    • 资料下载
    • 资料文档
专注于Hadoop/Spark/Flink/Hive/数据仓库等
关注公众号:大数据技术派,获取更多学习资料。
大数据

YARN调度器(Scheduler)详解

关注公众号:大数据技术派,领取资料,学习大数据技术。 理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。YARN架构如下: ResourceManager(RM):负责对各NM上的资源进行统一管理和调度,将AM分配…

2021年1月27日 0条评论 5226点热度 0人点赞 等待下一个秋 阅读全文
大数据

Spark开发常用参数

Driver spark.driver.cores driver端分配的核数,默认为1,thriftserver是启动thriftserver服务的机器,资源充足的话可以尽量给多。 spark.driver.memory driver端分配的内存数,默认为1g,同上。 spark.driver.maxResultSize driver端接收的最大结果大小,默认1GB,最小1MB,设置0为无限。 这个参数不建议设置的太大,如果要做数据可视化,更应该控制在20-30MB以内。过大会导致OOM。 spark.extraL…

2021年1月26日 0条评论 4692点热度 0人点赞 等待下一个秋 阅读全文
首页

张一鸣:大学四年收获及工作感悟

大学里的三点收获 2001年我考入了南开大学,起初大学的生活是让人有点失落的,但慢慢地从安静朴素的校园和踏实努力的氛围中,我还是找到了自己的节奏。大学期间我主要在做三件事情 ,一是写代码,因为我是搞技术的;二是看书,看了很多很多书;三是修电脑。基于此自己也有三点收获:耐心,知识,伙伴。 第一点收获:耐心。有耐心,能独处,并基于长期思考做判断,而不为短期因素所干扰,耐心地等待你设想和努力的事情逐步发生,这对创业来说是非常重要的事情。事实上,你经常想象的很美好,设计的也很完整,你也很努力,但你所期待的事情,经常需要很长…

2021年1月25日 0条评论 4609点热度 0人点赞 等待下一个秋 阅读全文
其它

Windows微信多开的方法

Windows微信多开,比如说我有两个微信号,我通常开两个微信进程。 方法 新建wechar.bat文件,里面内容: start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" start "" "C:\Program Files (x86)\Tencent\WeChat\WeChat.exe" 里面有两行,是微信的安装目录,保存后,双击这个文件即可双开微信。如果你想开5个,复…

2021年1月24日 0条评论 4691点热度 0人点赞 等待下一个秋 阅读全文
Java

推荐几个能挣钱的SpringBoot项目

不得不佩服 Spring Boot 的生态如此强大,今天我给大家推荐几款 Gitee 上优秀的后台开源版本的管理系统,小伙伴们再也不用从头到尾撸一个项目了,简直就是接私活,挣钱的利器啊。 SmartAdmin 我们开源一套漂亮的代码和一套整洁的代码规范,让大家在这浮躁的代码世界里感受到一股把代码写好的清流!同时又让开发者节省大量的时间,减少加班,快乐工作,热爱生活。SmartAdmin 让你从认识到忘不了,绝对是你最想要的! 项目地址: https://gitee.com/lab1024/smart-admin l…

2021年1月19日 0条评论 8176点热度 1人点赞 等待下一个秋 阅读全文
日记

感叹一下,不要迷茫,加油吧!

让人焦虑和烦恼的,不是累,更不是忙,而是没有特别感兴趣的事,没有特别爱的人。知道自己该努力了,却不知道努力的方向! 而大多数人寻找的是又能赚钱,又感兴趣,又能获得满足感,这三者的交集。所以有人终身都找不到,每天处在焦虑和选择之间徘徊不定!

2021年1月18日 0条评论 4877点热度 0人点赞 等待下一个秋 阅读全文
大数据

Spark内核解析

Spark内核概述 Spark内核泛指Spark的核心运行机制,包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等,熟练掌握Spark内核原理。 一、Spark核心组件回顾 Driver Spark驱动器节点,用于执行Spark任务中的main方法,负责实际代码的执行工作。Driver在Spark作业执行时主要负责: 1、将用户程序转化为任务(Job); 2、在Executor之间调度任务(task); 3、跟踪Executor的执行情况; 4、通过UI…

2021年1月14日 0条评论 5750点热度 0人点赞 等待下一个秋 阅读全文
Hive

Hive进阶—抽样的各种玩法

抽样 抽样在Hive 中也是比较常用的一种手段,主要用在下面的几个场景中 一些机器学习的场景中,数仓作为数据的提供方提供样本数据 数据的计算结果异常或者是指标异常,这个时候如果我们往往需要确认数据源的数据是否本身就有异常 SQL的性能有问题的时候我们也会使用抽样的方法区查看数据,然后进行SQL调优 在大规模数据量的数据分析及建模任务中,往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源,因此一般情况下只需要抽取一小部分数据进行分析及建模操作。 随机抽样(rand()函数) 我们一般情况下是使用排序函数和rand…

2021年1月13日 0条评论 5314点热度 0人点赞 等待下一个秋 阅读全文
就聊挣钱

特斯拉可能增加哪种“绿色”加密货币用于支付?

5月13日,埃隆·马斯克透露,在比特币挖矿变得更加环保之前,特斯拉将不再接受任何比特币支付,这给整个加密货币市场带来了冲击。 马斯克指出,在特斯拉等待比特币转向可再生能源的同时,公司将关注“其他加密货币”,这些加密货币每笔交易的能耗不到比特币的1%。 特斯拉和比特币 ——埃隆·马斯克(@elonmusk) 2021年5月12日 这条推文让许多加密货币社区陷入狂热的猜测,猜测特斯拉还可能探索哪些加密货币。 社交影响者“The Cryptic Poet”告诉他的4.5万名推特粉丝,他预测特斯拉将“使用ETH或XRP”,…

2021年1月13日 0条评论 737点热度 0人点赞 等待下一个秋 阅读全文
就聊挣钱

微信公众号怎么赚钱?

我来个简单粗暴的回答。 如果你经过自己的努力,成功圈了一波粉丝,跟粉丝互动不错,赚钱途径通常是有这些的。 赞赏,如果你文章写的好,读者会给你赞赏,通常赞赏的人很少,毕竟非亲非故的,除非你写的特别好,也可能一千个人,有一个人给你赞赏就算不错了! 文章后面的广告卡片,这个广告卡片读者点击了会有几毛到几块不等的收益,点击的人也很少,广告卡片的广告类型是可以通过后台调整的,建议每隔一段时间换一下广告类型,读者都看腻了同样类型的广告。这个收益很少,可以忽略不记。 返佣商品,有些公众号会在文章里面插入一些商品卡片,读者点击后产…

2021年1月10日 0条评论 5600点热度 0人点赞 等待下一个秋 阅读全文
12

等待下一个秋

待我代码写成,便娶你为妻!专注于Hadoop/Spark/Flink/Hive/数据仓库等,关注公众号:大数据技术派,获取更多学习资料。

搜一搜
标签聚合
数据仓库 挣钱 Hive 大数据 Java mysql R语言 书籍 Flink Redis Python 算法
文章归档
  • 2023年2月
  • 2022年12月
  • 2022年11月
  • 2022年9月
  • 2022年7月
  • 2022年6月
  • 2022年5月
  • 2022年4月
  • 2022年3月
  • 2022年2月
  • 2022年1月
  • 2021年12月
  • 2021年11月
  • 2021年10月
  • 2021年9月
  • 2021年8月
  • 2021年6月
  • 2021年5月
  • 2021年4月
  • 2021年3月
  • 2021年2月
  • 2021年1月
  • 2020年12月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年7月
  • 2020年5月
  • 2020年4月
  • 2020年1月
  • 2019年9月
  • 2019年8月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年1月
  • 2018年12月
  • 2017年5月

©2022 ikeguang.com. 保留所有权利。

鄂ICP备2020019097号-1

鄂公网安备 42032202000160号