Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flink 常用的 DataSet 和 DataStream API 第05讲:Flink SQL & Table 编程和案例 第06讲:Flink 集群安装部署和 HA 配置 第07讲:Flink 常见核心概念分析 第08讲:Flink 窗口、时间和水印 第09讲:Flink 状态与容错 本课时我们主要介绍 Flin…

2022年1月24日 0条评论 793点热度 1人点赞 ikeguang 阅读全文

1、基本数据结构 对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数。 2、集合数据类型 Hive有三种复杂数据类型ARRAY、MAP和STRUCT。ARRAY和MAP与Java中的Array和Map类似,而STRUCT与C语言中的Struct类似,它封装了一个命名字段集合,复杂数据类型允许任意层次的嵌套。 案例实操 1)假设某表有如下一行,我们用JSON格式来表示其数据结构。在Hive下访问的格式为 { …

2022年1月23日 0条评论 256点热度 0人点赞 ikeguang 阅读全文

1、什么是Hive Hive是由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在Yarn上 2、Hive优缺点 优点: 1) 操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。 2) 避免了去写MapReduce,减少开发人员的学习成本…

2022年1月22日 0条评论 241点热度 0人点赞 ikeguang 阅读全文

Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flink 常用的 DataSet 和 DataStream API 第05讲:Flink SQL & Table 编程和案例 第06讲:Flink 集群安装部署和 HA 配置 第07讲:Flink 常见核心概念分析 第08讲:Flink 窗口、时间和水印 第09讲:Flink 状态与容错 本课时我们主要介绍 Flin…

2022年1月21日 0条评论 602点热度 1人点赞 ikeguang 阅读全文

Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flink 常用的 DataSet 和 DataStream API 第05讲:Flink SQL & Table 编程和案例 第06讲:Flink 集群安装部署和 HA 配置 第07讲:Flink 常见核心概念分析 第08讲:Flink 窗口、时间和水印 第09讲:Flink 状态与容错 其实知识星球我以前就建立了,…

2022年1月21日 0条评论 1030点热度 1人点赞 ikeguang 阅读全文

Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flink 常用的 DataSet 和 DataStream API 第05讲:Flink SQL & Table 编程和案例 第06讲:Flink 集群安装部署和 HA 配置 第07讲:Flink 常见核心概念分析 第08讲:Flink 窗口、时间和水印 第09讲:Flink 状态与容错 关注公众号:大数据技术派,回…

2022年1月21日 0条评论 1400点热度 0人点赞 ikeguang 阅读全文

步骤很简单,既然要基于yarn,前提是hadoop已经安装好了,我们选择hadoop集群的一个节点,安装一个flink客户端即可。我们平时提交任务,包括mr、spark任务等,也会去安装一个spark客户端。 选择一个节点,这个节点通常会用它提交任务。 下载flink wget http://archive.apache.org/dist/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgz 解压 tar -zxvf flink-1.13.5-bin-scala_2.…

2022年1月13日 0条评论 257点热度 0人点赞 ikeguang 阅读全文

大数据组件安装 大数据组件安装安装文档,这些pdf(带目录)有的自己写的,有的整理于网络,有需要的关注公众号:大数据技术派,回复关键字大数据组件安装即可获得。 大数据资料 都放在Gitee上面了。 https://gitee.com/ddxygq/bigdata-technical-pai

2022年1月6日 0条评论 367点热度 0人点赞 ikeguang 阅读全文

2021,我这平凡的一年。 这一年,说它平凡,一点也不为过。似乎从小到大,我所遭遇的一切事物,都是那么的平平常常。没有大起大落,没有日新月异。或许平静的生活只是外表,而内心则是向往大千世界的。 感叹归感叹,还是总结一下这一年的一些平常琐碎,为接下来的一年做好准备铺垫吧。 1. 写作 今年写作不及往年,尤其不及2019年。是的,今年在坚持这条道路上走的不好,我一直以为这是懒惰,直到后来才醒悟过来,自己的拖延症也很严重。 今年主要强化了一些技术知识,并且写了很多文章,写文章的过程,也是不断成长的过程。因为要想写出一篇被…

2022年1月1日 2条评论 343点热度 0人点赞 ikeguang 阅读全文
12