进入下载页：http://edelivery.oracle.com/osdc/faces/Home.jspx，需要注册账号并且登录，除了邮箱需要填对，因为注册要发链接验证的，其它的一堆信息随便填，我这里已经注册登录好了。 比如，我这里要下载 Oracle GoldenGate for Big Data 12.3.1.1.1 on Linux x86-64 这个版本 首先，在搜索框里面搜索： 点击对应搜索结果： 然后，点击右上角的View Items，就会跳出一个小窗，点击Continue。 然后，选择系统后，点击C…
大数据组件安装 大数据组件安装安装文档，这些pdf（带目录）有的自己写的，有的整理于网络，有需要的关注公众号：大数据技术派，回复关键字大数据组件安装即可获得。 大数据资料 都放在Gitee上面了。 https://gitee.com/ddxygq/bigdata-technical-pai
1 为什么需要二级索引 HBase的一级索引就是rowkey，我们仅仅能通过rowkey进行检索。假设我们相对Hbase里面列族的列列进行一些组合查询，就只能全表扫描了。表如果较大的话，代价是不可接受的，所以要提出二级索引的方案。 二级索引的思想：简单理解就是，根据列族的列的值，查出rowkey，再按照rowkey就能很快从hbase查询出数据，我们需要构建出根据列族的列的值，很快查出rowkey的方案。 2 常见的二级索引方案 MapReduce方案； Coprocessor方案； elasticsearch+h…
Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hive基于UDF进行文本分词 Hive窗口函数row number的用法 数据仓库之拉链表 关注公众号：大数据技术派，回复资料，领取1024G资料。 时间滑动计算 今天遇到一个需求大致是这样的，我们有一个业务涉及到用户打卡…
关注公众号：大数据技术派，回复"资料"，领取1024G资料。 这一课时我们将讲解 Flink “精确一次”的语义实现原理，同时这也是面试的必考点。 Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 那么 Flink 是如何实现“端到端的精确一次处理”语义的呢？ 背景 通常情况下，流式计算系统都会为用户提供指定数据处理的可靠模式功能，用来表明在实际生产运行中会对数据处理做哪些保障。一般来说，流处理…
关注公众号：大数据技术派，回复“资料”，领取1024G资料。 数据仓库系列文章 数仓架构发展史 数仓建模方法论 数仓建模分层理论 数仓建模—宽表的设计 数仓建模—指标体系 一文搞懂ETL和ELT的区别 数据湖知识点 技术选型 | OLAP大数据技术哪家强？ 数仓相关面试题 从 0 到 1 学习 Presto，这一篇就够了！ 元数据管理在数据仓库的实践应用 做中台2年多了，中台到底是什么呢？万字长文来聊一聊中台 数据仓库之拉链表 sqoop用法之mysql与hive数据导入导出 宽表的设计 其实宽表是数仓里面非常重要…
关注公众号：大数据技术派，回复"资料"，领取1024G资料。 2015 年，Flink 的作者就写了 Apache Flink: Stream and Batch Processing in a Single Engine 这篇论文。本文以这篇论文为引导，详细讲讲 Flink 内部是如何设计并实现批流一体的架构。 前言 通常我们在 Flink 中说批流一体指的是这四个方向，其中 Runtime 便是 Flink 运行时的实现。 数据交换模型 Flink 对于流作业和批作业有一个统一的执行模型。 …
