MergeTree 系列的表（包括 可复制表 ）可以使用分区。基于 MergeTree 表的 物化视图 也支持分区。 分区是在一个表中通过指定的规则划分而成的逻辑数据集。可以按任意标准进行分区，如按月，按日或按事件类型。为了减少需要操作的数据，每个分区都是分开存储的。访问数据时，ClickHouse 尽量使用这些分区的最小子集，提高查询效率。 分区是在 建表 时通过 PARTITION BY expr 子句指定的。分区键可以是表中列的任意表达式。例如，指定按月分区，表达式为 toYYYYMM(date_column…
只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree ReplicatedReplacingMergeTree ReplicatedAggregatingMergeTree ReplicatedCollapsingMergeTree ReplicatedVersionedCollapsingMergeTree ReplicatedGraphiteMergeTree 副本是表级别的，不是整个服务器级的。所以，服务器里可以同时有复…
该引擎和 MergeTree 的不同之处在于它会删除排序键值相同的重复项。 数据的去重只会在数据合并期间进行。合并会在后台一个不确定的时间进行，因此你无法预先作出计划。有一些数据可能仍未被处理。尽管你可以调用 OPTIMIZE 语句发起计划外的合并，但请不要依靠它，因为 OPTIMIZE 语句会引发对数据的大量读写。 因此，ReplacingMergeTree 适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现。 建表 CREATE TABLE [IF NOT EXISTS] [db.]table…
Clickhouse 中最强大的表引擎当属 MergeTree （合并树）引擎及该系列（*MergeTree）中的其他引擎。 MergeTree 系列的引擎被设计用于插入极大量的数据到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。 主要特点: 存储的数据按主键排序。 这使得您能够创建一个小型的稀疏索引来加快数据检索。 如果指定了 分区键 的话，可以使用分区。 在相同数据集和相同结果集的情况下 Click…
什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 在传统的行式数据库系统中，数据按如下顺序存储： Row WatchID JavaEnable Title GoodEvent EventTime #0 89354350662 1 Investor Relations 1 2016/5/18 5:19 #1 90329509958 0 Contact us 1 2016/5/18 8:10 #2 89953706054 1 Mission 1 2016…
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就是那个界面。。。。 这个工具不是Flink官方出的，是一个国内的小伙伴写的，Github地址： https://github.com/zhp8341/flink-streaming-platform-web 根据g…
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 列式数据库更适合于OLAP场景(对于大多数查询而言，处理速度至少提高了100倍)，下面详细解释了原因(通过图片更有利于直观理解)，图片来源于ClickHouse中文官方文档。 行式 列…
进入下载页：http://edelivery.oracle.com/osdc/faces/Home.jspx，需要注册账号并且登录，除了邮箱需要填对，因为注册要发链接验证的，其它的一堆信息随便填，我这里已经注册登录好了。 比如，我这里要下载 Oracle GoldenGate for Big Data 12.3.1.1.1 on Linux x86-64 这个版本 首先，在搜索框里面搜索： 点击对应搜索结果： 然后，点击右上角的View Items，就会跳出一个小窗，点击Continue。 然后，选择系统后，点击C…
本文首发我的个人博客：paddleocr安装教程快速开始 1. 安装Python环境 wget https://mirrors.huaweicloud.com/python/3.8.5/Python-3.8.5.tgz 下载后，解压，编译，安装，即可。 2. 安装paddle-gpu 简单文档：https://gitee.com/paddlepaddle/PaddleOCR/blob/release/2.5/doc/doc_ch/quickstart.md 官方文档：https://www.paddlepaddle…
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql Hive flink 1.13.5 on yarn 说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境吧…
