本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql Hive flink 1.13.5 on yarn 说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境吧…
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql hbase flink 1.13.5 on yarn 说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境…
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql kafka 2.3 flink 1.13.5 on yarn 说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalo…
本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql elasticsearch flink on yarn 说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环…
1. mysql建表test; 2. 安装logstash（跟es版本一致） # 下载 wget https://repo.huaweicloud.com/logstash/7.14.2/logstash-7.14.2-linux-x86_64.tar.gz # 解压 tar -zxvf logstash-7.14.2-linux-x86_64.tar.gz # 需要mysql-connector-java-5.1.40.jar，随便放到比如目录 # /var/lib/hadoop-hdfs/logstash-7.…
觉得这篇文章写的挺详细，分享出来，原文地址：https://javadoop.com/post/spring-ioc Spring 最重要的概念是 IOC 和 AOP，本篇文章其实就是要带领大家来分析下 Spring 的 IOC 容器。既然大家平时都要用到 Spring，怎么可以不好好了解 Spring 呢？阅读本文并不能让你成为 Spring 专家，不过一定有助于大家理解 Spring 的很多概念，帮助大家排查应用中和 Spring 相关的一些问题。 本文采用的源码版本是 4.3.11.RELEASE，算是 5.…
1、原索引 PUT my_index { "mappings": { "_doc": { "properties": { "create_date": { "type": "date", "format": "yyyy-MM-dd ||yyyy/MM/dd" …
说明：这些命令针对es7.x，6 以下版本可能无效，elastic 6 / 7不同版本命令差别较大。。 创建索引 这里创建索引名为fc_search，type和data是关键字类型，也就是不进行分词，keyword_1是text类型，默认分词，并且指定分词方式为ik_smart。 curl -u elastic:changeme -X PUT http://192.168.20.130:9200/fc_search -H 'Content-Type: application/json' -d&#…
1. SQLAlchemy Python2/3都支持它，SQLAlchemy 自己无法操作数据库，必须结合 pymsql 等第三方插件，所以也需要安装pymysql。 pip2 install pymysql pip2 install SQLAlchemy 用法： from sqlalchemy import create_engine, Column, Integer, String, DateTime from sqlalchemy.orm import declarative_base, Session # …
一、简介 Supervisor 是一款 Python 开发的进程管理系统，允许用户监视和控制 Linux 上的进程，能将一个普通命令行进程变为后台守护进程，异常退出时能自动重启 详细介绍查阅：Supervisor Introduction 二、安装 Supervisor 支持 Linux 和 Mac，不支持 Windows 本文系统为： centos，supervisor==4.2.4 pip3 install supervisor 安装完成后，在Python bin目录下面会有这样几个文件。 ls /usr/lo…
