等待下一个秋

  • Spark
  • Flink
  • Hive
  • 数据仓库
  • ClickHouse
  • 收徒弟
  • Java
    • Spring
    • Mybatis
    • SpringBoot
    • 面试题
  • Python
    • Python基础
    • 爬虫
    • Numpy
    • matplotlib
    • Flask
  • 技术杂谈
    • Linux知识
    • Docker
    • Git教程
    • Redis教程
    • mysql
    • 前端
    • R语言
    • 机器学习
  • 关于我
  • 其它
    • 副业挣钱
    • 资料下载
    • 资料文档
专注于Hadoop/Spark/Flink/Hive/数据仓库等
关注公众号:大数据技术派,获取更多学习资料。
Flink

flink-cdc同步mysql数据到hive

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql Hive flink 1.13.5 on yarn 说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环境吧…

2022年9月16日 0条评论 2978点热度 0人点赞 等待下一个秋 阅读全文
Flink

flink-cdc同步mysql数据到hbase

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql hbase flink 1.13.5 on yarn 说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环境…

2022年9月15日 0条评论 2573点热度 0人点赞 等待下一个秋 阅读全文
Flink

flink-cdc同步mysql数据到kafka

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql kafka 2.3 flink 1.13.5 on yarn 说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalo…

2022年9月14日 0条评论 2812点热度 0人点赞 等待下一个秋 阅读全文
Flink

flink-cdc同步mysql数据到elasticsearch

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准备 mysql elasticsearch flink on yarn 说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环…

2022年9月13日 0条评论 3094点热度 0人点赞 等待下一个秋 阅读全文
未分类

logstash同步mysql数据到elasticsearch

1. mysql建表test; 2. 安装logstash(跟es版本一致) # 下载 wget https://repo.huaweicloud.com/logstash/7.14.2/logstash-7.14.2-linux-x86_64.tar.gz # 解压 tar -zxvf logstash-7.14.2-linux-x86_64.tar.gz # 需要mysql-connector-java-5.1.40.jar,随便放到比如目录 # /var/lib/hadoop-hdfs/logstash-7.…

2022年7月29日 0条评论 881点热度 0人点赞 等待下一个秋 阅读全文
Spring

Spring IOC 容器源码分析

觉得这篇文章写的挺详细,分享出来,原文地址:https://javadoop.com/post/spring-ioc Spring 最重要的概念是 IOC 和 AOP,本篇文章其实就是要带领大家来分析下 Spring 的 IOC 容器。既然大家平时都要用到 Spring,怎么可以不好好了解 Spring 呢?阅读本文并不能让你成为 Spring 专家,不过一定有助于大家理解 Spring 的很多概念,帮助大家排查应用中和 Spring 相关的一些问题。 本文采用的源码版本是 4.3.11.RELEASE,算是 5.…

2022年7月20日 0条评论 2700点热度 0人点赞 等待下一个秋 阅读全文
未分类

elasticsearch修改字段类型

1、原索引 PUT my_index {   "mappings": {     "_doc": {       "properties": {         "create_date": {           "type":   "date",           "format": "yyyy-MM-dd ||yyyy/MM/dd"         …

2022年7月5日 1条评论 768点热度 0人点赞 等待下一个秋 阅读全文
未分类

curl操作elasticsearch常用命令

说明:这些命令针对es7.x,6 以下版本可能无效,elastic 6 / 7不同版本命令差别较大。。 创建索引 这里创建索引名为fc_search,type和data是关键字类型,也就是不进行分词,keyword_1是text类型,默认分词,并且指定分词方式为ik_smart。 curl -u elastic:changeme -X PUT http://192.168.20.130:9200/fc_search -H 'Content-Type: application/json' -d&#…

2022年7月5日 0条评论 836点热度 0人点赞 等待下一个秋 阅读全文
Python

Python通过orm操作mysql数据库

1. SQLAlchemy Python2/3都支持它,SQLAlchemy 自己无法操作数据库,必须结合 pymsql 等第三方插件,所以也需要安装pymysql。 pip2 install pymysql pip2 install SQLAlchemy 用法: from sqlalchemy import create_engine, Column, Integer, String, DateTime from sqlalchemy.orm import declarative_base, Session # …

2022年7月5日 0条评论 2821点热度 0人点赞 等待下一个秋 阅读全文
Python

Python进程管理——Supervisor

一、简介 Supervisor 是一款 Python 开发的进程管理系统,允许用户监视和控制 Linux 上的进程,能将一个普通命令行进程变为后台守护进程,异常退出时能自动重启 详细介绍查阅:Supervisor Introduction 二、安装 Supervisor 支持 Linux 和 Mac,不支持 Windows 本文系统为: centos,supervisor==4.2.4 pip3 install supervisor 安装完成后,在Python bin目录下面会有这样几个文件。 ls /usr/lo…

2022年7月5日 0条评论 2830点热度 0人点赞 等待下一个秋 阅读全文
12345…40

等待下一个秋

待我代码写成,便娶你为妻!专注于Hadoop/Spark/Flink/Hive/数据仓库等,关注公众号:大数据技术派,获取更多学习资料。

搜一搜
标签聚合
mysql 挣钱 Java 数据仓库 书籍 Python R语言 Flink 大数据 算法 Hive Redis
文章归档
  • 2023年2月
  • 2022年12月
  • 2022年11月
  • 2022年9月
  • 2022年7月
  • 2022年6月
  • 2022年5月
  • 2022年4月
  • 2022年3月
  • 2022年2月
  • 2022年1月
  • 2021年12月
  • 2021年11月
  • 2021年10月
  • 2021年9月
  • 2021年8月
  • 2021年6月
  • 2021年5月
  • 2021年4月
  • 2021年3月
  • 2021年2月
  • 2021年1月
  • 2020年12月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年7月
  • 2020年5月
  • 2020年4月
  • 2020年1月
  • 2019年9月
  • 2019年8月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年1月
  • 2018年12月
  • 2017年5月

©2022 ikeguang.com. 保留所有权利。

鄂ICP备2020019097号-1

鄂公网安备 42032202000160号