1. mysql建表test; 2. 安装logstash（跟es版本一致） # 下载 wget https://repo.huaweicloud.com/logstash/7.14.2/logstash-7.14.2-linux-x86_64.tar.gz # 解压 tar -zxvf logstash-7.14.2-linux-x86_64.tar.gz # 需要mysql-connector-java-5.1.40.jar，随便放到比如目录 # /var/lib/hadoop-hdfs/logstash-7.…
1、原索引 PUT my_index { "mappings": { "_doc": { "properties": { "create_date": { "type": "date", "format": "yyyy-MM-dd ||yyyy/MM/dd" …
说明：这些命令针对es7.x，6 以下版本可能无效，elastic 6 / 7不同版本命令差别较大。。 创建索引 这里创建索引名为fc_search，type和data是关键字类型，也就是不进行分词，keyword_1是text类型，默认分词，并且指定分词方式为ik_smart。 curl -u elastic:changeme -X PUT http://192.168.20.130:9200/fc_search -H 'Content-Type: application/json' -d&#…
1、原索引 PUT my_index { "mappings": { "_doc": { "properties": { "create_date": { "type": "date", "format": "yyyy-MM-dd ||yyyy/MM/dd" …
1、 HDFS 中的 block 默认保存几份？ 默认保存3份 2、HDFS 默认 BlockSize 是多大？ 默认64MB 3、负责HDFS数据存储的是哪一部分？ DataNode负责数据存储 4、SecondaryNameNode的目的是什么？ 他的目的使帮助NameNode合并编辑日志，减少NameNode 启动时间 5、文件大小设置，增大有什么影响？ HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128…
1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并做简要描述 1）Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 2）Flume：一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 3）Hbase：是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。 4）Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张…
