当前位置： 首页 > news >正文

网站怎么做一级域名跳转/百度快速优化软件

news 2025/7/4 21:13:42
网站怎么做一级域名跳转,百度快速优化软件,模板网站建设价格,建设通app官方下载flink系列之：使用flink cdc3从mysql数据库同步数据到doris和starrocks 一、下载部署flink二、下载部署flink cdc3三、下载mysql-connector-java到flink和flink cdc的lib目录四、flink设置checkpoint支持增量同步数据五、mysql到doris和starrocks的yaml配置文件六、启…

flink系列之：使用flink cdc3从mysql数据库同步数据到doris和starrocks

  • 一、下载部署flink
  • 二、下载部署flink cdc3
  • 三、下载mysql-connector-java到flink和flink cdc的lib目录
  • 四、flink设置checkpoint支持增量同步数据
  • 五、mysql到doris和starrocks的yaml配置文件
  • 六、启动flink和flink cdc
  • 七、查看flink cdc任务同步日志
  • 八、查看mysql表和starrocks表
  • 九、flink cdc技术生产环境应用

一、下载部署flink

  • 下载flink

解压flink

tar -zxvf flink-1.19.1-bin-scala_2.12.tgz

修改flink配置文件config.yaml

taskmanager:bind-host: localhosthost: localhostnumberOfTaskSlots: 6memory:process:size: 1728mparallelism:default: 1
rest:address: 10.66.77.104# network interface, such as 0.0.0.0.bind-address: 10.66.77.104# port: 8081# # Port range for the REST and web server to bind to.# bind-port: 8080-8090

设置flink 环境变零

cd /etc/profile.d
cat flink.sh #export HADOOP_CLASSPATH=`hadoop classpath`
FLINK_HOME=/data/src/flink/flink-1.19.1
PATH=$PATH:$FLINK_HOME/bin:$FLINK_HOME/sbinexport PATH
export FLINK_HOME

启动flink

./start-cluster.sh

查看jps

jps
760234 StandaloneSessionClusterEntrypoint
390132 Jps
760880 TaskManagerRunner

查看flink web ui，{ip}:{port}
在这里插入图片描述

二、下载部署flink cdc3

  • https://github.com/apache/flink-cdc/releases
    在这里插入图片描述
    解压flink-cdc3
tar -zxvf flink-cdc-3.3.0-bin.tar.gz

下载Pipeline Connectors Jars和Source Connector Jars到lib目录

/data/src/flink/flink-cdc-3.3.0/lib   ls
flink-cdc-dist-3.3.0.jar                              flink-cdc-pipeline-connector-maxcompute-3.3.0.jar  flink-sql-connector-tidb-cdc-3.3.0.jar
flink-cdc-pipeline-connector-doris-3.3.0.jar          flink-cdc-pipeline-connector-mysql-3.3.0.jar       mysql-connector-java-8.0.28.jar
flink-cdc-pipeline-connector-elasticsearch-3.3.0.jar  flink-cdc-pipeline-connector-paimon-3.3.0.jar
flink-cdc-pipeline-connector-kafka-3.3.0.jar          flink-cdc-pipeline-connector-starrocks-3.3.0.jar

三、下载mysql-connector-java到flink和flink cdc的lib目录

https://mvnrepository.com/artifact/mysql/mysql-connector-java/8.0.28

在这里插入图片描述

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.28/mysql-connector-java-8.0.28.jar

四、flink设置checkpoint支持增量同步数据

  • execution.checkpointing.interval: 3000

参数说明

  • execution.checkpointing.interval: 这个参数用于指定 Flink 作业执行检查点的频率。检查点是 Flink 用于实现容错机制的一种机制，通过定期保存作业的状态，可以在发生故障时恢复到最近的一个检查点。
  • 3000: 这个值表示检查点的间隔时间，单位是毫秒（ms）。因此，3000 毫秒等于 3 秒。

五、mysql到doris和starrocks的yaml配置文件

放到任意目录下

mysql-to-doris.yaml

   source:type: mysqlhostname: ipport: 3306username: *********password: ************tables: data_entry_test.debeziumOfflineClusterInfo,data_entry_test.debeziumRealtimeClusterInfoserver-id: 5400-5404server-time-zone: Asia/Shanghaisink:type: dorisfenodes: ip:8030username: ***********password: *************route:- source-table: data_entry_test.debeziumOfflineClusterInfosink-table: optics.debeziumOfflineClusterInfo- source-table: data_entry_test.debeziumRealtimeClusterInfosink-table: optics.debeziumRealtimeClusterInfopipeline:name: Sync MySQL Database to Dorisparallelism: 2

mysql-to-starrocks.yaml

################################################################################
# Description: Sync MySQL all tables to Doris
################################################################################
source:type: mysqlhostname: ipport: 3306username: *********password: **********tables: data_entry_test.debeziumOfflineClusterInfo,data_entry_test.debeziumRealtimeClusterInfoserver-id: 5400-5404server-time-zone: Asia/Shanghaisink:type: starrocksname: StarRocks Sinkjdbc-url: jdbc:mysql://ip:9030load-url: ip:8030username: ****************password: ****************
route:- source-table: data_entry_test.debeziumOfflineClusterInfosink-table: dd_test_starrocks.debeziumOfflineClusterInfo- source-table: data_entry_test.debeziumRealtimeClusterInfosink-table: dd_test_starrocks.debeziumRealtimeClusterInfo
pipeline:name: MySQL to StarRocks Pipelineparallelism: 6

六、启动flink和flink cdc

启动flink

./start-cluster.sh

启动flink cdc

/data/src/flink/flink-cdc-3.3.0/bin/flink-cdc.sh
/data/src/flink/flink-cdc-3.3.0/conf/mysql-to-starrocks.yaml

flink web ui查看任务
在这里插入图片描述

七、查看flink cdc任务同步日志

2025-02-18 13:48:49,973 INFO  com.starrocks.connector.flink.catalog.StarRocksCatalog       [] - Success to create table dd_test_starrocks.dd_test_starrocks, sql: CREATE TABLE IF NOT EXISTS dd_test_starrocks.debeziumOfflineClusterInfo (
id VARCHAR(21) NOT NULL,
servername VARCHAR(6168) NOT NULL,
connectorname VARCHAR(6168) NOT NULL,
databasename VARCHAR(6168) NOT NULL,
url VARCHAR(6168) NOT NULL,
topicname VARCHAR(6168) NOT NULL,
clustername VARCHAR(6168) NOT NULL
) PRIMARY KEY (id)
DISTRIBUTED BY HASH (id);

2025-02-18 14:04:25,298 INFO  org.apache.flink.runtime.taskmanager.Task                    [] - Source: Flink CDC Event Source: mysql -> SchemaOperator -> PrePartition (1/2)#0 (2069f3b2a289abd02012736f795a34b7_cbc357ccb763df2852fee8c4fc7d55f2_0_0) switched from INITIALIZING to RUNNING.
2025-02-18 14:04:25,333 INFO  org.apache.flink.runtime.taskmanager.Task                    [] - Source: Flink CDC Event Source: mysql -> SchemaOperator -> PrePartition (2/2)#0 (2069f3b2a289abd02012736f795a34b7_cbc357ccb763df2852fee8c4fc7d55f2_1_0) switched from INITIALIZING to RUNNING.

2025-02-18 14:09:35,729 INFO  com.starrocks.data.load.stream.DefaultStreamLoader           [] - Stream load completed, label : flink-84c2fdac-3341-4b5b-8bf1-3946098c0a97, database : dd_test_starrocks, table : debeziumOfflineClusterInfo, body : {"Status": "OK","Message": "","Label": "flink-84c2fdac-3341-4b5b-8bf1-3946098c0a97","TxnId": 108875857,"LoadBytes": 133959,"StreamLoadPlanTimeMs": 0,"ReceivedDataTimeMs": 0
}

八、查看mysql表和starrocks表

mysql表

-- data_entry_test.debeziumOfflineClusterInfo definitionCREATE TABLE `debeziumOfflineClusterInfo` (`id` bigint unsigned NOT NULL AUTO_INCREMENT COMMENT 'primary key',`servername` varchar(2056) NOT NULL COMMENT 'connector标识名',`connectorname` varchar(2056) NOT NULL COMMENT 'connector名称',`databasename` varchar(2056) NOT NULL COMMENT '数据库名',`url` varchar(2056) NOT NULL COMMENT '数据库名',`topicname` varchar(2056) NOT NULL COMMENT 'topic名称',`clustername` varchar(2056) NOT NULL COMMENT '集群名称',`database_server_id` varchar(256) NOT NULL COMMENT '集群名称',PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=765 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

starrocks表

-- dd_test_starrocks.debeziumOfflineClusterInfo definitionCREATE TABLE `debeziumOfflineClusterInfo` (`id` varchar(21) NOT NULL COMMENT "",`servername` varchar(6168) NOT NULL COMMENT "",`connectorname` varchar(6168) NOT NULL COMMENT "",`databasename` varchar(6168) NOT NULL COMMENT "",`url` varchar(6168) NOT NULL COMMENT "",`topicname` varchar(6168) NOT NULL COMMENT "",`clustername` varchar(6168) NOT NULL COMMENT ""
) ENGINE=OLAP 
PRIMARY KEY(`id`)
DISTRIBUTED BY HASH(`id`)
PROPERTIES (
"replication_num" = "3",
"in_memory" = "false",
"storage_format" = "DEFAULT",
"enable_persistent_index" = "false",
"compression" = "LZ4"
);

如上所示，成功在starrocks表中创建了表，并完成了历史数据和增量数据的同步

九、flink cdc技术生产环境应用

  • 阿里云基于 Flink CDC 的现代数据栈云上实践

细粒度变更策略控制：

  • 支持新增表、新增列、修改列名、修改列定义、删除列、删除表和清空表等操作
    在这里插入图片描述

当上游数据库新增表时，CDC YAML 能够自动识别并同步这些表的数据，而无需重新配置作业。此功能分为两种情况：

  • 历史数据同步：通过开启 scan.newly-added-table.enabled 选项，并通过 savepoint 重启作业来读取新增表的历史数据。
  • 增量数据同步：只需开启 scan.binlog.newly-added-table.enabled 选项，自动同步新增表的增量数据。

在这里插入图片描述

http://www.whsansanxincailiao.cn/news/30339282.html

相关文章：

  • 深圳创建公司注意事项/seo做得比较好的公司
  • 有哪些网站可以做任务返现/网页优化公司
  • 北京网站定制制作/python培训
  • 天门网站定制/win10最强性能优化设置
  • 网站开发毕业实训总结/百度竞价推广代理商
  • 网站站长是什么意思/浏览器如何推广自己网站
  • 滨州网站建设制作/什么是搜索引擎优化seo
  • 如何学做网站优化/百度搜索热度
  • 网站开发有哪些/360网站推广费用
  • 网站首页外链/做网站的软件叫什么
  • php与mysql动态网站开发(第4版)/四川seo关键词工具
  • 美食网站要怎么做/职业培训网络平台
  • 怎么做公司宣传网站/网络推广有多少种方法
  • 应届生出来做网站还是做报纸好/seo教程百度网盘
  • 国内电商平台网站制作排行榜/潍坊百度seo公司
  • 东莞视频课程网站建设/网页制作工具有哪些
  • 英文书 影印版 网站开发/河南网站排名优化
  • 怎么做网站写书/seo站长工具综合查询
  • 鹤壁建设网站推广渠道电话/网站优化软件
  • 深圳企业建站系统模板/朝阳seo推广
  • 网站建设网站建设/系统优化app最新版
  • 网站建设 全是乱码/上海网络营销上海网络推广
  • 网页设计工资一般多少钱/排名优化服务
  • 做新标准大学英语网站/企业网站seo案例
  • 简单的网站建设公司的模板/小辉seo
  • 南京传销是以网站开发/百度贴吧官网入口
  • 大连建网站需要多少钱/关键词排名怎么上首页
  • 标准版网站制作/如何进行网站性能优化?
  • 委外网站开发合同模板/seo翻译
  • 网站开发就业前景怎么样/湖北网站设计