cloudcanal 免费社区版 是 clougence 公司推出的一款全自研、可视化、自动化数据迁移同步工具，具备 结构迁移、数据迁移、数据同步、数据校验、数据订正 等功能，支持 60+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间数据互通，其中包含国产数据库 oceanbase、polardb、tidb、starrocks、doris、rocketmq 等。
结合开源项目 CloudCanalProcess ，可方便实现如下功能：
wide-table : 打宽表数据处理插件，主要包括事实表和单维表组合处理 data-transform : 数据通用转换插件，比如做操作变幻、额外加字段、清洗回填数据 data-gather : 数据汇聚插件，将分库分表、垂直拆分、异地数据进行实时汇聚 data-compare : 数据对比插件，根据源端数据变化进行业务对账 business-alert : 业务告警插件，根据数据变化趋势做出相应告警
CloudCanal 产品功能对标阿里云 DTS、亚马逊 DMS、StreamSets、AirByte，助力开发、DBA 或运维同学快速构建在线数据应用。
Release-Note
亮点
支持 SaaS 全托管模式，无需部署任何组件，登录网站即可使用。当前开放上海 、深圳两区域，可就近选择使用 支持 MySQL、PostgreSQL、StarRocks、Doris、ClickHouse 等数据源通过 SSH 隧道连接，方便跨互联网数据互联 开放 PolarDB PostgreSQL -> MySQL/PostgreSQL/Doris/SelectDB/StarRocks 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步（加列/减列/modify/rename/truncate）
新链路
开放 MySQL -> DeltaLake 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步（加列/减列/modify/rename） 开放 MySQL -> PolarDB PostgreSQL 结构迁移、全量迁移、增量同步、数据校验、数据订正、DDL 同步（加列/减列/modify/rename/truncate） 开放 ClickHouse -> ClickHouse 全量同步/数据校验/数据订正/结构迁移（新增参数 enableSelectFinal） 开放 ClickHouse -> StarRocks/Doris/SelectDB 强类型全量同步/数据校验/数据订正/结构迁移
新特性
支持 手动输入方式添加阿里云 RDS for MySQL、RDS for PostgreSQL、RDS for SQL Server、PolarDBMySQL、PolarDBX、ADB for MySQL、ADB for PG 数据源 支持 PostgreSQL 源端 Truncate DDL 捕获 支持 达梦、GaussDB、TiDB、Hana、PostgreSQL 全量扫描时，根据用户选择的列进行扫描 支持 PostgreSQL -> RocketMQ / RabbitMQ 全量同步/增量同步 支持 SQL Server -> Doris/SelectDB 虚拟列 和 DDL 同步（加列/减列） 支持 Oracle -> Doris/SelectDB 虚拟列 支持 Oracle 对端为 Number 类型，源端数据为 byte 数组（如 mysql/pg bit[n]）的迁移同步 支持 MySQL -> PostgreSQL/AuroraPostgreSQL 定时全量同步 支持 PostgreSQL 自定义 Array/String 类型 支持 PostgreSQL -> MySQL/OceanBase for MySQL 同步 smallint/int/bigint/oid/numeric… 等数组类型 支持 黑名单方式的操作过滤，分为数据操作、列变更、索引变更、数据定义变更、表变更 5 大类 16 小项，方便细颗粒度过滤操作（如只过滤索引变更操作） 支持 任务参数模版管理（创建、查询、删除） 支持 将已有任务参数保存为任务参数模板（参数手动选择），类似性能优化参数可复用到新任务 支持 创建任务和修改任务时选用任务参数模板 支持 TiDB 源端定时自动刷新 GC 时间，历史版本数据不会因为 GC 超时而被清掉 支持 DynamoDB 元信息检索能力 支持 达梦源端增量任务超时导致解析失败自动进行重试（新增参数：lmTimeoutRetry） 支持 Console 控制台自动升级、启动 支持 修改订阅删除源端已不存在的库、表 支持 新 Open API，包括 startWorker、stopWorker、modifyMemOverSoldPercent、updateWorkerAlertConfig、deleteWorker、detachIncreJob
优化
优化 SQL Server 源端开启快照读、条件下推不再读取主键最大最小值 优化 StarRocks/Doris/SelectDB 写入报错日志打印，报错日志增加 Schema 和 Table 信息 优化 Iceberg 数据源配置，可以直接填写 AK/SK，简化配置 优化 OnlineDDL 转化为目标端普通 DDL，减少在目标端执行不必要的临时表操作（新增参数：onlineDdlConvert、onlineDdlBackupDb） 优化 OnlineDDL Ghost 临时表订阅规则，支持配置临时表正则表达式，解决无法订阅 ~yourtablename_{timestamp}_gho/~yourtablename_gho 格式的临时表问题（新增参数：onlineDdlTempTableRegex） 优化 添加 RDS for MySQL 数据源默认认证方式为账号密码 优化 达梦 DSC 实例增量暂不支持表级位点（初始化位点阶段报错，避免需重建任务） 优化 达梦数据源参数（isDscNode），避免任务创建后需再次修改 优化 达梦提交位点，避免增量任务订阅表没有数据变更，导致数据延迟持续增大 优化 TiDB 源端分区表同步，兼容任务组并行分区消费数据 优化 TiDB 源端开启 printDetailLog 参数，源端打印更多详细日志，方便排查问题 优化 PostgresSQL BYTEA 映射为 MySQL/OceanBase for MySQL LONGBLOB 类型 优化 OceanBase MySQL & Oracle 租户 DDL 执行超时，默认超时设置为 8 小时 优化 OceanBase Oracle 租户全量扫描 SQL 执行超时，和 soTimeoutSec 参数关联 优化 并发布 cloudcanal-openapi-sdk 1.0.2 版本，无需填写调用 URI，更加简洁，并支持更多开放 API 调用 优化 产品界面展示的性能，防止在大量库表列情况下的浏览器内存占用过高，导致浏览器崩溃的问题 优化 任务日志与 Worker 日志的查看体验 优化 任务参数中 JSON 字段的编辑交互方式 优化 页面“同步设置”需通过二级菜单进入，避免误操作
问题修复
修复 自动刷新没有更新 Prometheus 图表的问题 修复 worker 列表的详细信息最近更新日期永远为 1970-01-01 08:00:00 的问题 修复 ElastiCache -> ElastiCache 创建任务页面中，高级配置目标端展示了 RDB 相关的内容 修复 Oracle 源端校验订正任务超出 in(?,?,?) 长度限制的问题 修复 Doris/SelectDB 目标端修改订阅没有复制主任务参数（deleteOpCol），导致子任务增量同步报错 修复 修改订阅和创建相似任务没有拿取主任务的列映射规则（COLUMN_COLUMN） 修复 PostgreSQL 源端表包含表达式索引时结构迁移报错的问题 修复 达梦增量任务 DDL SQL 截断的问题 修复 达梦增量任务 Redo SQL 乱序的问题 修复 达梦增量任务初始化位点找不到 DUAL 表的异常 修复 达梦 DSC 实例增量任务无法消费的异常 修复 达梦 DSC 实例增量任务修改订阅没有复制主任务参数（isDscNode），导致子任务增量同步报错 修复 PostgreSQL 源端 DDL 加列解析 COLUMN 关键字报错的问题 修复 PostgreSQL 源端 DDL 修列类型解析 USING 关键字解析报错的问题 修复 StarRocks/Doris 目标端 DDL 防重检测报错的问题 修复 TiDB 目标端 ROW 模式，冲突策略设置 IGNORE 不生效的问题 修复 TiDB 到 Kafka Canal 格式 es 字段为空的问题 修复 TiDB 源端 ALTER TABLE partition_table ADD PARTITION PARTITIONS 20 不会触发新分区订阅的问题 修复 SQL Server 为源端的子任务合并后任务重启失败的问题 修复 阿里云 RocketMQ 为目标端时，部分链路结构迁移报错的问题 修复 RabbitMQ 为目标端时，测试连接报错的问题 修复 创建相似任务时的缓存遗留问题 修复 读取关键字配置文件失败导致无限递归的问题 修复 任务列表页面用源端数据源 ID 或者目标端数据源 ID 搜索之后，刷新页面数据源列表没有展示的问题 修复 Console 控制台监控报错的问题 修复 Console 共享单一 Prometheus 服务监控图表无法显示的问题 修复 全量任务（dataTaskState”: “COMPLETE”）在完成状态下无法修改订阅的问题 修复 子账号登录后卡在登录界面的问题 修复 子账号只提供审计权限时，登录后无法跳转的问题 修复 修改订阅对新增表中的单张表添加虚拟列，再批量添加同名的虚拟列，会重复设置导致任务报错的问题 修复 先设置虚拟列（设置为表中含有的列名的虚拟列），再批量设置目标主键或清洗数据，搜索含有该列的表时数量不正确的问题 修复 修改订阅添加库，源端选一个目标端不存在的库，不选择目标端的库（页面显示为未选择的状态），点击确定可以添加成功的问题 修复 重跑操作时，同一个任务位点并行修改可能导致任务状态不对的问题 修复 查看机器日志因为日志调整出现的破页问题 修复 Kafka 目标端修改映射规则后，目标端 partition 没有设置成已存在 topic 的 partition 的问题 修复 Kafka 目标端手动输入表名回车后，目标端 partition 没有设置成已存在 topic 的 partition 的问题 修复 达梦 DSC 实例连接不同实例操作同一个表增量数据乱序的问题 修复 达梦 DSC 初始化位点，不同实例位点间隔太大的问题 修复 Paimon 写入重试导致文件找不到的问题
免费下载和使用
SaaS 全托管模式快速上手：https://www.clougence.com/docs/quick/quick_start_mgr
源码地址：点击下载
以上就是数据实时迁移同步工具 CloudCanal v5.2.0.0 发布，支持 SaaS 全托管的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/28615.html
微信扫一扫 
支付宝扫一扫 
