大数据Canal(二):Canal下载安装
Canal下载安装
一、安装前准备(开启MySQL binlog)
对于自建 MySQL , 需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式,开启Mysql binlog日志步骤如下:
1、登录mysql查看MySQL是否开启binlog日志
[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";
2、开启mysql binlog日志
在/etc/my.cnf文件中[mysqld]下写入以下内容:
[mysqld]# 随机指定一个不能和其他集群中机器重名的字符串,配置 MySQL replaction 需要定#义,不要和 canal 的 slaveId 重复server-id=123 #配置binlog日志目录,配置后会自动开启binlog日志,并写入该目录log-bin=/var/lib/mysql/mysql-bin# 选择 ROW 模式binlog-format=ROW
MySQL binlog-format有三种模式:Row、Statement 和 Mixed 。
【资料图】
Row:不记录sql语句上下文相关信息,仅保存哪条记录被修改。优点: binlog中可以不记录执行的sql语句的上下文相关的信息,仅需要记录那一条记录被修改成什么了。所以row level的日志内容会非常清楚的记录下每一行数据修改的细节。
缺点:所有的执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容,比如一条update语句,修改多条记录,则binlog中每一条修改都会有记录,这样造成binlog日志量会很大,特别是当执行alter table之类的语句的时候,由于表结构修改,每条记录都发生改变,那么该表每一条记录都会记录到日志中。
Statement(默认):每一条会修改数据的sql都会记录在binlog中。这种模式下,slave在复制的时候sql进程会解析成和原来master端执行过的相同的sql来再次执行。
优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。
缺点:由于只记录语句,所以,在statement level下 已经发现了有不少情况会造成MySQL的复制出现问题,主要是修改数据的时候使用了某些定的函数或者功能的时候会出现。 例如:update 语句中含有uuid() ,now() 这种函数时,Statement模式就会有问题(update t1 set xx = now() where xx = xx)
Mixed: 混合模式在Mixed模式下,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志格式,也就是在Statement和Row之间选择一种。如果sql语句确实就是update或者delete等修改数据的语句,那么还是会记录所有行的变更。
3、重启mysql 服务,重新查看binlog日志情况
[root@node2 ~]# service mysql restart[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";
二、下载安装Canal
1、下载Canal
Cannal下载地址如下:Releases · alibaba/canal · GitHub
这里选择Canal 1.1.4版本下载。
2、上传解压
将下载好的Canal安装包上传到node3节点上,解压
#首先创建目录 “/software/canal”[root@node3 ~]# mkdir -p /software/canal#将Canal安装包解压到创建的canal目录中[root@node3 ~]# tar -zxvf /software/canal.deployer-1.1.4.tar.gz -C /software/canal/
标签:
相关阅读
-
03-15
-
03-14
-
03-14
-
03-14
推荐阅读
-
大数据Canal(二):Canal下载安装
对于自建MySQL,需要先开启Binlog写入功能,配置binlog-format为ROW模式,开启Mysqlbinlog日志步骤如下:更多
2023-03-15 03:16:00
-
当前资讯!四川省委网信办 四川证监局联合开展非
近期,按照中央网信办、中国证监会的统一部署,四川省委网信办、四川证监局联合开展非法证券活动网上信息专项治理。更多
2023-03-14 22:45:19
-
全球热点评!中辉期货原油日报20230314:原油价格
中辉期货原油日报20230314:原油价格偏空运行更多
2023-03-14 20:37:12
-
今头条!市场押注澳洲联储将暂停加息 强劲通胀或
市场押注澳洲联储将暂停加息强劲通胀或不允许更多
2023-03-14 20:32:23
-
美联储加息预期降温 日本10年期国债收益率跌破0.25%
美联储加息预期降温日本10年期国债收益率跌破0 25%更多
2023-03-14 20:36:14
-
每日动态!广东三日游攻略_广东三日游路线推荐
在大家的印象中,广东是一个很是发达的省份,这里经济发展飞快,而且人潮拥挤,还有美味的广式茶点。不过除了以上这些,大家好像更多
2023-03-14 19:58:15
-
昆明各县(市)区财政局证书领取地点和咨询电话一览
各县(市)区财政局证书领取地点和咨询电话(一)五华区考生证书领取地点及联系方式五华区人民中路66号1号楼602室63637345(二)盘龙区考生证书领取地点及更多
2023-03-14 16:58:54
-
全球实时:国信期货日评:国际原油走低拖累,油脂
国信期货日评:国际原油走低拖累,油脂下滑,铜铝震荡更多
2023-03-14 16:33:36
时尚热图
热门标签
精彩放送
-
03-15
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
03-14
-
今日必看
-
精彩话题
-
今日推送
- 万亿巨头辉瑞斥资千亿拿下百倍大牛股 全球药企竞逐ADC药物领域
- 策略周报 | 全球开启避险模式,A股春季攻势尚存空间?
- 【环球速看料】长安期货原油早评:价格将震荡,建议区间短差或谨慎偏多
- 三立期货3月14日早间内参——能化
- 快消息!今朝花树下
- 世界微动态丨黄金市场分析:硅谷银行倒闭事件发酵,避险黄金继续狂飙
- 太湖轻绣森林
- 赶“集”去 寻觅更多美好可能
- 全球速读:证券之星全球市场早报(3月14日)
- 传艺科技:公司将根据具体情况履行信息披露义务
- 百瑞赢早评:央企指数基金来袭 注册制首批主板企业过会
- 苏州科达(603660)3月13日主力资金净卖出6570.24万元
- 当前速递!耐科装备(688419)3月13日主力资金净卖出417.36万元
- 报道:伦敦之王将赴沙特搭档C罗赚钱 还是为梦想选择米兰?
- 当前消息!首批主板注册制企业来了!11家全部过会 今日还有5家上会!全面注册制加速推进
- 原油交易提醒:美股银行股重挫拖累大盘,金融危机担忧打压油价下挫超2%
- 即时:信质集团(002664)99万股限售股将于3月15日解禁上市,占总股本0.25%
- 环球看热讯:华泰证券:自清洁带动扫地机需求回暖 国内扫地机正增长可期
- 每日头条!三维通信:3月10日接受机构调研,德邦证券、东方马拉松等多家机构参与
- 焦点消息!飞鹿股份最新公告:拟向嘉麒晟科技定增募资不超1.39亿元
- 环球讯息:3月13日震有科技发布公告,其股东减持193万股
- 全球消息!中信建投:当前军工板块高性价比更加凸显 建议坚定加大配置力度
- 爱旭股份最新公告:2022年净利润23.28亿元 拟10转4派5.5元
- 全球即时:3月14日重点数据和大事件前瞻
- 当前要闻:百亿私募李蓓发话 提示这类产品风险!拒绝被拿来营销“带货”
- 3月14日财经早餐:硅谷银行倒闭刺激避险情绪升温,黄金创一个月新高,白银飙升超6%
- 全球微资讯!什么叫红移现象_什么是红移定律
- 山东银香伟业集团公司
- 焦点热门:图解海正生材年报:第四季度单季净利润同比减24.38%
- 【全球新视野】西南证券:给予新国都买入评级
- 环球速递!亚厦股份(002375)股东亚厦控股有限公司质押4300万股,占总股本3.21%
- 拜登表态:全面问责!恐慌指数飙升20% 人民币却拉升800点
- 全球聚焦:东方证券:给予阳光诺和买入评级,目标价位126.04元
- 关注:图解南侨食品年报:第四季度单季净利润同比减70.69%
- 【世界时快讯】铜峰电子最新公告:2022年度净利润7394.84万元 同比增长45.41%
- 全球热头条丨杭州就户籍制度改革征求意见:大专可落户、县域落户政策全面放开
- 外服控股最新公告:拟以13.43亿元购买绿地外滩中心T3办公楼的相关房产及车位
- 环球最资讯丨宝馨科技最新公告:拟定增募资不超过30亿元
- 富春染织最新公告:拟7亿元投资年产11万吨高品质筒子纱染色建设项目
- 英威腾:3月9日接受机构调研,中金公司、长江证券等多家机构参与
- 热点在线丨中国驻悉尼旅游办事处线上推介“亮丽内蒙古”
- 即时:故宫博物院与上海昆剧团签署战略合作协议
- 焦点快播:3月13日晚间沪深上市公司重大事项公告最新快递
- 焦点热讯:送外卖清华博士生曾创办留学机构具体详细内容是什么
- 全球快播:*ST易尚:公司未参加此次交易会
- 世界速看:突发大风暴!欧洲股市“崩了”!暴跌超70% 美国又一银行爆雷?
- 世界新动态:诚迈科技:截至2023年3月10日,公司股东总户数为36,893户
- 全球快播:中科海讯:截至2023年3月10日,公司含信用账户股东户数为16594户
- 全球快看:鼎捷软件发布2022年度业绩快报 盈利1.316亿元 分析师这么看
- 通讯!铭利达:公司的主营业务是精密结构件制造,会涉及相关产品的结构件生产,但不涉及整体系统的产品制造