Canal과 RocketMQ를 활용한 MySQL 데이터 증분 동기화 구현
개요
Canal은 MySQL의 바이너리 로그(binlog)를 기반으로 증분 데이터를 실시간으로 파싱하고, 이를 외부 시스템에 전달하는 오픈소스 미들웨어입니다. 주요 원리는 MySQL 슬레이브처럼 동작하여 마스터 DB로부터 binlog 스트림을 수신한 후, 해당 이벤트를 해석해 외부 소비자에게 제공하는 것입니다.
주요 사용 사례로는 다음과 같은 시나리오가 있습니다:
데이터베 ...
7월 15일 05:18에 게시됨
.NET Core에서 Canal을 이용한 MySQL 데이터 동기화 구현
MySQL Binlog 설정 및 준비
Canal은 MySQL의 binlog를 기반으로 데이터 변경 사항을 실시간으로 감지하고 처리하는 오픈소스 컴포넌트입니다. 이를 사용하기 위해선 먼저 MySQL 서버에서 binlog 기능이 활성화되어 있어야 하며, 포맷은 ROW 모드로 설정되어야 합니다.
MySQL 설정 파일(my.cnf 또는 mysqld.cnf)에 다음 내용을 추가합니다:
[mysqld]
log-bin=mysql-bin
bin ...
7월 5일 17:52에 게시됨