-
Canal binlog 日志 Dump 流程分析
Canal 的 dump 支持串行和并行模式两种模式，本篇重点梳理 dump 的核心流程，以便对 dump 过程有一个充分的了解，更好的理解 Canal 的实现原理与细节，下一篇中将重点关注Canal是如何引入并行模式来提高dump的性能，即并行编程相关的技巧。从前面的文章我们得知 Canal binlog 日志解析的基本流程如下图所示：Step1：在发送d... 全文》
MySQL 5年前 | touch -
MySql-Binlog协议
MySQL主备复制原理MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)MySQL sla... 全文》
Php 5年前 | touch -
本地连接Kafka提示连接被拒绝
本地连接Kafka提示连接被拒绝，报错信息如下。:30:34.701 [main] DEBUG org.apache.kafka.clients.producer.KafkaProducer - Exception occurred during message sen... 全文》
Linux 5年前 | touch -
记kafka partition数据量过大导致不能正确重启
某台kafka服务器负载过高，机器挂掉一段是时间后，kill掉占用内存的进程，然后重启kafka服务，但是一直不能完成启动和数据同步，日志如下fset 0 to broker BrokerEndPoint(11,192.168.207.79,9092)] ) (kafka.server.Replic... 全文》
Linux 5年前 | touch -
Centos7单机安装kafka，进行生产者消费者测试
一、kafka介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设... 全文》
Linux 5年前 | touch -
Centos7 设置定时任务
最近出了一件大事，用ShowDoc的Docker方式部署在服务器上，白天有工人换机箱，把电断了，导致ShowDoc数据丢了。。备份数据刻不容缓。1、安装 crontabs服务并设置开机自启：$ yum install crontabs $ systemctl enable crond $&nbs... 全文》
Linux 5年前 | touch -
MySql Replication基本原理
Replication的思想是将数据在集群的多个节点同步、备份，以提高集群数据的可用性（HA）；Mysql使用Replication架构来实现上述目的，同时可以提升了集群整体的并发能力。5.6版本作为一个里程碑，对replication做了不少的优化调整，提高了集群数据的一致性、同步的性能以及数据自动恢复（recovery）的能力。（本文内容基于MySQL... 全文》
MySQL 5年前 | touch -
mysql binlog_format 实时修改
--mysql允许在session或者global级别动态设置binlog_format的值，做在更新很多行时，可以设置 binlog_format = 'STATEMENT' 以加快数据应用到备库上 A session that makes many small changes to the database might want... 全文》
MySQL 5年前 | touch -
使用Docker搭建带密码验证的Kafka
最近需要用到带有鉴权的kafka，看网上大都是使用confluentinc的kafka，因内网环境没有这个，所以使用 wurstmeister/zookeeper 和 wurstmeister/kafka 搭建了一个带有密码验证的kafka，简单记录下搭建的过程。1 配置ZOOKEEPER1.1 新建放置配置文件的目录/usr/xxx/kafka-sasl/... 全文》
Linux 5年前 | touch
