阮胜昌的技术记录站-LinuxMySQL数据库运维

摘要：某年某月某天，线上主从由于误操作，主从数据不一致了，以下方法将演示在线做主从的方法：如果发现主从数据不一致，先将连接从库的在代码上修改成直接连接主库，要等待从库没有流量过来以后，再做主从数据同步1.在从库上,重置从库的slave配置：STOP SLAVERESET SLAVE; 或者 reset slave all;2.在主库上执行数据库全库备份：mysqldump --master-data=2 --single-transaction --a

摘要：binlog2sql从MySQL binlog解析出你要的SQL。根据不同选项，你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。用途·数据快速回滚(闪回)·主从切换后新master丢数据的修复·从binlog生成标准SQL，带来的衍生功能·环境要求 CentOS 7.x Python 2.7, 3.4+ MySQL 5.6, 5.7安装shell> gitclone https://github.com/danfengcao/binlog2sql.git && cd

摘要：主从数据重复是指，在从库有一条数据，在主库又执行了同一条语句，导致从主库同步的数据传到从库后发生错误，因为从库也有同一条数据，这时处时方法如下：表结构： show create table test;+-------+------------------------------------------------------------------------------------------------------------+| Table | Create Table         

摘要：CTE-公用表表达式CTE包括递归和非递归两种公用表达式允许使用命令的临时结果集，这是通过允许在SELECT语句和某些其他语句前面使用WITH子句来实现的为什么需要CTE不能在同一查询中两次引用派生表，因为那样的话，查询会根据派生表的引用次数计算两次或多次，这会引发严重的性能问题。 使用CTE后，子查询只会计算一次非递归CTE公用表表达式（ CTE）与派生表类似，但它的声明会放在

摘要：如果有一张100G的单表或分区表，研发要求在1-2个小时内将表数据迁移到另一台数据库上，你会怎么做？如果用传统的导入导出，基本完成不了任务，还好有传输表空间这个工具,可以帮上忙：普通表数据迁移：1.目标端创建与源同样的表结构CREATE TABLE `test` (      `id` int(11) DEFAULT NULL    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;2.目标端保留.frm文

摘要：安装：- RHEL/CentOS:  ``` shell  curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash    yum -y install sysbench测试的脚本目录 ：[test@node232 sysbench]# pwd/usr/share/sysbench[test@node232 sysbench]# lsbulk_insert.lua  oltp_insert.lua        oltp_read_write.lu

摘要：查看表中指定索引的高度：索引层数的表示法：索引中每个页的结构图：page Header中有个page level的值，这个值保存这个B+树的高度值，由于B+树从0开始算，所以B+树的高度=page level的值再加1由于B+树中是从root页开始查找数据，而root页中的page header中的page level中存储这颗B+树的高度值，所以下面需要查找到指定索引的root页的page_no查找索引树中的root页的位置：查看指

摘要：Innodb存储引擎特性： DoubleWriteInsert/Change BufferAdaptive Hash IndexFlush neighbor page DoubleWrite:(root@DB)[information_schema]> showvariables like '%double%'     -> ; +--------------------+-------+ | Variable_name      | Value | +--------------------+-------+ | innodb_doublewrite | ON 

摘要：[root@node99 shell_scripts]# cat rsync_from_mysql_to_clickhouse.sh#!/bin/bashSOURCE_DB_SCHEMA="hexin"SOURCE_TABLE=(hexin_uuid hexin_work_bar)for i in  ${SOURCE_TABLE[*]}do        echo "Current table:${i}"        /usr/bin/clickhouse-client --database $SOURCE_DB_SCHEMA --query "sel

摘要：介绍mysql2ch 是一个用于同步 MySQL 到 ClickHouse 的工具，支持全量同步与增量同步。特性支持全量同步与增量同步。支持 DDL 与 DML，当前支持 DDL 字段新增与删除，支持所有的 DML。丰富的配置项。依赖软件版本kafka-2.1.0，用户缓冲 MySQL binlog 的消息队列。需要先安装好redis-5.0.6，缓存 MySQL binlog position 与 file。需要先安装好Python 3.6.8 运行环境安装pip3 inst