摘要:如果有一张100G的单表或分区表,研发要求在1-2个小时内将表数据迁移到另一台数据库上,你会怎么做?如果用传统的导入导出,基本完成不了任务,还好有传输表空间这个工具,可以帮上忙:普通表数据迁移:1.目标端创建与源同样的表结构CREATE TABLE `test` ( `id` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8;2.目标端保留.frm文
2020年08月11日
MySQL基准测试工具Sysbench安装配置详解
摘要:安装:- RHEL/CentOS: ``` shell curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash yum -y install sysbench测试的脚本目录 :[test@node232 sysbench]# pwd/usr/share/sysbench[test@node232 sysbench]# lsbulk_insert.lua oltp_insert.lua oltp_read_write.lu
分类:DataBase
2020年07月28日
MySQL查看表中指定索引的高度
摘要:查看表中指定索引的高度:索引层数的表示法:索引中每个页的结构图:page Header中有个page level的值,这个值保存这个B+树的高度值,由于B+树从0开始算,所以B+树的高度=page level的值再加1由于B+树中是从root页开始查找数据,而root页中的page header中的page level中存储这颗B+树的高度值,所以下面需要查找到指定索引的root页的page_no查找索引树中的root页的位置:查看指
分类:DataBase
2020年07月24日
Innodb存储引擎4大特性
摘要:Innodb存储引擎特性: DoubleWriteInsert/Change BufferAdaptive Hash IndexFlush neighbor page DoubleWrite:(root@DB)[information_schema]> showvariables like '%double%' -> ; +--------------------+-------+ | Variable_name | Value | +--------------------+-------+ | innodb_doublewrite | ON 
分类:DataBase
2020年07月23日
clickhouse从MySQL全量同步数据shell脚本
摘要:[root@node99 shell_scripts]# cat rsync_from_mysql_to_clickhouse.sh#!/bin/bashSOURCE_DB_SCHEMA="hexin"SOURCE_TABLE=(hexin_uuid hexin_work_bar)for i in ${SOURCE_TABLE[*]}do echo "Current table:${i}" /usr/bin/clickhouse-client --database $SOURCE_DB_SCHEMA --query "sel
分类:DataBase
2020年07月14日
mysql2ch-0.5.3-clickhouse从MySQL增量时时同步数据
摘要:介绍mysql2ch 是一个用于同步 MySQL 到 ClickHouse 的工具,支持全量同步与增量同步。特性支持全量同步与增量同步。支持 DDL 与 DML,当前支持 DDL 字段新增与删除,支持所有的 DML。丰富的配置项。依赖软件版本kafka-2.1.0,用户缓冲 MySQL binlog 的消息队列。需要先安装好redis-5.0.6,缓存 MySQL binlog position 与 file。需要先安装好Python 3.6.8 运行环境安装pip3 inst
分类:DataBase
2020年06月17日
MySQL-通过SSL加密连接数据库详解
摘要: 默认创建的用户,既可以通过帐号密码登录,也可以通过--SSL来登录,还可以通过密钥来登录 查看当前数据库是否启用SSL: [5.7之后默认启动,5.6需要手动启动](root@DB)[(none)]> show variables like'%ssl%' -> ; +---------------+-----------------+ | Variable_name | Value | +---
分类:DataBase
2020年05月13日
UNDO段的原理以及自动UNDO段管理
摘要:undo和redo undo 用于撤销修改的操作(事务回滚) rollforeword redo用于将数据的修改重演一遍(恢复) rollback UNDO的目的 事务的回滚 实例的恢复 提供查询的一致性读 显式开启一个事务:SQL> create table t (id int ) SQL> begin 2 insert into t value
分类:DataBase
2020年05月09日
MYSQL5.7.18 数据库物理增量备份恢复脚本(xtrabackup2.4.20)
摘要:功能说明:整套功能需要 三个脚本 innobackupex_all.sh、innobackupex_increment.sh、innobackupex_restore.sh我们知道xtrabackup可以第一次备份全量数据,之后设置增量备份。Linux crontab以数字0-6表示”周日”-“周六”。所以,我以一周为周期:周日进行全备,存放于0目录;周一至周六增备,存放于1-6目录;下次周日清空目录重新全备。上面以0-6这样的目录名存放备份数据,是
分类:DataBase
2020年05月03日
Oracle-重做日志文件详解
摘要:日志文件的状态:SQL> select group#,status from v$log; GROUP# STATUS---------- ---------------- 1 INACTIVE 2 INACTIVE #表示日志文件的数据在实例恢复时不需要这个数据文件 3 CURRENT &nbs