2022年06月16日

 详细告诉你MySQL数据库的数据扫描方法

摘要：引言关于存储引擎的介绍有很多，基于HEAP的传统存储引擎，以及基于聚簇索引的Innodb引擎等，但优化器如何充分利用存储引擎的特点来实现快速高效的扫描，从而以最小的代价得到用户所需要的结果，是一个非常复杂过程。为了了解优化器是如何运作的，首先我们要了解每一种扫描方式的特点，下面我们以MySQL为例，就一些常见的表扫描方式进行讨论。全表扫描MySQL的full table scan本质
分类:DataBase

2022年05月29日

 MySQL数据抽取CDC工具canal-1.1.5+kafka部署测试全记录

摘要：运行环境：操作系统:                                CentOS 7.9canal相关组件：                                zookeeper-3.4.14.tar.gz                &nb
分类:DataBase

2022年04月26日

 部署otter-4.2.18实现mysql主备数据时时同步

摘要：名称：otter ['ɒtə(r)]译意： 水獭，数据搬运工语言： 纯java开发定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库.工作原理一、环境准备 操作系统配置：关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service关闭SElinuxsed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/configset
分类:DataBase

2022年03月28日

 Clickhouse同步mysql数据失败时，自动处理SHELL脚本

摘要：Clickhouse通过物化引擎同步MySQL的数据，但如果Clickhouse遇到不能解析的EVENTS，则同步会失败，唯一的解决方法就是重新创建数据同步，但重新创建数据同步流程较多，以下这个脚本就是一个自动处理此类事件的，如下：填写需要监控的数据库名称：[root@node220 rsync_mysql_to_clickhouse]# pwd/server/shell_scripts/clickhouse/rsync_mysql_to_clickhouse[root@node220 rsync_
分类:Shell

2022年03月13日

 DATAX可视化面板:data-web编译安装配置

摘要：环境准备1）基础软件安装MySQL (5.7+) 必选,安装略，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库JDK (1.8.0_xxx) 必选，安装略Maven (3.6.1+) 必选，安装略DataX 必选，安装略Python (2.x) 最好用2.x (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调度执行底层D
分类:DataBase

2022年03月12日

 通过datax将SQLSERVER中的数据同步到Clickhouse中

摘要：1.源:        SQLSERVER 配置只读权限的帐号和密码：2.源表结构：CREATE TABLE [dbo].[EgOrg_Company](        [CmpCode] [varchar](30) NOT NULL,  String        [CompanyName] [varchar](100) NULL, String        [ShortName] [varchar](100) NULL, String      &nb
分类:DataBase

2022年03月12日

 阿里巴巴开源异构数据源离线同步工具datax编译安装配置

摘要：环境：[root@node101 DataX]# uname -aLinux node101 4.4.219-1.el7.elrepo.x86_64 #1 SMP Sun Apr 12 16:13:06 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux[root@node101 DataX]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)[root@node101 DataX]# pythonPython 2.7.5 (default, Oct 30 2018, 23:45:53)[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Typ
分类:DataBase

2022年03月07日

 Clickhouse-Server通过JDBC全量同步SQLSERVER的数据

摘要：ClickHouse JDBC Bridge 的安装及连接sqlserver用于ClickHouse的JDBC链接桥。 它充当无状态代理，将查询从ClickHouse传递到外部数据源。 使用此扩展，您可以跨多个数据源实时在ClickHouse上运行分布式查询，从而以某种方式简化了用于数据仓库，监视和完整性检查等的数据管道的构建过程。安装环境：[root@node220 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Co
分类:DataBase

2022年03月01日

 SQLSERVER2012通过ODBC实时同步数据到Mysql5.7

摘要：安装环境：Windows-SQLSERVER 2012Aliyun-RDS(MySQL-5.7.28)1. 安装安装mysqlconnectorhttp://www.mysql.com/products/connector/下载5.3.13这个版本下载安装略： 2. 配置mysqlconnector打开控制面板：ODBC数据管理器->系统DSN->添加->mysqlODBC 5.3 ANSI driver->填入data source name，Mysql的ip、用户名、密码即可 回到SQLSERVER MSSM中：--新建链接服
分类:DataBase

2021年12月06日

 OceanBase 单机3zones集群部署详解

摘要：安装拓扑图：环境拓扑：  主机名       硬件配置               IP            角色             备注：node100      8C/8G/100G       172.16.1.100   obd      &nbs
分类:DataBase

2021年12月06日

 MySQL json字段类型详解

摘要：前言     JSON我相信大家都已经很熟悉了，但在 MySQL中，直至 5.7 版本中，才正式引入 JSON数据类型。在次之前，我们通常使varchar或text数据类型存储JSON格式数据。如何使用JSON？  在这一章节，不再具体介绍JSON格式以及语法，我们来介绍一下，在MySQL中如何创建JSON数据列。 语法:create table t_base_data( id bigint(20) not null primary key a
分类:DataBase

2021年11月27日

 OceanBase数据库单zone环境部署

摘要：安装前环境配置:环境拓扑：主机名       硬件配置               IP            角色             备注：node100      8C/8G/100G       172.16.1.100   obd         
分类:DataBase

2021年11月18日

 Details of the rds mysql's database parameters

摘要：loose_performance_schema_max_table_instances=1000        Maximum number of instrumented tables.innodb_buffer_pool_load_at_startup=ON        Specifies that, on MySQL server startup, the InnoDB buffer pool is automatically warmed up by loading the same pages it held at an earlier time. Typically used in combina
分类:DataBase

2021年11月11日

 阿里云RDS与内网实现网络互联

摘要：注意Windows通过PPTP VPN拨号后，在本地连接RDS，需要通过阿里云的域名来连接，不能通过域名解析后的内网IP地址连接通过PPTP VPN连接阿里云RDS网络流程图：PPTP VPN如何配置可以到网上找一下相关资料添加白名单：通过本地MySQL客户端连接阿里云RDS：阿里云RDS访问模式结构图：
分类:DataBase

2021年11月09日

 TiDB复制生态之-将MySQL数据通过DM时时同步到TiDB集群中

摘要：拓扑环境：mysql-5.7.18        172.16.1.201tidb-5.0.0             172.16.1.100        dm-master: v1.6.1    172.16.1.101        dm-worker:v1.6.1    172.16.1.102前题是DM集群已安装配置完成：1.定义mysql的数据源：mysql: 172.16.1.201:3306数据
分类:DataBase

2021年10月17日

 TiDB-V5.0.1-单机测试环境部署详解

摘要：安装部署:注意：单机环境配置只有一个pd-server ,一个tikv-server 和一个tidb-server，无法进行扩容和缩容配置操作系统环境：[root@tidb-node200 tidb]# uname -aLinux tidb-node200 4.4.219-1.el7.elrepo.x86_64 #1 SMP Sun Apr 12 16:13:06 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux[root@tidb-node200 tidb]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)主
分类:DataBase

2021年10月13日

 DTLE跨数据中的的双向复制配置案例

摘要：DTLE跨数据中的的双向复制:(要求两个网络之间要建立内网VPN)本操作文档基于Docker来实现：系统环境：[root@node100 ~]# rpm -qa | grep dockerdocker-ce-cli-20.10.9-3.el7.x86_64docker-ce-rootless-extras-20.10.9-3.el7.x86_64docker-scan-plugin-0.8.0-3.el7.x86_64docker-ce-20.10.9-3.el7.x86_64[root@node100 ~]# uname -aLinux node100 4.4.219-1.el7.elrepo.x86_64 #1
分类:DataBase

2021年10月12日

 基于DTLE的MySQL单库单表单向复制案例

摘要：环境：主机         角色            IP                 安装的软件node200    DTLE      172.16.1.200   dtle-ce-3.21.08.0-1.x86_64node202    mysql       172.16.1.202    mysql-comm
分类:DataBase

2021年10月12日

 DTLE-数据传输中间件单实例安装配置详解

摘要：准备安装包：https://github.com/actiontech/dtle/releasesrpm -ivh dtle-3.20.08.0.x86_64.rpmyum install   epel-release   jq -y  yum localinstall dtle-3.20.08.0.x86_64.rpm配置文件：默认配置文件的位置：[root@node200 dtle]# pwd/etc/dtle[root@node200 dtle]# lsconsul.hcl  nomad.hcl启动服务：systemctl start dtle-nomadsyste
分类:DataBase

2021年10月07日

 MySQL中间件-DBLE-3.21.06.0读写分离配置详解

摘要：拓扑环境：主机名                IP地址                 角色                                 版本node250                172.16.1.250  &n
分类:DataBase
分页：« 2 3 4 5 6 7 8 9 10 11 »

关于我


  • 阮胜昌的个人主页
    Linux&MySQL数据库运维服务项目：
    1.MySQL运维外包服务
    2.MySQL高可用架构部署与调优
    3.MySQL分库分表中间件部署与调优
    4.MySQL数据库恢复及紧急救援服务
    -> MySQL 误操作drop table/truncate table/drop database恢复
    ->MySQL 文件被误删除
    ->MySQL 数据库IB文件损坏等
    ->MySQL 备份损坏等
    ->MySQL 性能问题或疑难问题排查
    ->Linux 文件系统损坏、磁盘损坏等
    5.MySQL数据库监控与报警
    6.MySQL InnoDB Cluster集群
    7.MySQL CDC数据同步工具
    8.MySQL远程安装
    9.VPN翻墙架设
    10.Linux系统安全、监控、调优、应急故障处理
    11.LANMPT网站平台环境安装配置，性能优化
    12.详细报价以及其它服务内容请访问：www.ywsos.com
    13、RHCE证书，CCNA证书，MySQL OCP,Oracle OCP证书信息查看
    14、官方文档：
    ORACLE_11G
    MySQL_5.7
    MySQL_8.0
    PostgreSQL-13.1-CN

联系我

  • 微信：18859224109-
  • 邮箱：18859224109-@163.com
  • Q Q：1326992959-

内容分类

最火博文

最新评论

友情链接

YWSOS运维SOS急救平台 赵班长 刘天斯 老男孩 马哥 MySQL叶金荣 Oracle盖国强 抚琴煮酒 丁明一 高俊峰 MySQL贺春旸 MySQL杨涛涛 葛海龙 运维派 SYSDB orasql itpub
Powered by AKCMS