摘要:环境准备1)基础软件安装MySQL (5.7+) 必选,安装略,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库JDK (1.8.0_xxx) 必选,安装略Maven (3.6.1+) 必选,安装略DataX 必选,安装略Python (2.x) 最好用2.x (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下) 必选,主要用于调度执行底层D
2022年03月12日
通过datax将SQLSERVER中的数据同步到Clickhouse中
摘要:1.源: SQLSERVER 配置只读权限的帐号和密码:2.源表结构:CREATE TABLE [dbo].[EgOrg_Company]( [CmpCode] [varchar](30) NOT NULL, String [CompanyName] [varchar](100) NULL, String [ShortName] [varchar](100) NULL, String &nb
分类:DataBase
2022年03月12日
阿里巴巴开源异构数据源离线同步工具datax编译安装配置
摘要:环境:[root@node101 DataX]# uname -aLinux node101 4.4.219-1.el7.elrepo.x86_64 #1 SMP Sun Apr 12 16:13:06 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux[root@node101 DataX]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)[root@node101 DataX]# pythonPython 2.7.5 (default, Oct 30 2018, 23:45:53)[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Typ
分类:DataBase
2022年03月07日
Clickhouse-Server通过JDBC全量同步SQLSERVER的数据
摘要:ClickHouse JDBC Bridge 的安装及连接sqlserver用于ClickHouse的JDBC链接桥。 它充当无状态代理,将查询从ClickHouse传递到外部数据源。 使用此扩展,您可以跨多个数据源实时在ClickHouse上运行分布式查询,从而以某种方式简化了用于数据仓库,监视和完整性检查等的数据管道的构建过程。安装环境:[root@node220 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Co
分类:DataBase
2022年03月01日
SQLSERVER2012通过ODBC实时同步数据到Mysql5.7
摘要:安装环境:Windows-SQLSERVER 2012Aliyun-RDS(MySQL-5.7.28)1. 安装安装mysqlconnectorhttp://www.mysql.com/products/connector/下载5.3.13这个版本下载安装略: 2. 配置mysqlconnector打开控制面板:ODBC数据管理器->系统DSN->添加->mysqlODBC 5.3 ANSI driver->填入data source name,Mysql的ip、用户名、密码即可 回到SQLSERVER MSSM中:--新建链接服
分类:DataBase
2021年12月06日
OceanBase 单机3zones集群部署详解
摘要:安装拓扑图:环境拓扑: 主机名 硬件配置 IP 角色 备注:node100 8C/8G/100G 172.16.1.100 obd &nbs
分类:DataBase
2021年12月06日
MySQL json字段类型详解
摘要:前言 JSON我相信大家都已经很熟悉了,但在 MySQL中,直至 5.7 版本中,才正式引入 JSON数据类型。在次之前,我们通常使varchar或text数据类型存储JSON格式数据。如何使用JSON? 在这一章节,不再具体介绍JSON格式以及语法,我们来介绍一下,在MySQL中如何创建JSON数据列。 语法:create table t_base_data( id bigint(20) not null primary key a
分类:DataBase
2021年11月27日
OceanBase数据库单zone环境部署
摘要:安装前环境配置:环境拓扑:主机名 硬件配置 IP 角色 备注:node100 8C/8G/100G 172.16.1.100 obd
分类:DataBase
2021年11月18日
Details of the rds mysql's database parameters
摘要:loose_performance_schema_max_table_instances=1000 Maximum number of instrumented tables.innodb_buffer_pool_load_at_startup=ON Specifies that, on MySQL server startup, the InnoDB buffer pool is automatically warmed up by loading the same pages it held at an earlier time. Typically used in combina
分类:DataBase
2021年11月11日
阿里云RDS与内网实现网络互联
摘要:注意Windows通过PPTP VPN拨号后,在本地连接RDS,需要通过阿里云的域名来连接,不能通过域名解析后的内网IP地址连接通过PPTP VPN连接阿里云RDS网络流程图:PPTP VPN如何配置可以到网上找一下相关资料添加白名单:通过本地MySQL客户端连接阿里云RDS:阿里云RDS访问模式结构图:
分类:DataBase
2021年11月09日
TiDB复制生态之-将MySQL数据通过DM时时同步到TiDB集群中
摘要:拓扑环境:mysql-5.7.18 172.16.1.201tidb-5.0.0 172.16.1.100 dm-master: v1.6.1 172.16.1.101 dm-worker:v1.6.1 172.16.1.102前题是DM集群已安装配置完成:1.定义mysql的数据源:mysql: 172.16.1.201:3306数据
分类:DataBase
2021年10月17日
TiDB-V5.0.1-单机测试环境部署详解
摘要:安装部署:注意:单机环境配置只有一个pd-server ,一个tikv-server 和一个tidb-server,无法进行扩容和缩容配置操作系统环境:[root@tidb-node200 tidb]# uname -aLinux tidb-node200 4.4.219-1.el7.elrepo.x86_64 #1 SMP Sun Apr 12 16:13:06 EDT 2020 x86_64 x86_64 x86_64 GNU/Linux[root@tidb-node200 tidb]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)主
分类:DataBase
2021年10月13日
DTLE跨数据中的的双向复制配置案例
摘要:DTLE跨数据中的的双向复制:(要求两个网络之间要建立内网VPN)本操作文档基于Docker来实现:系统环境:[root@node100 ~]# rpm -qa | grep dockerdocker-ce-cli-20.10.9-3.el7.x86_64docker-ce-rootless-extras-20.10.9-3.el7.x86_64docker-scan-plugin-0.8.0-3.el7.x86_64docker-ce-20.10.9-3.el7.x86_64[root@node100 ~]# uname -aLinux node100 4.4.219-1.el7.elrepo.x86_64 #1
分类:DataBase
2021年10月12日
基于DTLE的MySQL单库单表单向复制案例
摘要:环境:主机 角色 IP 安装的软件node200 DTLE 172.16.1.200 dtle-ce-3.21.08.0-1.x86_64node202 mysql 172.16.1.202 mysql-comm
分类:DataBase
2021年10月12日
DTLE-数据传输中间件单实例安装配置详解
摘要:准备安装包:https://github.com/actiontech/dtle/releasesrpm -ivh dtle-3.20.08.0.x86_64.rpmyum install epel-release jq -y yum localinstall dtle-3.20.08.0.x86_64.rpm配置文件:默认配置文件的位置:[root@node200 dtle]# pwd/etc/dtle[root@node200 dtle]# lsconsul.hcl nomad.hcl启动服务:systemctl start dtle-nomadsyste
分类:DataBase
2021年10月07日
MySQL中间件-DBLE-3.21.06.0读写分离配置详解
摘要:拓扑环境:主机名 IP地址 角色 版本node250 172.16.1.250 &n
分类:DataBase
2021年09月29日
轻量级日志统一收集工具GrayLog安装配置详解
摘要:官网安装:安装: 服务端安装:http://docs.graylog.org/en/2.3/pages/installation/os/centos.html 客户端安装:http://docs.graylog.org/en/2.3/pages/collector_sidecar.html#centos参考网站: https://www.linuxidc.com/Linux/2019-05/158735.htm服务启动:systemctl start graylog-server systemctl start elasticsearchsystemctl start mongodGraylog是
分类:系统管理
2021年08月12日
MySQLDBA-删库删表何必要跑路,教你一招保命
摘要:undrop是一款针对mysql innodb的数据恢复工具,通过扫描文件或磁盘设备,然后解析innodb数据页进而恢复丢失的数据,对于drop、truncate以及文件损坏都很有帮助。本文介绍drop操作后表结构的恢复过程。部署软件包下载shell> git clone https://github.com/twindb/undrop-for-innodb.git依赖包安装#此处安装必须的编译环境shell> yum install make gcc flex bison编译shell
分类:DataBase
2021年07月27日
Kubernetes 1.21.2部署HPA实现POD自动水平扩缩容
摘要:环境:[root@k8smaster Install]# uname -aLinux k8smaster 3.10.0-1160.31.1.el7.x86_64 #1 SMP Thu Jun 10 13:32:12 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux[root@k8smaster Install]# cat /etc/redhat-releaseCentOS Linux release 7.9.2009 (Core)[root@k8smaster Install]# kubectl version -o yamlclientVersion: buildDate: "2021-06-16T12:59:11Z"&n