2020年11月29日

 benchyou-基本MySQL线上业务的DML压力测试软件

摘要：gitlab仓库地址：gitlab:https://github.com/xelabs/benchyou.git Linux系统环境：[root@node221 ~]# uname -aLinux node221 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux[root@node221 ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) GO语言环境配置：(略)go 语言版本:[root@node221 ~]# go versi
分类:DataBase

2020年11月23日

 通过Zabbix-5.0.1监控Clickhouse-server配置详解

摘要：一、配置环境：system:[root@clickhouse zabbix_agentd.d]# uname -aLinux clickhouse 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux[root@clickhouse zabbix_agentd.d]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core) zabbix-server[agent]: 5.0.1clickhouse-server 20.11.4.13-2.noarch二、前期准备1）xml
分类:系统管理

2020年11月17日

 防止SSH被暴力破解软件-DenyHosts

摘要：原理：1. 对/var/log/secure日志文件进行分析，查找所有的登录尝试，并且过滤出失败和成功的尝试。2.记录下所有失败的登录尝试的用户名和主机，如果超过阀值，则记录主机。3.保持对每一个登录失败的用户（存在系统中或不存在系统中的用户）的跟踪4.对每一个可疑的登录进行跟踪。（虽然登录成功，但是有很多次登录失败的记录）5.将可疑地址的主机加入到/etc/hosts.deny文件中。D
分类:Python

2020年11月10日

 使用Zabbix监控RabbitMQ消息队列

摘要：本项目脚本下载地址：https://github.com/jasonmcintosh/rabbitmq-zabbix　　下载文件解压　　        mkdir -p /etc/zabbix/scripts/rabbitmq       unzip rabbitmq-zabbix-master.zip        [root@node110 ~]# cd rabbitmq-zabbix-master/        [root@node110 rabbitmq-zabbix-master]#
分类:监控报警

2020年11月07日

 一个技术总监的忠告：精通那么多技术，你为何还是受不到重用？

摘要：本文转载自微信公众号「四猿外」，作者四猿外 。转载本文请联系四猿外公众号。这篇文章我们继续说架构师大刘的故事：老田升职了，年薪涨到了百万级别!这是大刘在加班搞技术攻坚的时候，听别的同事聊了那么一嘴。大刘心里不是滋味儿。老田和大刘其实在这家公司之前就是同事了，老田能到这家公司，说起来还是大刘推荐的。但是，在公司的这几年，老田越来越受领导赏识，到如今，晋
分类:Linux世界

2020年11月02日

 MySQL中,21个写SQL的好习惯

摘要：每一个好习惯都是一笔财富，本文分SQL后悔药， SQL性能优化，SQL规范优雅三个方向，分享写SQL的21个好习惯，谢谢阅读，加油哈~1. 写完SQL先explain查看执行计划(SQL性能优化)日常开发写SQL的时候，尽量养成这个好习惯呀：写完SQL后，用explain分析一下，尤其注意走不走索引。  explain select * from user where userid =10086 or age =18;  2、操作delete或者u
分类:DataBase

2020年10月30日

 Bifrost面向生产环境的 MySQL 同步到Redis,ClickHouse等服务的异构中间件

摘要： Bifrost 可以将 你 MySQL 里的数据,实时的同步到 :RedisMongoDBClickHouseMySQLMemcaheRabbitMQActiveMQKafkaHttp 自定义服务Hprose RPC 自定义服务WIKI : https://wiki.xbifrost.comBifrost 特点支持 MySQL 所有存储类型界面化动态灵活配置不同的数据表及目标库多数据源,多种目标库支持同时支持 增量 及 全量 数据同步宕机后重启自动恢复配置,位点精确控制支持自定义插件
分类:DataBase

2020年10月29日

 Clickhouse-server增量同步复制MySQL数据详解

摘要：数据复制原理：ClickHouse 可以挂载为 MySQL 的一个从库 ，先全量再增量的实时同步 MySQL 数据,基于它我们可以轻松的打造一套企业级解决方案，让 OLTP 和 OLAP 的融合。 目前支持 MySQL 5.6/5.7/8.0 版本，兼容Delete/Update 语句，及大部分常用的 DDL 操作。  安装软件版本：[root@node220 clickhouse-server]# rpm -qa | grepclickhouse clickhouse-server-20.10.3.30-2
分类:DataBase

2020年10月10日

 MySQL在线做主从同步配置步骤

摘要：某年某月某天，线上主从由于误操作，主从数据不一致了，以下方法将演示在线做主从的方法：如果发现主从数据不一致，先将连接从库的在代码上修改成直接连接主库，要等待从库没有流量过来以后，再做主从数据同步1.在从库上,重置从库的slave配置：STOP SLAVERESET SLAVE; 或者 reset slave all;2.在主库上执行数据库全库备份：mysqldump --master-data=2 --single-transaction --a
分类:DataBase

2020年09月29日

 Linux伤不起的OOM，进程避免被OOM的方法

摘要：线上系统CPU,内存，硬件占用都很底，但就是会死机，SSH都无法连接，通过/var/log/messages查看到很多oom-killer的输出，原来单个进程占用太多的内存，被内核无情的KILL掉了，哎...赶紧脑补一下OOM:Linux 内核有个机制叫OOM killer（Out-Of-Memory killer），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况
分类:系统管理

2020年09月15日

 MySQL数据丢失闪回技术-DBA的一剂救命良药

摘要：binlog2sql从MySQL binlog解析出你要的SQL。根据不同选项，你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。用途·数据快速回滚(闪回)·主从切换后新master丢数据的修复·从binlog生成标准SQL，带来的衍生功能·环境要求 CentOS 7.x Python 2.7, 3.4+ MySQL 5.6, 5.7安装shell> gitclone https://github.com/danfengcao/binlog2sql.git && cd
分类:DataBase

2020年09月09日

 MySQL GTID主从复制不一致故障处理

摘要：主从数据重复是指，在从库有一条数据，在主库又执行了同一条语句，导致从主库同步的数据传到从库后发生错误，因为从库也有同一条数据，这时处时方法如下：表结构： show create table test;+-------+------------------------------------------------------------------------------------------------------------+| Table | Create Table         
分类:DataBase

2020年09月02日

 MySQL8.0新特性-CTE,generated column,window function

摘要：CTE-公用表表达式CTE包括递归和非递归两种公用表达式允许使用命令的临时结果集，这是通过允许在SELECT语句和某些其他语句前面使用WITH子句来实现的为什么需要CTE不能在同一查询中两次引用派生表，因为那样的话，查询会根据派生表的引用次数计算两次或多次，这会引发严重的性能问题。 使用CTE后，子查询只会计算一次非递归CTE公用表表达式（ CTE）与派生表类似，但它的声明会放在
分类:DataBase

2020年08月27日

 MySQL传输表空间-让你的数据飙起来

摘要：如果有一张100G的单表或分区表，研发要求在1-2个小时内将表数据迁移到另一台数据库上，你会怎么做？如果用传统的导入导出，基本完成不了任务，还好有传输表空间这个工具,可以帮上忙：普通表数据迁移：1.目标端创建与源同样的表结构CREATE TABLE `test` (      `id` int(11) DEFAULT NULL    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;2.目标端保留.frm文
分类:DataBase

2020年08月11日

 MySQL基准测试工具Sysbench安装配置详解

摘要：安装：- RHEL/CentOS:  ``` shell  curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash    yum -y install sysbench测试的脚本目录 ：[test@node232 sysbench]# pwd/usr/share/sysbench[test@node232 sysbench]# lsbulk_insert.lua  oltp_insert.lua        oltp_read_write.lu
分类:DataBase

2020年07月28日

 MySQL查看表中指定索引的高度

摘要：查看表中指定索引的高度：索引层数的表示法：索引中每个页的结构图：page Header中有个page level的值，这个值保存这个B+树的高度值，由于B+树从0开始算，所以B+树的高度=page level的值再加1由于B+树中是从root页开始查找数据，而root页中的page header中的page level中存储这颗B+树的高度值，所以下面需要查找到指定索引的root页的page_no查找索引树中的root页的位置：查看指
分类:DataBase

2020年07月24日

 Innodb存储引擎4大特性

摘要：Innodb存储引擎特性： DoubleWriteInsert/Change BufferAdaptive Hash IndexFlush neighbor page DoubleWrite:(root@DB)[information_schema]> showvariables like '%double%'     -> ; +--------------------+-------+ | Variable_name      | Value | +--------------------+-------+ | innodb_doublewrite | ON 
分类:DataBase

2020年07月23日

 clickhouse从MySQL全量同步数据shell脚本

摘要：[root@node99 shell_scripts]# cat rsync_from_mysql_to_clickhouse.sh#!/bin/bashSOURCE_DB_SCHEMA="hexin"SOURCE_TABLE=(hexin_uuid hexin_work_bar)for i in  ${SOURCE_TABLE[*]}do        echo "Current table:${i}"        /usr/bin/clickhouse-client --database $SOURCE_DB_SCHEMA --query "sel
分类:DataBase

2020年07月14日

 mysql2ch-0.5.3-clickhouse从MySQL增量时时同步数据

摘要：介绍mysql2ch 是一个用于同步 MySQL 到 ClickHouse 的工具，支持全量同步与增量同步。特性支持全量同步与增量同步。支持 DDL 与 DML，当前支持 DDL 字段新增与删除，支持所有的 DML。丰富的配置项。依赖软件版本kafka-2.1.0，用户缓冲 MySQL binlog 的消息队列。需要先安装好redis-5.0.6，缓存 MySQL binlog position 与 file。需要先安装好Python 3.6.8 运行环境安装pip3 inst
分类:DataBase

2020年07月14日

 战斗民族开源OLAP利器-ClickHouse列式数据库安装配置

摘要：安装前准备：单机版和集群版都需要配置：在/etc/security/limits.conf,/etc/security/limits.d/90-nproc.conf,在2个文件的末尾加入以下内容：vim  /etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc  131072* hard nproc 131072vim /etc/security/limits.d/90-nproc.conf* soft nofile 65535* hard nofile 65535* soft nproc  1310
分类:系统管理
分页：« 5 6 7 8 9 10 11 12 13 14 »

关于我


  • 阮胜昌的个人主页
    Linux&MySQL数据库运维服务项目：
    1.MySQL运维外包服务
    2.MySQL高可用架构部署与调优
    3.MySQL分库分表中间件部署与调优
    4.MySQL数据库恢复及紧急救援服务
    -> MySQL 误操作drop table/truncate table/drop database恢复
    ->MySQL 文件被误删除
    ->MySQL 数据库IB文件损坏等
    ->MySQL 备份损坏等
    ->MySQL 性能问题或疑难问题排查
    ->Linux 文件系统损坏、磁盘损坏等
    5.MySQL数据库监控与报警
    6.MySQL InnoDB Cluster集群
    7.MySQL CDC数据同步工具
    8.MySQL远程安装
    9.VPN翻墙架设
    10.Linux系统安全、监控、调优、应急故障处理
    11.LANMPT网站平台环境安装配置，性能优化
    12.详细报价以及其它服务内容请访问：www.ywsos.com
    13、RHCE证书，CCNA证书，MySQL OCP,Oracle OCP证书信息查看
    14、官方文档：
    ORACLE_11G
    MySQL_5.7
    MySQL_8.0
    PostgreSQL-13.1-CN

联系我

  • 微信：18859224109-
  • 邮箱：18859224109-@163.com
  • Q Q：1326992959-

内容分类

最火博文

最新评论

友情链接

YWSOS运维SOS急救平台 赵班长 刘天斯 老男孩 马哥 MySQL叶金荣 Oracle盖国强 抚琴煮酒 丁明一 高俊峰 MySQL贺春旸 MySQL杨涛涛 葛海龙 运维派 SYSDB orasql itpub
Powered by AKCMS