摘要:例如:单表中出现了,动辄百万甚至千万级别的数据。“分表分库”就成为解决上述问题的有效工具。今天和大家一起看看,如何进行分表分库以及期间遇到的问题吧。为什么会分表分库数据库数据会随着业务的发展而不断增多,因此数据操作,如增删改查的开销也会越来越大。再加上物理服务器的资源有限(CPU、磁盘、内存、IO 等)。最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈
2019年09月10日
超实用:14种性能监控与负载测试工具
摘要:众所周知,性能测试可以揭示一个系统在各种情况下的行为与响应方式。某个系统在 1,000 个并发用户下能够运行稳健,并不等于它在面对 100,000 个并发用户时,仍能运行正常。因此我们在系统性能方面,主要着眼于三个主要目标:速度可扩展性稳定性在此,我们列出了 14 种针对应用程序性能监控与负载测试的工具,以帮助您构建和维护具有高性能和高可靠性的系统。注意,虽然它们中的
分类:系统管理
2019年09月09日
MySQL--SQL语句优化之 left join
摘要:工作中我们经常用到多个left join去关联其他表查询结果,但是随着数据量的增加,一个表的数据达到百万级别后,这种普通的left join查询将非常的耗时。原SQL:SELECT a.*,b.*,b.diff_num,b.supplier_id,b.num,b.price,c.product_id,c.old_spec_sku,c.new_purchase_price,d.old_parent_sku,d.product_cname FROM hexin_erp_storage_out_main a left JOIN hexin_erp_storage_out_de
分类:DataBase
2019年09月03日
修改主机时间对MySQL影响-InnoDB: Waiting for page_cleaner to finish flushing of buffer pool
摘要:背景在装机实施时,BIOS忘记调整时间,导致服务器时间与CST不符合;待发现问题时,MySQL环境已经在运行,所以只能通过操作系统进行更改;但是更改完成后,MySQL进行重启时发生了问题。以下为问题复现和解决过程测试环境MySQL 5.7.24 CentOS 7.4root@localhost : (none) 12:00:54> show variables like '%time_zone';+------------------+--------+| Variable_name | Value |
分类:DataBase
2019年08月29日
MySQL:为什么无法KILL在processlist中的语句[转]
摘要:在 MySQL 中有两个 kill 命令:一个是 kill query + 线程 id,表示终止这个线程中正在执行的语句;一个是 kill connection + 线程 id,这里 connection 可缺省,表示断开这个线程的连接,当然如果这个线程有语句正在执行,也是要先停止正在执行的语句的。不知道你在使用 MySQL 的时候,有没有遇到过这样的现象:使用了 kill 命令,却没能断开这个连接。再执行 show processlist
分类:DataBase
2019年08月27日
新到DELLR740服务器一览
摘要:服务器配置如下:2颗*银牌4210/ 32G内存 /960G SSD *2 /H730P 2G 阵列卡/iDRAC9远程管理卡/双电源495W/导轨/IDRAC管理页面有很大的修改,变得更加清爽,操作也很直观和方便
分类:系统管理
2019年08月23日
MyCat 配置 Mysql 读写分离+强制走写节点+根据主从延时的读写分离+主挂了从正常读
摘要:数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置。Mycat读写分离和自动切换机制,需要mysql的主从复制机制配合。· MyCat的安装请参考:Linux 下 Mycat 的安
分类:系统管理
2019年08月23日
Haproxy转发真实IP给后端WEB服务器
摘要:环境:[root@node154 logs]# haproxy -vHA-Proxy version 1.5.18 2016/05/10Copyright 2000-2016 Willy Tarreau <willy@haproxy.org>[root@node154 logs]# uname -aLinux node154 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux[root@node154 logs]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)拓扑图:&n
分类:系统管理
2019年08月19日
MySQL千万级数据库数据插入速度调优
摘要:问题描述:普通台式机,采集数据,表中已经有>1000万数据量。采集回来的数据插入表中的时候很慢,每条约100毫秒。解决方法:1、加大mysql配置中的bulk_insert_buffer_size,这个参数默认为8Mbulk_insert_buffer_size=100M2、改写所有insert语句为insert delayed这个insert delayed不同之处在于:立即返回结果,后台进行处理插入。还有一个技巧是在一跳insert中插入多条数据,
分类:DataBase
2019年08月19日
千万级数据库SQL查询优化方法
摘要: 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,Sql 代码 : select id from t where num is null;可以在 num 上设置默认值 0,确保表中 num 列没有 null 值,然后这样查询:Sql 代码 : select id from t where num=0;3.应尽量
分类:DataBase
2019年08月15日
宝塔面板开启支持TLSv1.3和A+的评分方法
摘要:原由: 公司项目需要对接第三方平台,在检测后发现SSL版本不对,需要TLSV2.0以上的版本,反馈如下:漏洞: TLS弱协议(1.0,1.1)IP:https : //abc.abc.com/Appkey: 110153接线员: myo.soe@lazada.com状态: 打开严重程度: 中等描述: 远程服务器提供了弃用的TLS 1.0协议,这可
分类:系统管理
2019年08月12日
为什么AJAX会出现两次请求,OPTIONS请求和GET请求
摘要:今天前端过来找我,说一次AJAX请求,后台怎么看到了两次一样的请求,详见下图Request Method: OPTIONSRequest Method: POST两次一样的请求,OPTIONS请求没有任何数据,而POST请求是有带数据的这是为什么呢?原因如下:用以下代码为例子:ajax请求如下:ajaxRequestGet: function (lastPath, requestParams, successFun) { $.ajax({&nb
分类:系统管理
2019年08月10日
通过python脚本文件删除私有库v2基础镜像
摘要:前言:在jenkins CI/CD流水线中以自动打包并push镜像的方式运行了一段时间之后,docker registry中堆积的历史镜像数量极多,磁盘空间告急,为此,有必要定期做镜像的清理,并释放镜像占用的存储空间 python脚本:(详情查看文章后面的附件)delete_docker_registry_image.py配置权限: chmod 755 delete_docker_registry_image.py 查看脚本参数: [root@node154 ~]# ./dele
分类:Python
2019年08月01日
VMWARE vCenter Server Appliance(VCSA )6.7 部署,许可证破解
摘要:摘要:首先,先下载VMware-vcsa-all6.7 版本的镜像文件,在一个windows 虚拟机上用虚拟光驱挂载这个光盘,然后进行安装,把这个镜像注入到EXSI 6.7的主机上,形成一个linux 系统虚拟机。然后进行配置。1.下载VMware-VCSA-all 6.7 的镜像 文件名:VMware-VCSA-all-6.7.0-8217866.iso (3.4G) 2.在Windows系统上的打开/挂载那个镜
分类:系统管理
2019年08月01日
mysql 的delete from 和update子查询限制
摘要:做项目时发现的问题,好像在update时也有。。。网上查到的资料如下:1.使用mysql进行delete from操作时,若子查询的 FROM 字句和更新/删除对象使用同一张表,会出现错误。mysql> DELETE FROM tab1 WHERE col1 = ( SELECT MAX( col1 ) FROM tab1 ); ERROR 1093 (HY000): You can’t specify target table ‘tab1′ for update in FROM clause 针对“同一张表”这个
分类:DataBase
2019年07月31日
mysql死锁问题分析
摘要:线上某服务时不时报出如下异常(大约一天二十多次):“Deadlock found when trying to get lock;”。 Oh, My God! 是死锁问题。尽管报错不多,对性能目前看来也无太大影响,但还是需要解决,保不齐哪天成为性能瓶颈。 为了更系统的分析问题,本文将从死锁检测、索引隔离级别与锁的关系、死锁成因、问题定位这五个方面来展开讨论。
分类:DataBase
2019年07月29日
iLO, iLO2, iLO3 and iLO4 Advanced License Activation Keys
摘要:iLO, iLO2, iLO3 and iLO4 Advanced License Activation KeysiLO, iLO2, iLO3 and iLO4 Advanced License Activation KeysiLO 2 Advanced features have been activated.iLO Advanced License Keys:247RH-ZPJ8S-7B17D-FCE55-DDD17Ключ от iLO 2 подходит к iLO 3 и iLO 3LO100i Advanced License Keys:35DRP-7B3TX-78VVM-7KX4Y-XS74X — AdvancediLO 2 Advance
分类:系统管理
2019年07月25日
配置 Mysql 读写分离+强制走写节点+根据主从延时的读写分离
摘要:数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置。Mycat读写分离和自动切换机制,需要mysql的主从复制机制配合。· MyCat的安装请参考:Linux 下 Mycat 的安
分类:DataBase
2019年07月23日
老男孩告诉你,做运维比做开发岗位强的6点好处,你知道么?
摘要:现实中很多网友,包括大学生对编程开发了解很多,但对Linux运维了解较少,甚至一些从事Linux基础运维的人员也会觉得开发牛逼,运维就是背黑锅(如何不背黑锅,看老男孩的以后文章)的,运维等于背锅侠。那么,老男孩老师就给大家讲讲老男孩眼中Linux运维人员的好处,让大家重新认识下运维岗位的魅力吧。1、做运维可以认识更多人脉,同时也被更多人认识。相对开发来讲,运维岗位
分类:Linux世界
2019年07月23日
从事过网络运维的,都掌握了一门古老的手艺,叫盘纤!
摘要:很多人都知道光纤是现代信息生活的血脉一根如头发丝大小的玻璃纤维承载了无数通信业务但很多人可能不知道伴随现代光纤通信而生的还有一项工作叫盘纤好的盘纤赏心悦目简直就是一门艺术但是也有盘纤惨不忍睹简直就是一个鸟窝光纤是脆弱的弯曲角度过大将使光纤受损甚至折断而导致通信中断光纤的连接要经过多个接头盒通信工程师们在接头盒完成光纤接续后需将一根一根光纤盘绕使之不