讯享网

 <p id="0DUNAI91">五、如何选择普通索引和唯一索引《死磕MySQL系列 五》</p><p id="0DUNAI93">六、五分钟，让你明白MySQL是怎么选择索引《死磕MySQL系列 六》</p><p id="0DUNAI95">七、字符串可以这样加索引，你知吗？《死磕MySQL系列 七》</p><p id="0DUNAI97">八、无法复现的“慢”SQL《死磕MySQL系列 八》</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F1fdeeaa4j00r2mh3p001ad000t500cep.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAI9D">参与了好几个项目开发，每个项目随着业务量的增大，MySQL数据日益剧增，例如其中一个项目中得用户足迹表，那是非常的疯狂，只怪我大意了，没有闪。</p><p id="0DUNAI9F">这篇文章我会从delete对性能的影响，以及如何以正确的姿势来删除数据。</p><p id="0DUNAI9H">在MySQL中Innodb存储引擎的表存在两部分，一部分是表结构，另一部分是表数据。</p><p id="0DUNAI9J">在MySQL8.0之前下都会存在.frm文件，在MySQL8.0之后就不存在了。这是因为MySQL8.0中已经允许把表结构定义放到数据字典中了，是用参数innodb_file_per_table来决定的。</p><p id="0DUNAI9K">/var/lib/mysql</p><p id="0DUNAI9N">表空间分为几种，系统表空间、用户表空间、undo空间。</p><p id="0DUNAI9P">系统表空间：MySQL内部的数据字典，如information_schema库下的数据。</p><p id="0DUNAI9R">用户表空间：自己建立的表结构数据</p><p id="0DUNAI9T">undo空间：存储Undo信息，用于快速回滚。</p><p id="0DUNAI9V">MySQL8.0之前表结构是在系统表空间存储的，在MySQL5.6.6后可以使用参数innodb_file_per_table来控制。</p><p id="0DUNAIA1">设置为off时，表数据是放在系统表空间中，也就是MySQL的数据字典放在一起。</p><p id="0DUNAIA3">设置为on时，innodb存储引擎的表数据存储在.idb文件中。</p><p id="0DUNAIA5"><strong>你知道表定义存储在哪里吗？</strong></p><p id="0DUNAIA7">来到死磕MySQL系列的专用数据库kaka，新建一张表evt_sms。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F412d3ad1j00r2mh30005gc000tz00mkm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAIAB">猜一下创建的evt_sms表结构定义存储在哪里呢？</p><p id="0DUNAIAD">在information_schema库里边的TABLES中，执行查询</p><p id="0DUNAIAE">SELECT TABLE_NAME,TABLE_COMMENT FROM TABLES WHERE TABLE_TYPE='BASE TABLE';</p><p id="0DUNAIAG">我们自定义的表类型是。<br/></p><p id="0DUNAIAH">TABLE_TYPE</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2Fdb9344e3j00r2mh30004tc000ty00mkm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAIAK">说了这么是为了解释如果把设置为off，则表数据也会存放在这里。</p><p id="0DUNAIAL">innodb_file_per_table</p><p id="0DUNAIAN"><strong>问题：如果数据存在放共享表空间中，表删除了，空间会删除吗？</strong></p><p id="0DUNAIAP">答案是不会的。</p><p id="0DUNAIAR"><strong>参数innodb_file_per_table设置为on数据存储在哪里呢？</strong></p><p id="0DUNAIAT">一般情况下是在中，会看到你创建的数据库，进入到数据库中就能看到一张表对应一个ibd文件。</p><p id="0DUNAIAU">var/lib/mysql</p><p id="0DUNAIB0">数据就是存储在这里。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F7c0ace9dj00r2mh30001uc000tv00bum.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAIB4"><strong>结论</strong></p><p id="0DUNAIB6">在项目开始阶段，切记将innodb_file_per_table设置为on，这是正确的做法。</p><p id="0DUNAIB9">现在你应该知道Innodb存储引擎用的是B+树数据结构，如下图。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2Fe7j00r2mh30000pc000qi00a2m.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAIBD">如果现在删了主键ID为4的这条记录，Innodb引擎会把ID为4的这条记录标记为删除，如果之后再插入ID为4的记录，可能会复用这个位置，但磁盘文件大小并不会缩小。</p><p id="0DUNAIBF"><strong>隐式字段</strong></p><p id="0DUNAIBH">这里就牵扯到了mvcc中的一个知识点，MVCC实现原理是由俩个隐式字段、undo日志、Read view来实现的。</p><p id="0DUNAIBJ">上文说的标记删除就是隐式字段中的delete flag，即记录被更新或删除，这里的删除并不代表真的删除，而是将这条记录的delete flag改为true。</p><p id="0DUNAIBL">在MVCC：听说有人好奇我的底层实现这篇文章中也给大家留下了一个伏笔，数据库的删除是真的删除吗？<br/></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F42504d42j00r2mh30001zc000rz00aqm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAIBO"><strong>问题：删了一个数据页的所有数据会怎么样</strong></p><p id="0DUNAIBQ">跟单条数据是一样的，整个数据页都是可以复用的。</p><p id="0DUNAIBS">记录的复用是仅限于符合范围条件的数据，例如上文删除的ID为4这条记录，如果在插入ID为4就会复用。</p><p id="0DUNAIBU">这里需要给大家再聊一个新的知识点，若相邻的两个数据页利用率都很低，系统就会把这两个数据页合并到一个页上，另一个数据页就会标记为可复用。</p><p id="0DUNAIBV">页合并</p><p id="0DUNAIC1"><strong>问题：使用delete把整个表的数据都删除了会怎么样</strong></p><p id="0DUNAIC3">答案是，所有的数据页都会标记为可复用，但是磁盘文件大小是不会改变的。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2Fbbed0837j00r2mh30002xc000tv00ftm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAIC8">经过添加数据后表数据已经达到近100W了，文件大小已经达到108M。</p><p id="0DUNAICA"><strong>扩展</strong></p><p id="0DUNAICC">这里大家应该能看见，就是执行命令来的，作用是开始我们在MySQL窗口里边，但不想退出MySQL窗口查看MySQL表文件大小，然后就可以执行这个命令结束任务。</p><p id="0DUNAICD">stopped</p><p id="0DUNAICE">ctrl + z</p><p id="0DUNAICG">查看完后可以在执行返回到MySQL窗口。</p><p id="0DUNAICH">fg</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F9a0386d5j00r2mh30003wc000u100l3m.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAICM">假设刚刚直接执行ll命令查看文件，那么就需要手动计算文件大小，很不方便。</p><p id="0DUNAICO">执行ll -h命令则可以直观的看到文件大小。</p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F7bcd1467j00r2mh30004ec000tx00lmm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAICS"><strong>删除数据查看磁盘文件是否缩小</strong></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F64e7e577j00r2mh30002sc000u000enm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAID1">在第三小节中，我们演示了删除了100W数据后文件大小是没有改变的，也就是空洞问题影响的，接下来就解决这种问题。</p><p id="0DUNAID3"><strong>问题：空洞是如何产生的？</strong></p><p id="0DUNAID5">到了这里都应该知道空洞是因为大量的增删改造成的。</p><p id="0DUNAID7"><strong>解决思路</strong></p><p id="0DUNAID9">你可以新建一个evt_sms_copy表，然后根据主键ID递增的顺序，把数据从evt_sms读入evt_sms1中。</p><p id="0DUNAIDB">这样就可以达到因为空洞造成的磁盘文件大小无法收缩问题。</p><p id="0DUNAIDD"><strong>问题：为什么能解决呢？</strong></p><p id="0DUNAIDF">因为evt_sms_copy是一张新的表，并且数据是以主键ID递增的，索引是紧促的，数据页利用率已经达到了最高峰状态，这样就起到了磁盘文件无法收缩问题。</p><p id="0DUNAIDH"><strong>上干货</strong></p><p id="0DUNAIDJ">直接执行alter table evt_sms engine = Innodb 命令来达到磁盘文件收缩。</p><p id="0DUNAIDL">这里需要跟大家聊一下不同版本处理不同。</p><p id="0DUNAIDN">在MySQL5.5之前，这个命令做的事情跟我们解决思路是一样的，不同的是evt_sms_copy是不用自己创建的。</p><p id="0DUNAIDP">在执行命令期间如有新增数据的话，会造成数据丢失，因为在MySQL5.5之前版本的DDL不是Online的。因此不能有数据的改动。</p><p id="0DUNAIDR">现在MySQL都已经更新到8版本了，如果你是新项目就直接用8版本，不要在用5.6以前的老版本了，咔咔在18年开始就已经在使用MySQL8.0版本了。</p><p id="0DUNAIDT">在锁那一期文章中跟大家聊了MySQL5.6在DDL操作做了优化，引入了Online DDL。</p><p id="0DUNAIDV"><strong>优化后的执行流程</strong></p><p><ul><li id="0DUNAIF7">建立临时文件tmp_file，把表的B+树存储到临时文件中。若此时有对表的操作，则会记录在row log文件中。</li><li id="0DUNAIF8">把数据从原表全部刷到临时文件后，此时临时文件的数据就跟原表的数据一致。</li><li id="0DUNAIF9">最后用临时文件替换表A的数据文件。</li></ul></p><p id="0DUNAIE2"><strong>Online DDL的由来</strong></p><p id="0DUNAIE4">可以看到在收缩磁盘文件时有数据更新会记录在row log中，意思就是在收缩磁盘空间时是可以对表进行增删改查的。</p><p id="0DUNAIE6"><strong>注意点</strong></p><p id="0DUNAIE8">在进行磁盘文件收缩的过程中，都会全表扫描原数据和新增临时文件，如果你的表非常大，会非常消耗IO和CPU。</p><p id="0DUNAIEA">因此，你要安全的做这个操作，可以使用开源的gh-ost来进行。</p><p id="0DUNAIEC"><strong>结论</strong></p><p id="0DUNAIEE">当你想收缩因为大量增删改查而导致表磁盘文件非常大时就可以执行命令来达到收缩表空间的目的。</p><p id="0DUNAIEF">alter table evt_sms engine=Innodb</p><p id="0DUNAIEI">都应该知道，那么接下里就对本文提出的结论进行实际操作一下。</p><p id="0DUNAIEJ">实践是检验认识是否具有真理性的唯一标准</p><p><ul><li id="0DUNAIFA">先执行结束MySQL任务窗口</li><li id="0DUNAIFB">ctrl + z</li><li id="0DUNAIFC">执行查看此时表evt_sms磁盘文件大小为108M</li><li id="0DUNAIFD">ll -h</li><li id="0DUNAIFE">执行返回到MySQL任务窗口</li><li id="0DUNAIFF">fg</li><li id="0DUNAIFG">执行命令</li><li id="0DUNAIFH">alter table evt_sms engine=Innodb</li><li id="0DUNAIFI">再执行，执行查看磁盘文件大小已经到了128k。</li><li id="0DUNAIFJ">ctrl + z</li><li id="0DUNAIFK">ll -h</li></ul></p><p class="f_center"><img src="https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2021%2F1116%2F4a5baef8j00r2mh30003tc000tx00hpm.jpg&thumbnail=660x&quality=80&type=jpg"/><br/></p><p id="0DUNAIEO">上图即是咔咔操作的全过程，得到的结论就是执行命令可以收缩由于大量增删改查的表引发的空洞问题。最终达到收缩表空间目的。</p><p id="0DUNAIEP">alter table ect_sms engine = Innodb</p><p id="0DUNAIES">删除数据不要使用delete，而是使用软删除，做一个标记删除即可。</p><p id="0DUNAIEU">这样既不会出现空洞问题，也方便数据溯源。</p><p id="0DUNAIF0">每张表必备三个字段create_time、update_time、delete_time。</p><p id="0DUNAIF3">通过本期文章我们需要知道以下几点。</p><p><ul><li id="0DUNAIFL">通过大量增删改查的表会出现空洞</li><li id="0DUNAIFM">干掉空洞需要执行alter table evt_sms engine=Innodb来解决</li><li id="0DUNAIFN">使用delete删除数据只会做一个标记处理，并不会真正删除空间</li><li id="0DUNAIFO">本文所有的结论都基于innodb_file_per_table = on</li></ul></p><p id="0DUNAIF6">坚持学习、坚持写作、坚持分享是咔咔从业以来所秉持的信念。愿文章在偌大的互联网上能给你带来一点帮助，我是咔咔，下期见。</p>