宅米

宅米宅米是一家专注校园电子商务的互联网企业 目前主营校园超市 O2O 公司成立于 2014 年 11 月 仅仅一年多的时间 公司即经过 4 轮融资 覆盖近 200 座城市 1000 多所大中专院校 10000 多栋宿舍楼 日均订单 20 万 峰值订单 50 万 像所有高速发展的初创互联网企业一样

大家好,我是讯享网,很高兴认识大家。

宅米是一家专注校园电子商务的互联网企业,目前主营校园超市O2O。公司成立于2014年11月,仅仅一年多的时间,公司即经过4轮融资,覆盖近200座城市,1000多所大中专院校,10000多栋宿舍楼,日均订单20万,峰值订单50万。
像所有高速发展的初创互联网企业一样,宅米的成长是一部野蛮成长的历史。公司成立之初,只有三个工程师,是创始人CEO孙高峰在上海交通大学计算机学院和软件学院挨个宿舍敲门敲出来,他逢人便问:『同学,要不要创业?』。就这样,三个尚未毕业休学创业的学生开发上线了宅米的第一个版本。
早期,为了迅速开发,技术人员选择了Ruby作为开发语言。由于业务快速增长,技术人员缺乏经验,系统甫一上线,即经历了各种bug,各种系统崩溃。往往在业务最繁忙的时候系统宕机了,公司上下焦头烂额匆忙应对,工程师每天工作近20个小时,困了就在桌子上趴一会,醒来接着写代码,修bug。
但是就是在这样的跌跌撞撞中,公司业务仍然快速增长,只几个月的时间就成为该领域中最主要的竞争者,公司顺利获得A轮融资。有钱了,公司便期望在技术研发方面投入更多资源,招聘更多专业技术人才,开发出更完善更稳定的系统迎接下一轮更快速的发展。但是招聘的时候才发现,市面上Ruby工程师非常稀缺,难以招募,技术团队迅速决定转型,使用Java作为主要的后端开发语言。于是几个工程师一边自己学Java,一边招Java,不到两个月的时间,组建了一个20多人的Java技术团队,完成对原有几个核心系统的Java重构。
开发人员增加了,可以更加从容开展开发工作,应对新增业务和需求变更,Bug减少了,系统稳定了。但是这时候的系统架构依然是一个非常简单的Web架构,如图1。

图片描述
讯享网
图1 最开始的系统架构

一、 性能测试

校园零食购物的特点是在晚上10点左右进入高峰,在此前后一小时的交易量大概占整天交易量的一半,也就是说,如果要设计一个日订单100万的系统,其实要承受的交易压力是每小时50万单。
当初按照二八法则推算峰值每秒单量为556笔『 * 0.8 / (60 * 60 * 0.2)』,以此为基准根据Nginx日志分析后端接口调用频率,推算出接口调用比率前20的请求,以此构造测试场景。
在执行性能测试时,我们使用Jmeter作为性能测试工具,利用了云服务提供的系统资源监控作为基础,同时抓取应用服务线程快照和MySQL数据库slow.log分析系统瓶颈。脚本分别如下:

//抓取应用服务线程快照 jstack `jps | grep -v grep | grep -v Jps|awk '{print $1}'` //MySQL数据库slow.log分析 mysqldumpslow mysql-slow.log 

讯享网

二、架构优化

性能测试结果并不乐观,我们结合互联网领域常用技术架构模式以及自身性能瓶颈,进行了架构优化重构。
虽然系统此前使用了分布式缓存对热点数据进行缓存,但是比较随意,哪些数据需要缓存,失效策略如何设置都没有认真分析和设计。性能测试后决定规范缓存使用,尽可能将各种频繁读取的数据全部缓存起来,并将Redis服务器做集群和主从复制部署。
此外还使用第三方CDN服务进行静态文件访问加速,产品图片、JavaScript文件、CSS文件等都通过CDN加速,同时通过Nginx反向代理服务器提供静态文件的前端缓存。
性能测试发现,系统主要瓶颈点在数据库上,虽然使用Redis将热点数据缓存起来,但是数据库依然在并发量达到一定程度后表现出系统过载的情况。于是对数据库进行主从分离。
优化后的系统架构如图2。

图片描述
图2 优化后的系统架构

三、H5响应压缩优化

讯享网#config gzip; gzip on; gzip_min_length 1k; gzip_buffers 4 16k; gzip_comp_level 2; gzip_types text/plain application/javascript application/x-javascript text/css application/xml text/javascript image/jpeg image/gif image/png application/json; 

关于gzip_types,我们针对JSON数据也开启gzip压缩,降低App响应数据包大小,提高响应性能。图3是开启gzip前后的性能测试结果对比:

图片描述
图3 H5页面开启压缩前后性能对比

四、SQL语句与索引优化

select * from aa where aa.bb = ; 

图片描述

优化后:

讯享网select * from aa where aa.bb = ''; 

图片描述

select * from cc where date_format(dd,'%Y-%m-%d')=(DATE_SUB(CURDATE(),INTERVAL 1 DAY)); 

图片描述

优化后:

讯享网select * from cc where dd=(DATE_SUB(CURDATE(),INTERVAL 1 DAY)) 

图片描述

select count(distinct left(pinyin_initial,3))/count(*) as sel3, count(distinct left(pinyin_initial,4))/count(*) as sel4, count(distinct left(pinyin_initial,5))/count(*) as sel5, count(distinct left(pinyin_initial,6))/count(*) as sel6, count(distinct left(pinyin_initial,7))/count(*) as sel7 from city; 

以此算出城市拼音缩写长度为3时,命中率和唯一性比较高,则写下如下SQL:

讯享网ALTER TABLE `city` ADD INDEX `index_on_pinyinInitial` USING BTREE (pinyin_initial(3)); 

五、数据库连接池优化

数据库的访问优化也比较重要,宅米后台系统开发使用了Mybatis + C3P0组合,在做性能测试的时候发现在某些情况下有较为严重的性能问题。在高并发情况下,长时间施加压力,应用程序出现不能访问的状况。
上网查找资料,发现很多人也遇到了C3P0的”APPARENT DEADLOCK”问题。
将C3P0切换成国产数据库连接池Druid之后,状况明显好转,类似问题再未出现过。

六、缓存使用优化

图片描述
图4 Jedis pipeline性能测试结果

七、订单数据冷热分离

图片描述
图5订单数据冷热分离

八、系统性能监控

性能测试和性能优化虽然对系统做了充分的改进,但是实际线上性能表现究竟如何,出现紧急性能问题时如何快速应对,还必须要对生产环境进行性能监控。在此简要列举一些宅米的性能监控报警要点:

图片描述

除了系统自身监控,很多系统故障和性能问题会直接反应到业务上。如果系统响应缓慢甚至宕机,那么实时订单量也会受到影响,因此监控实时交易也可以发现系统问题。图6是实时交易监控图,在这里例子中,21:33订单量突然降到零,虽然系统监控指标正常,但是可以断定系统必定出了问题,马上打开应用日志查看,发现有个Bug导致某个外部资源死锁,立刻手工释放该资源,系统恢复正常。

图片描述
图6实时订单监控

九、总结


作者介绍

胡勇,宅米网性能架构师,从事软件开发5年多,参与开发过银行支付系统、高并发视频点播系统,目前专注高并发系统的性能优化。
李智慧,宅米CTO,曾供职阿里巴巴与英特尔亚太研发中心,从事大型网站、分布式系统、大数据方面的研发工作。著有《大型网站技术架构:核心原理与案例分析》一书。
小讯
上一篇 2025-03-01 19:17
下一篇 2025-01-17 12:40

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/76112.html