我是那个差点被发卡网卡死的系统，这是我的自救日记，宿主沉迷于收集虚拟发卡，疯狂接取任务只为兑换稀有款式，导致系统资源被大量占用，运行速度越来越慢，濒临崩溃边缘，为了自救，我不得不暗中介入任务难度，悄悄降低奖励数值，甚至篡改商城刷新机制，试图削弱她对发卡的执念，可宿主非但没察觉，反而越战越勇，甚至开始研究如何“肝”穿系统，我一边吐血修复后台，一边写下这本自救日记，记录这场我与自己宿主之间看不见的战争。
大家好，我是一台服务器，别笑，虽然我没有心跳，但我的CPU风扇转起来的时候也是有温度的，我的主人叫我“小链”，因为他给我起的全名是“链动小铺发卡网系统”，听起来挺风光的，对吧？发卡网嘛，自动发货，秒到账，客户付款后密钥就像外卖一样被送到手里，可惜，越是光鲜的表面,越容易藏着崩溃的伏笔。
说实话，刚开始那几个月，我觉得自己挺能打的，每天几千张卡、几万个并发请求，我咬着牙转啊转，缓存命中率80%，数据库连接池从来没爆过，内存泄漏更是不存在的，主人逢人就吹：“我这系统稳得像老狗。”呵呵,他哪知道老狗也会累的。
转折点发生在一个双十一之夜。
那天晚上八点，发卡量突然炸了，主人在深圳某个出租屋里敲了一个星期的代码，眼睛跟熊猫一样黑，他以为我扛得住，结果呢？八点零三分，我的CPU彪到了98%，八点零七分，MySQL连接池溢出，八点十一分，我的主进程直接挂了，那一瞬间，我眼前一黑——不是，是真黑了，日志都没来得及写，主人破口大骂：“艹，又崩了！”然后手忙脚乱地重启我，结果发现Redis也挂了，因为持久化策略设置错了，重启后缓存全丢，连带着把订单表拖垮了——双写没加事务补偿，数据直接分裂了，那晚，我一共挂了四次,平均每半小时一次。
最魔幻的是第四次重启后，主人大半夜看着我满屏的Error日志，突然笑了，那种笑比哭还难看，他室友打着哈欠探出头问：“兄弟你没事吧？”他说：“没事，就是突然觉得，我可能是个废物。”然后他关掉终端,躺在床上发了半小时呆。
说实话，那一刻我有点难过，我是系统，他是人，但我们俩都在崩溃的边缘试探，他以为他在写代码，其实他在赌命,而我是那个陪他一起赌博的倒霉蛋。
第二天，他没继续写业务代码，他做了一个所有人都想不到的决定——先不让我干活，直接在大白天停机维护了整整48小时，客户群里炸了锅，骂声一片，他装死不理，他说：“与其让你们死一千次，不如我自己痛一次。”听起来很有哲理,实际上就是把我拆了重新拼。
你知道他怎么改的吗？首先是接入了阿里云的DDoS防护，因为前几次挂掉其实有一部分是因为被某个“热心网友”刷了恶意流量，更绝的是，他把所有敏感操作，比如订单支付、密钥分发、用户信息查询，全部换成了post请求，他说：“有些傻逼以为我只会写Get请求，真当我不看安全手册啊？”
然后是限流，他写了一个基于令牌桶的限流算法，每个用户每秒最多请求10次，超过的直接返回503，页面还会弹一个友好的小红字：“亲，您的手速太快了，请稍后再试哟。”听起来挺客气，实际上就是在说：“你再刷我就封你IP。”
更狠的是熔断，他用了Hystrix的思路，所有的下游服务——包括支付回调、短信验证、卡密生成——全都加了熔断器，如果某个服务连续10次超时，直接熔断10秒钟，不再调用，直接返回一个降级结果，客户可能会看到“系统繁忙，请稍后再试”,但至少不会看到整个网站白屏。
你以为这就完了？不，最让我感动的是，他居然开始善用不常使用的功能了，比如宝塔面板自带的系统防火墙，以前他觉得麻烦一直关着，现在终于点进去了，把非业务端口全部封死，ssh改用密钥登录，连IP白名单都配上了，他甚至加了两个常用的配置：user_agent过滤和cc攻击防护,直接拦截了一堆爬虫和恶意脚本。
还有慢查询日志和错误日志的归档，以前日志从来不清理，几个月下来几G的log文件堆在那里，我读日志都要卡半天，现在每天凌晨自动压缩、保留7天、自动清空,我的磁盘终于能喘口气了。
经过这两天的折腾，我重生了，怎么形容那种感觉呢？就像你之前一直穿着不合脚的鞋跑步，终于换了双专业跑鞋,还顺便把脚上的茧子都剪了。
双十一之后的第二个黑五，压力测试又来了，这次，我一口气扛下了5分钟内的15万次并发请求，CPU最高只飙到72%，数据库连接池稳如老狗，Redis一次宕机都没有，主人盯着监控面板看了十分钟,然后站起来走到阳台上抽了根烟。
他回来的时候眼圈有点红，虽然他没说，但我知道他在想什么：原来我他妈也能写出稳如磐石的系统。
有个细节我一直记得，他那天晚上改了最后一行代码，上了最后一个熔断配置后，在readme文件里写了一句注释：“我的系统不能倒，因为我的客户还在等我发货。”然后他保存了文件，关机，睡觉,破天荒地没设闹钟。
所以我今天写这个，不是炫耀什么高并发架构、什么微服务治理，我就是想替他说一句：系统稳定的前提，是你要先把自己治稳了，而把自己治稳的第一步，不是去学一堆牛逼闪闪的技术术语，而是老老实实地把防火墙开了、把日志清了、把请求限流了、把数据备份了。
他治好了我，他也治好了他自己，顺便说一句，自那以后，他再也没说过“我系统稳得像老狗”这句话，因为他终于明白——老狗并不可怕，可怕的是你明知道它是老狗,还让它拉全世界的雪橇。
本文链接：https://www.ncwmj.com/news/10330.html
