优测吧 RCA 【RCA】| 案例1:服务注册与发现下的环境隔离

【RCA】| 案例1:服务注册与发现下的环境隔离

点击数:165

——实例

      环境隔离实践起来很麻烦,说多了大家总也不信,总觉得是狼来了,但在这上面出的事儿一个接一个。

      2014年5月13日,一个正常的周二常规版本上线日。第二天,有用户投诉登录未获赠积分,有城市经理反映商品展示销量与实际不符。

      因某种未知原因,线上镜像环境的消费者客户端启动的时候,把自己注册到了生产环境的 NotifyServer。于是线上生产环境的 NotifyServer 就开始对镜像环境的消费者做定期检查,如果发现该消费者在线,就把它加到消息分发的消费者组中。NotifyServer 分配中心负责发送消息,每隔一段时间会从notifyserver-console 服务器更新一下可用的消费者,然后在发消息的时候,随机选择一台,发送过去。如果正好随机发给镜像消费者,等于说生产环境消息就丢失了。

——教训:

      与此类似,之前也发生过一次跨环境访问,2013年9月商品中心镜像环境因为 mongodb 域名未配置,导致镜像环境里的商品排序更新到了生产环境,导致线上首页商品排序离奇错乱。

      短期策略:镜像环境的 dns 服务器与生产环境 dns 服务器分离,各自维护自己需要的记录。

      长期来讲,还是要在私有云上保证环境隔离,因为我们无法预知下一次环境污染会造成什么后果

      关键词:数据一致性,环境独立,隔离

本文来自网络,不代表优测吧立场,转载请注明出处:http://www.youceba.com/130/

作者: zhuifeng

上一篇
下一篇
0 0 投票数
Article Rating
订阅评论
提醒
guest
0 评论
内联反馈
查看所有评论
返回顶部
0
希望看到您的想法,请发表评论。x
()
x