限流知识梳理

限流知识梳理首发链接 什么是限流 限流其实是指当系统资源不够 不足以应对大量请求 为了保证有限的资源能够正常服务 对系统按照预设的规则进行流量限制或功能限制的一种方法 为什么需要限流 在流量过大的情况下为了保证服务可用 比如我的服务 因为资源问题 qps 在 300 左右 如果超过这个服务器承受不住可能会挂掉 限流算法 漏桶算法

大家好,我是讯享网,很高兴认识大家。

首发链接

什么是限流?
  • 限流其实是指当系统资源不够,不足以应对大量请求,为了保证有限的资源能够正常服务,对系统按照预设的规则进行流量限制或功能限制的一种方法。
为什么需要限流?
  • 在流量过大的情况下为了保证服务可用
    == 比如我的服务,因为资源问题,qps在300左右,如果超过这个服务器承受不住可能会挂掉 ==
限流算法
漏桶算法
  • 请求进入漏桶里,人为设置请求速率,超过这个速率,请求被拒绝
  • 漏桶算法的核心:
    • 存下请求
    • 匀速处理
    • 多于丢弃
  • 这是一种强行限制请求速率的方式,缺点非常明显,主要有两点:
    • 无法面对突发的大流量
    • 无法有效利用网络资源
令牌桶算法
  • 令牌桶算法是网络流量整形(Traffic Shaping)和限流(Rate Limiting)中最常使用的一种算法,它可用于控制发送到网络上数据的数量并允许突发数据的发送。
  • 令牌桶的过程
    • 系统以恒定的速率产生令牌,然后将令牌放入令牌桶中
    • 令牌桶有一个容量,当令牌桶满了的时候,再向其中放入的令牌就会被丢弃
    • 每次一个请求过来,需要从令牌桶中获取一个令牌,假设有令牌,那么提供服务;假设没有令牌,那么拒绝服务。

== 令牌桶算法可以防止一定程度的突发流量? ==


讯享网

  • 假设速率是1000QPS,第1秒只有800个请求,那意味着第2秒可以容许1200个请求,这就是一定程度突发流量的意思,反之我们看漏桶算法,第一秒只有800个请求,那么全部放过,第二秒这1200个请求将会被打回200个

使用令牌桶算法特别注意设置桶中令牌的上限即可

ratelimiter在项目中的应用
private static final RateLimiter limiter = RateLimiter.create(200); final boolean b = limiter.tryAcquire(); if (!b) { logger.info("RateLimiterInterceptor preHandle busy"); response.setContentType("application/plain;charset=utf-8"); response.sendError(503, "the system is busy"); return false; } 

讯享网
小讯
上一篇 2025-01-04 20:57
下一篇 2025-02-18 16:39

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/26857.html