限速概念解释
- 并发: 同一时间内我们最多处理的来自您的请求数
- RPM: request per minute 指一分钟内您最多向我们发起的请求数
- TPM: token per minute 指一分钟内您最多和我们交互的token数
- TPD: token per day 指一天内您最多和我们交互的token数
为什么要做限速?
速率限制是API接口的常见做法,主要有以下几个考量:- 有助于防止滥用或误用API。例如,恶意行为者可能会通过大量请求来淹没API,试图使其过载或导致服务中断。通过设置速率限制,我们可以防范这样的行为。
- 速率限制有助于确保每个人都能公平地访问API。如果一个人或组织发出过多的请求,可能会拖慢所有人的API。通过限制单个用户可以发出的请求数量,那么尽可能多的人有机会使用API而不会遇到速度减慢的问题。
- 速率限制可以帮助我们管理集群总负载。如果对API的请求急剧增加,可能会给服务器带来压力并导致性能问题。通过设置速率限制将可以帮助为所有用户维护一个平稳且一致的体验。
特别说明
- 我们将全力保障用户的正常使用,但当集群负载达到容量上限时,我们可能会采取临时的限流措施,对各类限速进行调整。
- 代金券不计入累计充值总额