Rate Limit

Зачем

вид ограничителя скорости называется ограничитель одновременных запросов (concurrent request limiter). Он может быть полезен, когда у вас есть «дорогие» конечные точки, которые не рекомендуется вызывать больше определённого количества раз, если вы хотите обслуживать трафик.
rate-limiting

Чтобы у вас всегда хватало ресурсов для обслуживания критически важных транзакций, используйте fleet usage load shedder
- Он удерживает часть ресурсов для высокоприоритетных запросов и не позволяет низкоприоритетным транзакциям их использовать
- Load shedder принимает свои решения на основе общего состояния системы, а не размера одиночного пользовательского запроса
different types of rate limiting responses three categories:
- blocking
  - HTTP Status 409 Too Many Request
- throttling - снижение качества видео, например
- shaping - приоритетность обработки запросов
common rate limiting algorithms