API 오류 코드 429 - 요청 동시성 한도에 도달

“Concurrency limit reached for requests”라는 메시지가 포함된 429 오류는 Serverless Inference API에 동시 요청을 너무 많이 보내고 있음을 의미합니다.

이런 일이 발생하는 이유

Serverless Inference는 공정한 사용과 서비스 안정성을 보장하기 위해 동시성 한도를 적용합니다. 계정에서 동시에 보내는 Request 수가 허용된 한도를 초과하면, 추가 Request는 429 status 코드와 함께 거부됩니다.

할 수 있는 작업

1. 동시 요청 수 줄이기

   • 애플리케이션에서 요청 큐잉이나 스로틀링을 구현합니다
   • 실패한 요청을 재시도할 때 지수 백오프를 사용합니다

2. 한도 늘리기

   • 현재 플랜의 동시성 한도를 검토하고, 필요하면 업그레이드합니다

자세한 내용은 사용 정보 및 한도를 참조하세요.

---

할당량 및 요청 속도 제한