# LiteLLM은 무엇인가요? 140+ LLM 프로바이더를 통합하는 유니버설 게이트웨이

LiteLLM을 발견하세요: OpenAI 호환 API로 140+ 프로바이더와 2,500+ 모델을 통합하는 오픈소스 Python LLM 게이트웨이 및 프록시입니다. 기능, 설정, 비교, 비용 추적 및 프로덕션 최고의 실천 방법.

Canonical URL: https://a2a-mcp.org/blog/what-is-litellm-ko

Language: ko

Published: 2026-03-24

Updated: 2026-03-24

## 핵심 요약

- **LiteLLM**은 **140개 이상의 LLM 제공업체** 및 **2,500개 이상의 모델**(OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure, Mistral, Ollama, vLLM, Nebius AI와 같은 신흥 옵션 포함)에 단일한 OpenAI 호환 인터페이스를 제공하는 오픈소스 Python 라이브러리이자 셀프호스팅 AI 게이트웨이/프록시입니다.
- 이는 모델 라우팅, 비용 추적, 로드 밸런싱, 폴백, 캐싱, 가드레일, 가시성을 처리하며 벤더별 코드를 완전히 제거합니다.
- 분석에 따르면 LiteLLM은 다중 제공업체 통합 노력을 60~80% 감소시키며, 2억 4천만 번 이상의 Docker 풀과 함께 프로덕션 배포에서 **10억 건 이상의 요청**을 처리했습니다.
- 이 프로젝트는 코드 수준 사용을 위한 경량 **Python SDK**와 관리자 UI, 가상 키, 예산, 기업 거버넌스(상용 라이선스에서 SSO/RBAC 제공)를 갖춘 완전한 기능의 **프록시 서버**를 모두 제공합니다.
- 2026년 3월 기준, LiteLLM은 약 4만 개의 GitHub 스타와 1,300명 이상의 기여자를 보유하고 있으며, 빠른 모델 추가(예: v1.82.3에서 GPT-5.4, Gemini 3.x, FLUX Kontext) 및 에이전트와 MCP에 대한 네이티브 지원을 제공합니다.

## LiteLLM이란 무엇인가?

LiteLLM은 거대 언어 모델(LLM)을 위한 범용 번역기이자 운영 레이어 역할을 합니다. 개발자는 익숙한 OpenAI `chat.completions` 형식을 사용하여 지원되는 모든 모델을 호출하는 반면, LiteLLM은 인증, 스키마 변환, 재시도, 기능 향상을 투명하게 관리합니다.

BerriAI가 유지보수하고 Y Combinator가 지원하는 LiteLLM은 완성(completions), 임베딩(embeddings), 이미지 생성, 오디오 전사, 재랭킹(reranking), 배치(batches), 심지어 A2A/MCP 프로토콜까지 지원합니다. 상용 클라우드 제공업체와 로컬/셀프호스팅 런타임 모두와 원활하게 작동합니다.

**핵심 철학**: 한 번 작성하고 어디서든 실행하세요 — 단일 구성 변경으로 모델 또는 제공업체를 전환할 수 있습니다.

## 채택을 주도하는 핵심 기능

- **통합 OpenAI 호환 API**: 모든 제공업체에 걸쳐 자동 오류 매핑을 갖춘 일관된 요청/응답 형식.
- **AI 게이트웨이(프록시 서버)**: 대시보드, 가상 키, 키/팀별 예산, 속도 제한(RPM/TPM), 로드 밸런싱을 갖춘 Docker 배포 가능 중앙 서비스.
- **내장 비용 및 지출 관리**: 맞춤 가격 책정, 제공업체 마진, Langfuse, Prometheus, OpenTelemetry 등으로의 내보내기를 통한 실시간 추적.
- **신뢰성 엔진**: 자동 폴백, 재시도, 사용 기반 또는 단순 라우팅, Redis 캐싱, 가드레일.
- **관측 가능성 및 로깅**: LangSmith, Helicone, Lunary, MLflow용 콜백 및 네이티브 Prometheus 메트릭.
- **고급 기능**: 스트리밍, 구조화된 출력, 함수 호출, 정책-코드(policy-as-code), 네이티브 MCP/A2A 지원.
- **기업 거버넌스**: SSO(Okta, Azure AD), RBAC, 감사 로그 및 대규모 배포를 위한 유료 상용 기능.

## SDK vs 프록시: 적절한 배포 방식 선택하기

**Python SDK** (경량):
- 프로토타이핑, 스크립트, 또는 애플리케이션에 직접 내장하기에 완벽합니다.
- 인프라 오버헤드가 전혀 없습니다.

**프록시 서버** (프로덕션 환경 권장):
- `base_url`을 통해 모든 OpenAI 호환 클라이언트가 가리킬 수 있는 중앙 거버넌스 레이어입니다.
- 키 관리, 예산 설정, 가시성이 필요한 팀에 이상적입니다.

커뮤니티 벤치마크에 따르면 대부분의 조직은 SDK로 시작하여 사용량이 증가함에 따라 프록시로 마이그레이션합니다.

## 빠른 시작 예제

### SDK 사용법

```python
import litellm

response = litellm.completion(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Explain LiteLLM in one sentence."}]
)

# 공급자를 즉시 전환
response = litellm.completion(
    model="anthropic/claude-3-5-sonnet-20241022",
    messages=[{"role": "user", "content": "Explain LiteLLM in one sentence."}]
)
```

### 프록시 서버 (Docker)

```bash
docker run -p 4000:4000 ghcr.io/berriai/litellm:main-latest \
  --config /path/to/config.yaml
```

`config.yaml` 파일에서 모델, 키, 예산, 경로를 정의하여 중앙 집중식 제어를 구현하세요.

## LiteLLM vs 기타 LLM 게이트웨이: 2026년 비교

| 기능                  | LiteLLM                  | Bifrost (Maxim AI)      | Portkey                 | Cloudflare AI Gateway  |
|--------------------------|--------------------------|-------------------------|-------------------------|------------------------|
| **공급자 지원 범위**   | 140+ / 2,500+ 모델    | 강력함                  | 200+                   | 보통                   |
| **언어 / 성능** | Python (낮음-중간 지연 시간) | Go (초저지연 ~11μs) | Node.js                | 엣지 최적화         |
| **비용 추적**       | 기본 + 커스텀          | 고급                | 강력함                 | 기본적               |
| **거버넌스 (SSO/RBAC)** | 엔터프라이즈 라이선스     | 강력함                  | 우수함              | 제한적                |
| **오픈 소스**         | 완전 오픈 소스        | 셀프 호스팅 무료        | 하이브리드                 | 독점적            |
| **최적 용도**            | 유연성 & 광범위한 지원 | 대규모 프로덕션 | 엔터프라이즈 규정 준수  | 엣지 배포       |

분석 결과, LiteLLM은 Python 우선 팀과 광범위한 모델 실험을 위한 기본 선택으로 남아 있는 반면, Bifrost와 같은 Go 기반 대안은 초고 동시성 처리에서 탁월한 성능을 발휘합니다.

## 실제 활용 사례

- **다중 모델 애플리케이션**: 작업 복잡도에 따라 가장 저렴하거나 가장 능력 있는 모델로 동적 라우팅.
- **비용 최적화 및 예산 관리**: 사용자/팀별 지출 한도를 적용하고 자동 알림 제공.
- **고가용성**: 공급자 장애 발생 시 자동 페일오버로 중단 방지.
- **엔터프라이즈 규정 준수**: 가상 키, 감사 로그, 가드레일로 보안 요구사항 충족.
- **하이브리드 클라우드 + 로컬**: Ollama/자가 호스팅 모델과 클라우드 공급자를 원활하게 결합.

LiteLLM은 초기 스타트업부터 대규모 ML 플랫폼 팀까지 모든 것을 지원합니다.

## 일반적인 함정 및 고급 팁

- **고동시성 레이턴시**: 500+ RPS에서 Python 오버헤드로 수백 마이크로초 지연 발생 가능; Prometheus로 모니터링하고 극한 확장 시 Go 기반 게이트웨이 고려.
- **데이터베이스 성능**: PostgreSQL에 대한 과도한 로깅이 병목 현상이 될 수 있음 — 초기에 Redis 캐싱 활성화 및 연결 풀 튜닝 수행.
- **콜드 스타트**: 대규모 패키지 임포트로 시작 속도 저하; 선택적 임포트(`from litellm import completion`) 또는 지연 로딩 사용.
- **캐싱 문제점**: 캐시된 응답이 가끔 오래된 상태로 표시될 수 있음; 시간 민감성 쿼리의 경우 항상 캐시 TTL 검증.
- **고급 팁**: 맞춤 콜백 및 정책-코드-화를 활용하여 PII 차단이나 출력 형식 강제 같은 세밀한 제어 구현.
- **엣지 케이스**: 모든 공급자가 동일한 기능을 지원하는 것은 아님(예: 특정 도구 호출 변형); 항상 대상 모델 간 주요 경로 테스트.

이러한 문제를 사전에 해결하는 팀은 훨씬 높은 신뢰성과 낮은 운영 부담을 달성합니다.

## LiteLLM의 미래

지속적인 주요 릴리스와 성장하는 생태계 통합(심화된 MCP 및 에이전트 지원 포함)으로 LiteLLM은 LLM 추상화를 위한 오픈소스 표준으로서의 입지를 공고히 하고 있습니다. 2026년에는 확장된 엔터프라이즈 기능, 더 빠른 라우팅, 더 넓은 프로토콜 지원을 기대해 보세요.

## 결론

LiteLLM은 단편화된 LLM API의 마찰을 제거하여 개발자와 플랫폼 팀이 공급자 차이로 고생하는 대신 지능형 애플리케이션 구축에 집중할 수 있게 합니다. 빠른 프로토타이핑을 위한 간단한 SDK가 필요하든, 프로덕션 거버넌스를 위한 강력한 게이트웨이가 필요하든, LiteLLM은 대규모로 탁월한 유연성을 제공합니다.

지금 시작하세요: `pip install litellm`, Docker를 통해 프록시를 배포하거나, docs.litellm.ai에서 전체 문서를 탐색해 보세요. 통합된 LLM 접근의 미래는 이미 여기에 있습니다.