H-A

핵심 개념 Bifrost는 AI Gateway입니다 Bifrost는 애플리케이션과 LLM Provider 사이에 위치하는 고성능 AI Gateway입니다. 공식 문서에서는 Bifrost를 “20+ providers를 단일 OpenAI-compatible API로 통합하는 고성능 AI gateway”라고 설명합니다. 핵심은 애플리케이션 코드가 OpenAI, Anthropic, Bedrock, Vertex AI, Azure OpenAI 등 여러 Provider의 차이를 직접 처리하지 않도록 만드는 것입니다. Python 백엔드 입장에서는 LLM 호출 지점을 Provider별 SDK 호출 … Read more

AI Gateway는 왜 필요한가요? LLM 애플리케이션이 실험 단계일 때는 SDK 하나와 API Key 하나만으로도 충분해 보입니다. 하지만 실운영에서는 다음 문제가 빠르게 나타납니다. AI Gateway는 애플리케이션과 Provider 사이에 위치하여 인증, 라우팅, fallback, 비용 추적, 로그, 정책 적용을 중앙화합니다. Rate Limit 문제 LLM Provider는 계정, 프로젝트, API Key, 모델 단위로 요청 수와 토큰 사용량을 제한합니다. 단일 API … Read more

해당 wiki는 Bifrost OSS를 self-hosted 환경에서 이해하고, 설치하고, 실제 운영 가능한 형태로 활용하기 위한 단계별 학습 문서입니다. Bifrost는 여러 LLM Provider를 하나의 Gateway 계층에서 통합적으로 다루고, 요청 흐름을 제어하며, 장애 대응·비용 관리·캐싱·관측성·거버넌스까지 함께 고려할 수 있게 해주는 인프라 성격의 도구입니다. 따라서 이 가이드는 단순히 “Bifrost를 실행해보는 방법”에 그치지 않고, AI 애플리케이션을 안정적으로 운영하기 위해 LLM … Read more

init_chat_model로 시작하기 LangChain을 처음 쓰다 보면 프로바이더마다 다른 클래스를 import하는 일이 생깁니다. 모델을 바꿀 때마다 import 문도, 클래스 이름도, 파라미터 구조도 달라집니다. init_chat_model은 이 불편함을 해소하기 위해 도입된 통합 팩토리 함수입니다. 💡 LangChain v1 공식 권장 방식 LangChain 공식 문서는 init_chat_model을 “The easiest way to get started with a standalone model” 로 소개하며, v1부터 표준 … Read more