2. 서비스 구조
LiteLLM Proxy 를 통해 다양한 LLM API 를 통합
통합된 API 를 호출하여 OpenWebUI 라는 하나의 웹 UI에서 여러 모델을 사용
OpenWebUI
ChatGPT 와 유사한 웹 UI 제공
https://github.com/open-webui/open-webui
LiteLLM
여러 LLM API 를 OpenAI format 에 맞춰주는 프록시
https://github.com/BerriAI/litellm
옵션
HTTPS 인증서 적용을 위한 웹서버
접근 제한을 위한 방화벽 또는 네트워크 설정
SSO ID 연계를 위한 OIDC 설정