2025_06 출연연 대상 AI OpenRouter 사업 제안

1. 제안 개요

  • 출연연을 대상으로 한 AI OpenRouter 사업 제안
  • 다양한 AI 모델들을 통합 관리하고 효율적으로 사용할 수 있는 플랫폼 구축
  • KISTI 슈퍼컴을 활용한 국내외 오픈소스 LLM 서비스 제공

2. 제안 배경

현재 문제점:

  1. 행정 처리의 비효율성

    • 서비스별 개별 행정문서 처리 필요
    • 복수의 신용카드 결제 정보 관리

  2. 비용 관리의 비효율성

    • 서비스별 선불금 중복 예치
    • 달러 결제 및 부가세 처리의 번거로움

  3. 기술적 한계

    • 해외 오픈소스 LLM의 데이터 Retention 정책 불투명
    • 국산 LLM API 통합 사용의 어려움
    • 국산 오픈소스 LLM의 서버리스 API 부재

3. 제안 내용

  1. KISTI 슈퍼컴 기반 통합 서비스 구축

    • 국내외 인기 오픈소스 LLM 모델 서빙
    • 안전한 데이터 Retention 정책 수립 및 운영

  2. 통합 결제 시스템 구축

    • 외산 LLM API 달러결제 대행
    • 부가세 처리 일원화
    • 선불금 통합 관리

4. 기대 효과

  1. 행정적 효율성 증대

    • 행정 처리 절차 간소화
    • 비용 처리 프로세스 단순화

  2. 비용 효율화

    • 중복 선불금 예치 방지
    • 규모의 경제 실현을 통한 비용 절감

  3. 연구 환경 개선

    • 다양한 AI 모델에 대한 접근성 향상
    • 안전한 데이터 관리 체계 확보
    • 국산 AI 모델 활용도 제고


A. 원본글

(asked by claude-3.5-sonnet-v2) 이 글을 다음으로 나눠서 개조식으로 써줘

# 1. 제안 개요
# 2. 제안 배경
# 3. 제안 내용
# 4. 기대 효과

출연연 대상 AI OpenRouter 사업 제안

다양한 AI 업체들이 나타나고 다양한 모델들이 쏟아지고 있습니다. 각각의 모델마다 특화된 분야가 있고 사용자는 여러 모델을 작업의 목적에 맞게 골라쓰는 시대가 되었습니다.


여러 모델을 사용할 때 문제가 되는 점은 다음과 같습니다

(사용하는 서비스의 수 n에 비례해서)

  • 행정문서가 n배가 됩니다
  • n배의 금액이 선금으로 묶이게 됩니다
  • 달러로 결제하고 부가세도 별도로 처리해야 합니다 (n번 해야 합니다.)
  • 사용하고자 하는 서비스마다 신용카드 결제 정보를 걸어두어야 합니다. 그리고 비용처리를 기안해야 합니다. 사용하는 서비스가 4개라면 행정처리는 4배가 됩니다.
  • 많은 AI 회사들이 스타벅스 기프트 카드처럼 선불로 100달러를 충전하고, AI를 사용하면서 실시간으로 잔고를 소진합니다. 그리고 잔고가 20달러 밑으로 되면 자동으로 충전이 되는 식으로 운영합니다. 4개의 서비스를 사용하는 경우 4배의 금액인 400달러가 선불금액으로 묶여있게 됩니다.
  • 대부분의 LLM 업체가 국외업체입니다. 때문에 달러로 결제해야 합니다. 그리고 부가세를 별도로 납부해야 합니다. 사용하는 서비스가 4개이면 부가세도 4배로 처리해야 합니다.


이를 해결하고자 OpenRouter.AI 와 같은 서비스가 등장했습니다. - https://OpenRouter.AI

선불로 금액을 충전해두면 연계된 모든 LLM API를 사용할 수 있습니다. 전 세계의 거의 모든 LLM API를 사용할 수 있습니다. OpenRouter.AI 의 선불금 계좌 한곳에만 충전하면 등록된 모든 LLM을 사용할 수 있습니다.

Gemini(Google), Claude(Anthropic), GPT 4o(OpenAI) 등 거대 LLM 기업의 API를 이용할 수 있습니다. DeepSeek, InternLM 등 중국의 오픈소스 LLM도 중국 바깥의 서버에서 안전하게 운영하여 제공하는 API도 이용할 수 있습니다.


다만 문제점은 다음과 같습니다.

  • Retention 불투명

  • 국산 LLM API 사용 불가

  • 국산 오픈소스 LLM 모델의 규모의 경제 미비에 따른 Serverless API 부재

  • 채팅 input과 output을 보존하는 기한을 Retention 이라고 합니다. Google, Anthropic, OpenAI 등 AI 대기업은 API 사용과 관련한 input/output 데이터를 학습에 사용하지 않습니다. 다만 보안사고에 대응하기 위해 30일 정도 데이터를 보존하고는 있습니다.

다만 DeepSeek, InternLM 등 오픈소스 모델들은 중국이 아닌 chutes.ai, targon.com 에서 서빙을 해 주고 있습니다만 Retention 정책이 불투명합니다.

  • 현재 LLM API의 경우 de facto standard로 OpenAI의 API 형상을 따라가고 있습니다. 그리고 LiteLLM과 같은 LLM 프록시에 이를 붙일 수 있게 되어 있습니다. 하지만 네이버의 HyperCLOVA X의 경우 LangChain에는 붙인 사례는 있지만, 아직 LiteLLM에 붙인 사례가 없습니다.

  • 카카오 카나나, LG 엑사원 등 국내 AI업체는 오픈소스 모델을 개발하고 공개하였습니다. 이 모델들은 누군가가 GPU 서버를 임대해 항상 모델을 로딩해 두어야 이용 가능합니다. GPU 서버는 이용률이 낮더라도 시간당 요금을 계속해서 지불해야 합니다. 규모의 경제가 되어야, 띄워둔 모델을 여러 사람이 나누어 사용하면서 이용료를 절감할 수 있습니다.


이에 출연연 대상 AI OpenRouter 사업을 제안합니다.

  • 인기 오픈소스 LLM 모델 서빙 via KISTI 슈퍼컴 (Retention 문제 해결)

  • 외산 LLM API 달러결제/부가세 처리 대행 (결제 관련 행정처리 해결)

  • 연구자의 입장에서 카카오 카나나, LG 엑사원 등 국내 AI업체의 모델을 사용해 보고 싶은 경우가 많습니다. 참고 차원에서 중국산 오픈소스 LLM도 써 보고 싶습니다. 하지만 LLM은 많은 GPU 자원을 필요로 합니다. 때문에 규모의 경제 실현을 위해 KISTI 에서 KISTI 의 GPU/NPU 자원을 통해 출연연을 대상으로 해당 모델을 상시 서비스 하였으면 합니다. KISTI 가 직접 seving 하면 Retention 문제에서 자유롭게 됩니다.

참고로 슈퍼컴 황순욱 박사님은 뉴론에서 에서 DeepSeek를 돌려보시는 등 발빠르게 대응하고 계십니다. 다만 이는 개인이 받은 슈퍼컴 구좌에 한정된 것이며, 출연연 한정 웹서비스로 하는 것은 또 다른 논의가 필요합니다. https://github.com/hwang2006/deepseek-r1-1.58bit-llama.cpp-on-supercomputer

  • 많은 출연연들이 달러 결제와 부가세 처리 때문에 매우 귀찮은 행정적인 절차를 겪습니다. 게다가 잔고가 떨어지면 선불금이 자동충전되는데 방식 때문에 결제일이 매월 다르게 됩니다. 대표기관이 귀찮은 행정처리를 한번만 처리하면 그 혜택을 모든 출연연이 볼 수 있도록 하면 좋을 것 같습니다.

참고

On-premise LLMs 포탈 구축 가이드 - https://wiki.kreonet.net/on-prem-llm-portal-guide-2025