2025_07_W28_주간업무 (양다원)

PDCA


전공교육

개발실습

부서교육

부서업무지원


P

Prometheus를 활용한 유저별 LLM 사용량 및 과금 모니터링 대시보드 구축




D

Prometheus를 활용한 유저별 LLM 사용량 및 과금 모니터링 대시보드 구축,

HTTP POST를 이용한 유저별 LLM 사용량 모니터링 대시보드 구축,

Open WebUI DB 교체


서버실 업무 보조
C






A




일일회고

2025/07/07

  • Fact :  LiteLLM 유저별 Prometheus 데이터 소스를 이용한 LLM 사용량 대시보드 구축 시도, HTTP POST를 이용한 유저별 LLM 사용량 대시보드 구축
  • Feelings : 본래 LiteLLM으로 유저별 LLM 사용량 대시보드를 구축하고 싶었지만 Prometheus의 유료 기능에 걸려 아쉬웠다.
  • Finding : Grafana에 LiteLLM의 Prometheus 메트릭을 갖고 오는 기능은 유료 기능이라 무료 기능에서는 제한이 걸린다.
  • Future Action Plan :  HTTP POST를 이용한 유저별 LLM 사용량 대시보드 구축, 발표 준비, LLM 과금 모니터링 문서화
  • Feedbacks

2025/07/08

  • Fact : HTTP POST를 이용한 유저별 LLM 사용량 대시보드 구축, Open WebUI DB를 이용한 유저별 AI 사용량 대시보드 구축
  • Feelings : 오늘 HTTP POST를 이용한 유저별 AI 사용량 대시보드를 구축을 완료하였다.
  • Finding : HTTP POST를 이용한 유저별 AI 사용량 대시보드를 구축해 curl 명령어를 이용해서 임의의 사용자를 만들고 데이터를 쌓아 테스트하는 작업을 진행했다.
  • Future Action Plan :  Open WebUI DB를 이용한 유저별 AI 사용량 대시보드 구축
  • Feedbacks

2025/07/09

  • Fact :  Open WebUI DB를 이용한 유저별 LLM 사용량 대시보드 구축, 대시보드 사용자 해쉬값 출력에서사용자명 출력으로 변경, Open WebUI  DB 변경 작업
  • Feelings : Open WebUI의 DB 정보를 끌어와 유저별 LLM 사용량 대시보드를 구축했다.
  • Finding : Open WebUI의 DB를 이용한 유저별 LLM 사용량 대시보드 구축, Python 코드를 사용해 대시보드 사용자 해쉬값 출력에서 사용자명 출력으로 변경
  • Future Action Plan :  Open WebUI  DB 변경, 변경된 DB를 기반으로 과금 모니터링 대시보드 구축
  • Feedbacks

2025/07/10

  • Fact : OpenWebUI의 DB를 PostgreSQL로 전환한 후 openwebui_exporter를 python 코드로 작성해 유저별 LLM 사용량 데이터를 Prometheus에서 수집한 뒤 Grafana에서 과금 모니터링 대시보드 구축
  • Feelings : 오늘 과금 모니터링을 끝으로  LLM 대시보드 구축을 마쳤다. 다양한 대시보드를 구축해보면서  exporter에 대한 이해도가 증가하면서 과정이 흥미로웠다.
  • Finding : OpenWebUI의 Base DB인 SQLite에서 PostgreSQL로 교체, python 코드를 이용한 openwebui_exporter 생성, Grafana를 이용한 유저별 LLM 사용량 및 과금 모니터링 구축
  • Future Action Plan :   Open xpki를 이용한 인증서 시스템 구축
  • Feedbacks

2025/07/11

  • Fact :  
  • Feelings : 
  • Finding : 
  • Future Action Plan :  
  • Feedbacks


Memo