2025_07_W28_주간업무 (양다원)
PDCA
전공교육 | 개발실습 | 부서교육 | 부서업무지원 | ||
---|---|---|---|---|---|
P | Prometheus를 활용한 유저별 LLM 사용량 및 과금 모니터링 대시보드 구축 | ||||
D | Prometheus를 활용한 유저별 LLM 사용량 및 과금 모니터링 대시보드 구축, HTTP POST를 이용한 유저별 LLM 사용량 모니터링 대시보드 구축, Open WebUI DB 교체 | 서버실 업무 보조 | |||
C | |||||
A |
일일회고
2025/07/07
- Fact : LiteLLM 유저별 Prometheus 데이터 소스를 이용한 LLM 사용량 대시보드 구축 시도, HTTP POST를 이용한 유저별 LLM 사용량 대시보드 구축
- Feelings : 본래 LiteLLM으로 유저별 LLM 사용량 대시보드를 구축하고 싶었지만 Prometheus의 유료 기능에 걸려 아쉬웠다.
- Finding : Grafana에 LiteLLM의 Prometheus 메트릭을 갖고 오는 기능은 유료 기능이라 무료 기능에서는 제한이 걸린다.
- Future Action Plan : HTTP POST를 이용한 유저별 LLM 사용량 대시보드 구축, 발표 준비, LLM 과금 모니터링 문서화
- Feedbacks
2025/07/08
- Fact : HTTP POST를 이용한 유저별 LLM 사용량 대시보드 구축, Open WebUI DB를 이용한 유저별 AI 사용량 대시보드 구축
- Feelings : 오늘 HTTP POST를 이용한 유저별 AI 사용량 대시보드를 구축을 완료하였다.
- Finding : HTTP POST를 이용한 유저별 AI 사용량 대시보드를 구축해 curl 명령어를 이용해서 임의의 사용자를 만들고 데이터를 쌓아 테스트하는 작업을 진행했다.
- Future Action Plan : Open WebUI DB를 이용한 유저별 AI 사용량 대시보드 구축
- Feedbacks
2025/07/09
- Fact : Open WebUI DB를 이용한 유저별 LLM 사용량 대시보드 구축, 대시보드 사용자 해쉬값 출력에서사용자명 출력으로 변경, Open WebUI DB 변경 작업
- Feelings : Open WebUI의 DB 정보를 끌어와 유저별 LLM 사용량 대시보드를 구축했다.
- Finding : Open WebUI의 DB를 이용한 유저별 LLM 사용량 대시보드 구축, Python 코드를 사용해 대시보드 사용자 해쉬값 출력에서 사용자명 출력으로 변경
- Future Action Plan : Open WebUI DB 변경, 변경된 DB를 기반으로 과금 모니터링 대시보드 구축
- Feedbacks
2025/07/10
- Fact : OpenWebUI의 DB를 PostgreSQL로 전환한 후 openwebui_exporter를 python 코드로 작성해 유저별 LLM 사용량 데이터를 Prometheus에서 수집한 뒤 Grafana에서 과금 모니터링 대시보드 구축
- Feelings : 오늘 과금 모니터링을 끝으로 LLM 대시보드 구축을 마쳤다. 다양한 대시보드를 구축해보면서 exporter에 대한 이해도가 증가하면서 과정이 흥미로웠다.
- Finding : OpenWebUI의 Base DB인 SQLite에서 PostgreSQL로 교체, python 코드를 이용한 openwebui_exporter 생성, Grafana를 이용한 유저별 LLM 사용량 및 과금 모니터링 구축
- Future Action Plan : Open xpki를 이용한 인증서 시스템 구축
- Feedbacks
2025/07/11
- Fact :
- Feelings :
- Finding :
- Future Action Plan :
- Feedbacks