여정

불용서버 찾아 삼만리

냉방기 돌아가는 전산실에서 상의가 땀으로 젖어가면서 30Kg 서버로 테트리스

3년간 남는 재료비로 서서히 업그레이드


준비물

튼튼한 신체
100M ~ 1G 스위치
10G 스위치

100G 업링크 2~4포트 있으면 좋음

10GBASE-T (RJ45) 제품 구매시 일반 랜선으로 10G 구성 가능

불용 서버


남는 재료비

(다나와) 10G 랜카드 - OEM 랜카드도 안정성 좋음 (2포트 12~15만원 선)


자원 배치

불용서버 활용 시나리오

서버수량용도설명추가구매 (서버 1대당)워런티 (유지보수)
100M ~ 1G 스위치1서버 관리 스위치

서버관리 사설망 구축 용도

BMC Examples



서버1배스천 호스트

Rocky 9 / Ubuntu 22

  • DHCP 서버
  • SAMBA (BMC ISO 파일 제공)
  • 윈도우 VM > 작업용
  • oVirt Controller VM
10GbE 2포트 NIC 1개
서버1스토리지 (NFS)

RAID 10 or RAID 50

10GbE or 100GbE NIC 1개

디스크 원하는 만큼

Pet

서버3n스토리지 클러스터Ceph10GbE 1개Cattle
서버n컴퓨팅 호스트
10GbE 1개Cattle

Pet : 애지중지하며 관리해야 할 것

Cattle : 워런티 없이 고장나면 비슷한 사양의 불용서버로 대체할 것

테스트 시나리오

서버수량용도설명
성능 좋은 서버1가상화 호스트

Rocky 9 / Ubuntu 22

중첩가상화 (Nested Virtualization) 설정
- 15년식 서버의 CPU도 지원했으니, 대부분은 지원할 듯

상기 사항을 모두 가상화

연구망 온프레미스 구성

호스트수량

호스트 설치 소프트웨어

VM 및 설치 소프트웨어

비고

유지보수

10G 서버 1대1

cockpit-machine

Bastion host

OpenVPN

oVirt (Controller)

MAC 겹치지 않게 주의

  • 겹치면 해당 스위치에 물린 다른 VM도 통신 안됨

oVirt 컨트롤러를 별도로 두는 것을 추천

  • 컨트롤러를 VM으로 운영하면
    shutdown 하고 디스크 이미지를 복사하여 백업 가능

Pet

100G 서버2

oVirt (Host)

실제 운영하는 VM

NFS (To be moved) 


Cattle

100G NVMe 서버1

(TBD) NFS


oVirt 스토리지용

Pet

10G 서버6

(TBD) Ceph


2014~16년식 Dell 서버 사양 비슷한 것 6대

다목적 데이터 스토어 (K8s 스토리지, 연구용 네트워크 로그 스토어 등)

Cattle


네트워크 구성

여러 VLAN 영역에 VM을 제공 가능한 구성

Private 네트워크가 필요면 스위치에서 VLAN 선언 후 VM에 할당 (외부 trunk 안하면 됨)

oVirt vs OpenStack


oVirtOpenStack비고
소개

(초기) Red Hat Virtualization 의 오픈소스 버전

(현재) Red Hat 멤버 소수만 유지



장점

설치 및 운영이 쉬움

  • ISO 를 통한 설치
  • GUI를 통한 호스트/스토리지 추가/제거
  • 손쉬운 cloud-init 설정

HA 가능 (동작중인 인스턴스의 VM호스트 변경)

설명서가 잘 되어 있음 (레드헷 공식 문서)

유지보수/솔루션 업체가 많음

어플라이언스 형태로
턴키로 납품되는 형태이면 
유지보수가 편함

GUI 대시보드 (horizon)를 통한
호스트/스토리지 추가/제거


단점

유지보수 업체 찾기 어려움

CLI를 통한 호스트/스토리지 추가/제거


특징

flavor 없이 cpu, mem, disk 를 상수로 할당

동작중인 상태에서 cpu, mem, disk 증가 가능



귀찮은 점

인프라 구성의 기본이 되는 CA인증서의 유효기간이 초기에 365일이었음

1년 뒤 갑자기 컨트롤러에 접속이 안되서 당황함

CA를 20년짜리로 발급하고 내부 서비스 재시작해서 해결함



비고

티맥스 클라우드도 oVirt 이용중

https://github.com/tmax-cloud/install-ovirt