버전 비교

이전 버전 2

changes.mady.by.user 장민석(KN)

에 저장

비교대상

새 버전 현재

changes.mady.by.user 장민석(KN)

에 저장

키

  • 이 줄이 추가되었습니다.
  • 이 줄이 삭제되었습니다.
  • 서식이 변경되었습니다.

목차

여정

Image AddedImage AddedImage AddedImage Added

불용서버 찾아 삼만리

냉방기 돌아가는 전산실에서 상의가 땀으로 젖어가면서 30Kg 서버로 테트리스

3년간 남는 재료비로 서서히 업그레이드


준비물

튼튼한 신체
100M ~ 1G 스위치
10G 스위치

100G 업링크 2~4포트 있으면 좋음

10GBASE-T (RJ45) 제품 구매시 일반 랜선으로 10G 구성 가능

불용 서버


남는 재료비

(다나와) 10G 랜카드 - OEM 랜카드도 안정성 좋음 (2포트 12~15만원 선)


자원 배치

불용서버 활용 시나리오

서버수량용도설명추가구매 (서버 1대당)워런티 (유지보수)
100M ~ 1G 스위치1서버 관리 스위치

서버관리 사설망 구축 용도

BMC Examples

Image AddedImage Added



서버1배스천 호스트

Rocky 9 / Ubuntu 22

  • DHCP 서버
  • SAMBA (BMC ISO 파일 제공)
  • 윈도우 VM > 작업용
  • oVirt Controller VM
10GbE 2포트 NIC 1개
서버1스토리지 (NFS)

RAID 10 or RAID 50

10GbE or 100GbE NIC 1개

디스크 원하는 만큼

Pet

서버3n스토리지 클러스터Ceph10GbE 1개Cattle
서버n컴퓨팅 호스트
10GbE 1개Cattle

Pet : 애지중지하며 관리해야 할 것

Cattle : 워런티 없이 고장나면 비슷한 사양의 불용서버로 대체할 것

테스트 시나리오

서버수량용도설명
성능 좋은 서버1가상화 호스트

Rocky 9 / Ubuntu 22

중첩가상화 (Nested Virtualization) 설정
- 15년식 서버의 CPU도 지원했으니, 대부분은 지원할 듯

상기 사항을 모두 가상화

연구망 온프레미스 구성

호스트수량

호스트 설치 소프트웨어

VM 및 설치 소프트웨어

비고

유지보수

10G 서버 1대1

cockpit-machine

Bastion host

OpenVPN

oVirt (Controller)

MAC 겹치지 않게 주의

  • 겹치면 해당 스위치에 물린 다른 VM도 통신 안됨

oVirt 컨트롤러를 별도로 두는 것을 추천

  • 컨트롤러를 VM으로 운영하면
    shutdown 하고 디스크 이미지를 복사하여 백업 가능

Pet

100G 서버2

oVirt (Host)

실제 운영하는 VM

NFS (To be moved) 


Cattle

100G NVMe 서버1

(TBD) NFS


oVirt 스토리지용

Pet

10G 서버
6대
6

(TBD) Ceph


2014~16년식 Dell 서버 사양 비슷한 것 6대

다목적 데이터 스토어 (K8s 스토리지, 연구용 네트워크 로그 스토어 등)

Cattle


네트워크 구성

여러 VLAN 영역에 VM을 제공 가능한 구성

Private 네트워크가 필요면 스위치에서 VLAN 선언 후 VM에 할당 (외부 trunk 안하면 됨)

VirtualBox 만큼 쉬운 운영

...

(보완점) 스위치 이중화를 하지 못함

  • 100G 스위치 고장나면 컴퓨팅 클러스터 전체 다운
  • 10G 스위치 / 인터페이스 추가로 보완 예정

oVirt vs OpenStack

...


oVirtOpenStack
KubeVirt
비고
소개

(초기) Red Hat Virtualization 의 오픈소스 버전

(현재) Red Hat 멤버 소수만 유지



장점

설치 및 운영이 쉬움

  • ISO 를 통한 설치
  • GUI를 통한 호스트/스토리지 추가/제거
  • 손쉬운 cloud-init 설정

HA 가능 (동작중인 인스턴스의 VM호스트 변경)

설명서가 잘 되어 있음 (레드헷 공식 문서)

유지보수/솔루션 업체가 많음

어플라이언스 형태로
턴키로 납품되는 형태이면 
유지보수가 편함

GUI 대시보드 (horizon)를 통한
호스트/스토리지 추가/제거


단점

유지보수 업체 찾기 어려움

CLI를 통한 호스트/스토리지 추가/제거

초기 많음

장점특징단점

특징

flavor 없이 cpu, mem, disk 를 상수로 할당

동작중인 상태에서 cpu, mem, disk 증가 가능

서버에 고정IP 할당하면 쉬움...

현재 운영

컨트롤러

hosted engine 이용 안함
별도 머신에 libvirt 로 VM 띄우고 engine 노드 구축함
engine 은 끄거나 재시작해도 구동중인 인스턴스에 영향은 없음
> 컨트롤러 백업이 편함 (컨트롤러 끄고 VM 압축...)

스토리지

현재 100G 노드 하나에서 NFS 로 제공중
qcow2 로 thin 프로비저닝
여차하면 NFS에서 해당 디스크 파일 찾아서 다른 노드로 옮기고 libvirt 로 띄우면 부팅됨

네트워크

클라우드의 VPC 같은 네트워크가 필요하면

1 어드민이 스위치 CLI로 VLAN 추가
2 인스턴스의 네트워크를 추가한 VLAN 으로 함

오픈스택의 뉴트론 같은 병목이 생길 여지가 없음
(호스트는 호스트 리눅스의 브릿지를 통해 곧바로 스위치에 붙음)

리눅스 브릿지는 상당히 안정적임 (OVS 대비)



귀찮은 점

인프라 구성의 기본이 되는 CA인증서의 유효기간이 초기에 365일이었음

1년 뒤 갑자기 컨트롤러에 접속이 안되서 당황함

CA를 20년짜리로 발급하고 내부 서비스 재시작해서 해결함

K8s oVirt integration

https://www.ovirt.org/develop/release-management/features/platform/openshift-on-ovirt.html



비고

티맥스 클라우드도 oVirt 이용중

https://github.com/tmax-cloud/install-ovirt

oVirt vs OpenStack

오픈스택 포기

oVirt

가상이 편하긴 하더라...

베이스 이미지

Ceph 

중고 재활용