HW 사양 연관 요소

네트워크 성능측정서버 또는 고속 데이터 전송서버의 HW를 선정하는데 연관되는 요소



목적

  • 10Gbps, 100Gbps iperf / 파일전송 가능한 저렴하고 내구성 있는 HW 선정 및 구매
  • 원격 콘솔 및 원격 재설치가 가능할 것; Dell iDRAC, ASUS iKVM, IPMI 등
  • 저비용, 소형, 소음이 적으면 좋음


결론

타입프로세서사양
10G PSi7, Xeon E5PCIe Gen2 x4 이상 NIC
10G PSXeon D아무거나 가능함
(프로세서 내 10GbE 컨트롤러 포함함)
100G PS
코어 클럭 2.5GHz 이상, 쿼드코어 이상
DDR3 듀얼채널 구성 or DDR4
PCIe Gen3 x16 NIC
100G DTN
100G PS + NVME / PCIe Gen3 x16 RAID6


호스트 내외부 데이터 플로우

목적데이터 흐름

네트워크 성능측정서버

PS(perfSONAR), iperf

메모리 to 메모리

메모리 - CPU - PCIE - 이더넷 - PCIE - CPU - 메모리

데이터 전송서버

DTN

디스크 to 디스크디스크 - 메모리 - CPU - PCIE - 이더넷 - PCIE - CPU - 메모리 - 디스크


주 참고문서

PC로 10G 라우터 만들기, 2009 LinuxCon (영문)
메모리 BW, PCIE BW 등 HW에서 고려해야 할 사항을 단계별로 자세히 기술함


네트워크 속도

1Gbps = 0.125GB/s

10Gbps = 1.25GB/s

40Gbps = 5GB/s

100Gbps = 12.5GB/s


메모리 BW 계산

10Gbps 급에서는 DDR3도 문제 없음

메모리 BW 계산법, Wikipedia (영문)

400MHz (입출력 클럭) x 2 (클럭 당 데이터 전송) x 8B (64비트 line width) x 2 (듀얼 채널 인터페이스)
= 400M/s x 2 x 8B x 2 = 12800MB/s = 12.8GB/s

DDR3 SDRAM

DDR3-1066 (메모리 클럭 133MHz) 8.533GB/s

DDR4 SDRAM

DDR4-3200 (메모리 클럭 400MHz) 25.6GB/s = 200.48Gbps


PCI-E BW 계산

PCI-E, 나무위키

버전

전송속도 (x1)

전송속도 (x2)

전송속도 (x4)

전송속도 (x8)

전송속도 (x16)

1.x

250MB/s

(2Gbps)

500MB/s

1GB/s

2GB/s

4GB/s

2.x

500MB/s

1GB/s

2GB/s

4GB/s

8GB/s

3.x

984.6MB/s

1.97GB/s

3.94GB/s

(31.53Gbps)

7.88GB/s

15.75GB/s

(126Gbps)

4.0

1.969GB/s

3.94GB/s

7.88GB/s

15.75GB/s

31.51GB/s

5.0

3.938 GB/s

7.88GB/s

15.75GB/s

31.51GB/s

63GB/s

(참고) Understanding Performance of PCI Express Systems, 2014 Xilinx


i7 아키텍처

PCI-E 와 같은 peripheral 기기가 프로세서와 별도의 chip으로 제어

X58 / Core i7 / Bloomfield, Nehalem / Socket: LGA-1366

P55 / Core i5, i7-800 / Lynnfield, Nehalem / Socket : LGA1156


Xeon 아키텍처

프로세서 내장 PCIe 컨트롤러

xeon d pcie lanes에 대한 이미지 검색결과

Xeon E5-2600 v3

Xeon D / 프로세서 내장 10GbE


디스크 수명

SSD 수명 걱정할 필요 없음

공식수명 60~150TBW
매일 40GB x 5년 RW = 70TBW

실험 결과 공식수명의 2.5배
https://gigglehd.com/gg/hard/1312880