해외 레퍼런스 사양


2011 Mark 6

소매 가능한 부품(COTS, commercial off-the-shelf) 하드웨어와 오픈소스 소프트웨어로 전파천문대의 데이터를 16Gbps 급으로 기록하는 장치

https://www.haystack.mit.edu/mark-6-vlbi-data-system/

(참고) Mark5 시스템(1999년도)은 2Gbps 속도로 데이터를 기록


2016 REANNZ PS 구축사례, APAN46

REANNZ perfSONAR Deployment, Jamie Curits

https://apan.net/meetings/apan46/files/23/23-04-01-01.pdf

요구사항 - 10G, 2x10G, 100G, 상용 HW

5018D-FN8T, Xeon-D 1518, 32GB RAM 240GB NVMe


100G DTN, ESnet (미국 DoE 산하 연구망)

https://fasterdata.es.net/science-dmz/DTN/100g-dtn/

https://fasterdata.es.net/science-dmz/DTN/reference-implementation/

PCIe Gen3 x16
CPU clock < 2.5GHz
4 TCP stream (25Gbps per stream)
10 NVME SSD (PCIe Gen3 x4) or
24 SATA SSD with PCIe Gen3 x16 RAID controller

Xeon E5-2643V2 x 2 (3.5GHz 6x2 = 12core)
DDR3-1866MHz 96GB
SATA 10000rpm disk x 16 (WD2500BHTZ) / RAID 6
10G: Intel X520, Myricom 10G-PCIE2-8C2-2S, Chelsio T5
40G: Mellanox MCX312A-XCBT
100G: Mellanox MCX455A-ECAT


100G DTN, AARNET (호주 연구망)

https://support.aarnet.edu.au/hc/en-us/articles/115010092388

https://support.aarnet.edu.au/hc/en-us/articles/360001202255


2019.03 USATLAS Tier-2 Status and Plans

Shawn McKee / University of Michigan

https://indico.cern.ch/event/805724/contributions/3352776/attachments/1811437/2958717/USATLAS-Tier2-Status-Plans.pdf

Dell R240 perfSONAR node / Xeon E-2146 3.5GHz 16GB RAM / 10G NIC 제외 / $2,400


100~400G DTN at SC10~20

NASA HECN(High End Computing Networking), ESnet, Internet2, StarLight, ciena, ... 주축

매 해 Supercomputing Conference 에서 발표


  • NVMe-oF (NVME over Fabrics) : 네트워크 Fabric 에서 NVMe 운용
  • TCP 오프로딩이 가능한 100G NIC 이용 → 데이터 전송시 CPU 점유율 낮게 유지
  • iWARP (Internet Wide Area RDMA Protocol) 이용


SC10 >> Using 100 Gbps Network Technology in Support of Petascale Science

  • 100 Gigabits per Second Transmissions Achieved Via A Single Workstation, 사양 및 가격표 포함

SC18 >> Demonstrations of 400Gbps Disk-to-Disk WAN File Transfers using iWARP and NVMe-oF

SC19 >> Demonstrations of 400Gbps Disk-to-Disk WAN File Transfers using RDMA and NVMe Drives

  • WAN 구간에 400G 단일 링크를 만들어 실험한 첫 사례

SC20 >> Demonstrations of 400Gbps Disk-to-Disk WAN File Transfers using NVMe-OF/TCP

  • AMD ROME 프로세서의 PCIe 슬롯에 NVMe를 어떻게 배치하였는지도 표시


(필자 의견) 고대역 망을 reserve 하는 것은 많은 비용이 소비되는 일이므로 SC 컨퍼런스를 통해 미국을 가로지르는 WAN 환경에서 데모를 진행함.
400Gbps 급 전송 서버의 레퍼런스 사양을 제시한다기 보다는, 최신 하드웨어를 가져와서 plugfest 하는 느낌으로 진행하는 것 같음. 
매 회 서버 하드웨어를 업그레이드 하면서 진행. 네트워크 전송기술은 서버 인프라 기술보다 느리게 발전하기 때문.


기타 사양

https://docs.perfsonar.net/deployment_examples.html