해외 레퍼런스 사양
2011 Mark 6
소매 가능한 부품(COTS, commercial off-the-shelf) 하드웨어와 오픈소스 소프트웨어로 전파천문대의 데이터를 16Gbps 급으로 기록하는 장치
https://www.haystack.mit.edu/mark-6-vlbi-data-system/
(참고) Mark5 시스템(1999년도)은 2Gbps 속도로 데이터를 기록
2016 REANNZ PS 구축사례, APAN46
REANNZ perfSONAR Deployment, Jamie Curits
https://apan.net/meetings/apan46/files/23/23-04-01-01.pdf
요구사항 - 10G, 2x10G, 100G, 상용 HW
5018D-FN8T, Xeon-D 1518, 32GB RAM 240GB NVMe
100G DTN, ESnet (미국 DoE 산하 연구망)
https://fasterdata.es.net/science-dmz/DTN/100g-dtn/
https://fasterdata.es.net/science-dmz/DTN/reference-implementation/
PCIe Gen3 x16 CPU clock < 2.5GHz 4 TCP stream (25Gbps per stream) 10 NVME SSD (PCIe Gen3 x4) or 24 SATA SSD with PCIe Gen3 x16 RAID controller | Xeon E5-2643V2 x 2 (3.5GHz 6x2 = 12core) |
100G DTN, AARNET (호주 연구망)
https://support.aarnet.edu.au/hc/en-us/articles/115010092388
https://support.aarnet.edu.au/hc/en-us/articles/360001202255
2019.03 USATLAS Tier-2 Status and Plans
Shawn McKee / University of Michigan
Dell R240 perfSONAR node / Xeon E-2146 3.5GHz 16GB RAM / 10G NIC 제외 / $2,400
100~400G DTN at SC10~20
NASA HECN(High End Computing Networking), ESnet, Internet2, StarLight, ciena, ... 주축
매 해 Supercomputing Conference 에서 발표
- NVMe-oF (NVME over Fabrics) : 네트워크 Fabric 에서 NVMe 운용
- TCP 오프로딩이 가능한 100G NIC 이용 → 데이터 전송시 CPU 점유율 낮게 유지
- iWARP (Internet Wide Area RDMA Protocol) 이용
SC10 >> Using 100 Gbps Network Technology in Support of Petascale Science
- 100 Gigabits per Second Transmissions Achieved Via A Single Workstation, 사양 및 가격표 포함
SC18 >> Demonstrations of 400Gbps Disk-to-Disk WAN File Transfers using iWARP and NVMe-oF
SC19 >> Demonstrations of 400Gbps Disk-to-Disk WAN File Transfers using RDMA and NVMe Drives
- WAN 구간에 400G 단일 링크를 만들어 실험한 첫 사례
SC20 >> Demonstrations of 400Gbps Disk-to-Disk WAN File Transfers using NVMe-OF/TCP
- AMD ROME 프로세서의 PCIe 슬롯에 NVMe를 어떻게 배치하였는지도 표시
(필자 의견) 고대역 망을 reserve 하는 것은 많은 비용이 소비되는 일이므로 SC 컨퍼런스를 통해 미국을 가로지르는 WAN 환경에서 데모를 진행함.
400Gbps 급 전송 서버의 레퍼런스 사양을 제시한다기 보다는, 최신 하드웨어를 가져와서 plugfest 하는 느낌으로 진행하는 것 같음.
매 회 서버 하드웨어를 업그레이드 하면서 진행. 네트워크 전송기술은 서버 인프라 기술보다 느리게 발전하기 때문.