대용량 데이터 전송에 최적화된 확장 가능한 네트워크 구조: Science DMZ

1. 개요 (Introduction)

  • Science DMZ는 고성능 과학 애플리케이션에 최적화된 특수한 네트워크 아키텍처
  • 핵심 구성 요소:
    • 고성능 애플리케이션을 위해 명시적으로 설계된 네트워크 아키텍처
    • 데이터 전송 전용 시스템 (DTN) 사용
    • 성능 측정 및 네트워크 테스트 시스템 (예: perfSONAR)
    • 고성능 과학 환경에 맞춘 보안 정책 및 시행 메커니즘

2. 동기 (Motivation)

  • 네트워크는 데이터 집약형 과학의 핵심 요소
    • 데이터 소스를 데이터 분석에 연결
    • 협업자들 간의 연결 지원
    • 데이터 및 분석 자원에 대한 기계가 사용할 수 있는 인터페이스 제공 → 자동화 및 안정성 실현
  • 데이터의 기하급수적 상승에 따라 데이터 이동 및 분석 속도의 중요성이 증대
  • 과학자들이 광역 네트워크를 효과적으로 활용하는 것은 전통적으로 어려움
  • 중요 사항: 성능, 정확성, 일관성 (패킷 손실은 속도 저하로 이어지므로 속도 저하 체크 구간 필요)

3. 추상 또는 프로토타입 배포 (Abstract or Prototype Deployment)

  • 기존 네트워크 인프라에 추가 설치 가능

4. Science DMZ 디자인 패턴 (The Science DMZ Design Pattern)

  • 스위치를 통해 하이퍼 퍼포먼스(Hyper performance)를 지원
  • 다중 프로젝트 지원: Science DMZ 아키텍처는 여러 프로젝트가 DTN을 배치할 수 있도록 모듈형 아키텍처를 지원
  • 네트워크 가격보다 NVMe 가격이 더 비싸지는 추세

5. Science DMZ 배포 시나리오

  • 슈퍼컴퓨터 센터 배포 (Supercomputer Center Deployment):
    • 고성능 네트워킹이 전제 시스템 간, 시스템과 스토리지 간, 광역 네트워크 간의 데이터 흐름을 담당
    • 글로벌 파일 시스템이 자원을 상호 연결하는 경우가 많음.
    • 일부는 이더넷이 아닌 연결을 사용할 수 있음.
    • 해당 로그만 체킹가능
  • 주요 데이터 사이트 배포 (Major Data Site Deployment):
    • 일반적으로 대규모 서비스가 주요 동인이며, 페타바이트급 이상의 방대한 데이터를 수집하거나 전송
  • 분산형 Science DMZ (Distributed Science DMZ):
    • 광섬유가 풍부한 환경은 분산형 Science DMZ를 가능하게 함
  • 개발 환경 (Development Environment):
    • Science DMZ에서 자주 발생하는 일 중 하나는 이를 구축한 네트워크 엔지니어링 작업

6. Science DMZ의 공통 특징 (Common Threads)

  • Science DMZ는 기능이라기보다는 아키텍처
  • 두 가지 공통 요소:
    • 최근에는 이를 확인하기 위해 perfSONAR와 같은 도구를 사용
    • 버퍼가 클수록 장거리 전송에 유리하며, 고가의 장비들은 버퍼의 크기가 큼

7. 소프트 네트워크 장애 (Soft Network Failures)

  • 하드 장애는 잘 알려져 있으나, 소프트 장애는 성능 저하로 이어짐
  • 연결은 되어 있으나 성능이 저하되며, 경로 상의 어떤 구성요소는 작동은 하나 제대로 동작하지 않음.
  • 소프트 장애는 기본적인 방법으로는 탐지하기 어려움
  • 구간 장애를 찾기 위한 도구: perfSONAR (오픈 소스)

8. 전용 데이터 전송 시스템 (DTN: Data Transfer Node)

  • 데이터 전송을 위한 전용 노드(서버)
  • 고성능 데이터를 위한 구성:
    • 시스템 내부 구성 요소 (CPU, 메모리 등)
    • 네트워크 스택
    • 스토리지
    • 고성능 도구들
    • 불필요한 소프트웨어 없음
  • 병렬성의 중요성: 동일한 성능을 달성하는 데 하나의 연결보다는 4개의 병렬 연결을 사용하는 것이 더 쉬움 (Globus, GridFTP 등 활용)
  • 지연시간과의 상호작용이 매우 중요
  • 고성능 네트워크를 사용하기 위해서는 네트워크 구성 및 애플리케이션, 전송 도구의 튜닝이 필요함
  • 고속 스토리지 연결:
    • 로컬 고속 디스크 서브시스템
    • SAN(Storage Area Network)과 같은 외부 스토리지 인프라
    • Lustre, GPFS와 같은 고속 병렬 파일 시스템
  • 고속 전송 툴: Globus
  • 네트워크 인프라와 하드웨어 성능의 균형이 맞지 않으면 오히려 성능 저하가 발생할 수 있음.

9. Science DMZ 보안 (Science DMZ Security)

  • 과학 트래픽에 대한 보안 정책 및 정책 집행을 업무 시스템 보안과 분리하는 것이 중요함
  • PCIA (Payment Card Industry Data Security Standard)와 같은 규제 준수도 고려가능
  • 성능상의 이유로 Science DMZ는 엔터프라이즈 방화벽 외부에 위치할 수 있음
  • 방화벽: 여러 개의 프로세스로 구성하여 트래픽을 병렬로 검사할 수 있음
  • 기타 기술적 기능: IDS(침입탐지시스템)을 통한 포트 제어, ACL(접근 제어 목록), 애플리케이션 종류 제한 등이 있음

10. 미래 (Futures)

  • Science DMZ 설계 패턴은 새로운 기술에 매우 유연하게 적용 가능
  • SDN(소프트웨어 정의 네트워킹), 비 IP 기반 프로토콜 등 새로운 기술 도입이 간단
  • ESnet (Energy Sciences Network): 미국의 네트워크 서비스 센터 (https://fasterdata.es.net/)

인터넷 관련 추가 정보

  • 인터넷이란? 여러 네트워크가 연결되어 하나의 거대한 네트워크를 이룬 것. 초기에는 보안을 생각하지 않고 설계되었기에 보안에 취약한 측면이 있음.
  • 인터넷 표준:
    • RFC (Request For Comments): 인터넷 기술에 대한 표준 및 규격 문서.
    • IETF (Internet Engineering Task Force): 인터넷 표준을 개발하고 발전시키는 국제 조직.
  • 코어 네트워크 (Core Network): 백본(Backbone)이라고도 불리며, 인터넷의 핵심 기간망을 의미.
  • 망 분리: 사내망과 인터넷 망을 분리하는 개념으로, 과거에는 보안을 위해 사용되었으나 최근에는 불편함으로 인해 망 분리 이슈가 다소 감소.
  • TCP/IP 5계층 모델:
    1. Application 계층: FTP, SMTP, HTTP 등 응용 프로그램 프로토콜이 동작.
    2. Transport 계층: TCP, UDP 등 데이터 전송 방식이 정의.
    3. Network 계층: IP 주소 기반의 라우팅이 이루어짐.
    4. Link 계층: 네트워크 하나를 넘어가는 데 책임지는 계층.
    5. Physical 계층: 물리적 전송 매체와 관련된 계층.
  • 패킷 크기 및 MTU:
    • 패킷의 크기에 따라 헤더의 사이즈 차이가 남.
    • MTU (Maximum Transmission Unit): 한 번에 전송할 수 있는 최대 패킷 크기.
    • MTU 1500보다 MTU 9000 (점보 프레임)이 대용량 데이터 전송에 더 적합.
  • 네트워크 장비의 역할:
    • 라우터: Network, Link, Physical 계층에서 동작.
    • 스위치: Link, Physical 계층에서 동작.