Netsage 정리
1. NetSage
1.1 NetSage의 핵심 정체성
- NetSage는 전 세계 연구 및 교육 네트워크를 오가는 거대한 과학 데이터의 흐름을 이해 및 분석, 최적화하기 위해 만들어진 플랫폼
- 미국 구립과학재단(NSF)의 지원으로 개발
1.2 NetSage 3가지의 주요 기능
통합성 (Unified)
네트워크의 상태를 단편적으로 이해하는 것에 한계 존재
NetSage는 NetFlow, sFlow, IPFIX와 같은 플로우 데이터는 물론, 장비의 상태 정보를 알려주는 SNMP(장비 부하 상태), 그리고 실제 경로의 성능을 능동적으로 측정하는 perfSONAR 등 다양한 데이터를 하나의 플랫폼에서 통합하여 입체적인 분석 가능
대용량 플로우가 발생하여 라우터 CPU가 급증했고, 그 결과 해당 경로의 패킷 손실률이 증가했다 등의 인과관계 분석 가능
개방성 (Open)
NetSage는 투명성과 커뮤니티 협력 지향
분석에 사용되는 소프트웨어는 오픈소스로 개발되어 누구나 그 원리를 들여다볼 수 있음
분석된 데이터와 대시보드는 커뮤니티 포털을 통해 공개
프라이버시 존중 (Privacy-Aware)
수집 단계에서부터 개인 식별이 가능한 IP 주소의 마지막 8비트(마지막 옥텟)를 원천적으로 제거하고, 웹 서핑 등 작은 크기의 플로우는 필터링
강력한 비식별화 조치로 민감한 개인정보 유출에 대한 우려 없이 기관의 트래픽 패턴을 분석하고 외부에 결과 공유 가능
1.3 기술 아키텍처
[데이터 수집 → 처리 및 강화 → 시각화]의 3단계 아키텍처를 통해 구현
1단계: 데이터 소스 (Data Sources)
기관의 경계 라우터나 스위치에서 NetFlow/sFlow/IPFIX, SNMP 기능 활성화
perfSONAR 장비는 별도 설치
2단계: 데이터 수집 및 강화 (Data Ingest & Enrichment)
생성된 데이터는 NetSage 파이프라인으로 전송
비식별화
IP 주소 익명화 진행
데이터 강화 (Enrichment)
NetSage는 비식별화된 IP 주소의 앞 24비트(
192.168.1.xxx)를 미리 확보된 기관 및 위치 정보 데이터베이스와 매칭192.168.1.0/24-> 기관: 서울대학교, 국가: 대한민국152.3.0.0/16-> 기관: MIT, 국가: 미국
과학 분야 태깅
특정 IP 대역이 어떤 연구에 사용되는지(예: 고에너지 물리, 천문학) 등록된 정보를 바탕으로 과학 분야 태그를 붙임.
- 예시: 단순한 IP 숫자의 나열이 "대한민국의 서울대학교에서 미국의 MIT로 고에너지 물리 데이터를 전송했다"는 정보로 재탄생
3단계: 분석 및 시각화 (Analysis & Visualization)
데이터는 최종적으로 Grafana라는 강력한 오픈소스 시각화 도구를 통해 웹 대시보드로 구현
사용자는 웹 브라우저만으로 이 모든 분석 결과를 손쉽게 조회하고 탐색 가능
1.4 NetSage가 제공하는 차별화된 장점 요약
'맥락(Context)' 중심의 분석: 단순 트래픽 양을 넘어, 과학 분야(Science Discipline)별 트래픽 분류를 통해 데이터의 목적과 의미를 이해하는 분석 가능
거시적(Macro-level) 인사이트 제공: 개별 사용자가 아닌, 기관 대 기관, 국가 대 국가 간의 데이터 흐름 분석에 최적화되어, 글로벌 연구 생태계 내 우리 기관의 위상을 파악하는 데 중요한 단서 제공
신뢰성과 투명성 기반의 협업: 데이터 처리 방식이 공개되어 신뢰도가 높고, 프라이버시가 보장되므로 해외 기관과 객관적인 데이터를 기반으로 신속하게 공동 문제 해결 가능
2. NetSage의 실용적 활용 시나리오
시나리오 1: 원인 불명의 성능 저하 문제 해결
상황: 특정 연구 그룹이 해외 파트너 기관으로 대용량 데이터를 전송하는 데 평소보다 시간이 훨씬 오래 걸린다는 민원을 접수했습니다. SNMP 상으로는 회선 사용률이 포화 상태가 아니라 원인 파악이 어려운 상황입니다.
NetSage 활용
[Flow Analysis Dashboard]에서 문제가 발생한 시간대와 해당 연구 그룹의 IP 대역을 필터링합니다.
해당 시간대에 평소와 다른 비정상적인 트래픽 패턴이 있었는지, 혹은 특정 목적지(기관, 국가)로 향하는 데이터 흐름이 급증했는지 확인합니다.
[Individual Flows] 뷰를 통해 해당 목적지로 향하는 개별 플로우들의 상세 정보(지속 시간, 패킷량, 바이트 등)를 분석합니다. 이를 통해 병목 현상의 원인이 우리 기관의 내부 문제인지, 외부 인터넷 경로상의 문제인지, 아니면 수신 측 기관의 문제인지 범위를 좁혀 나갑니다.
기대 효과: "네트워크가 느리다"는 막연한 불만을 "A 기관으로 향하는 국제 회선에서 간헐적인 패킷 손실이 발생하고 있음"과 같이 데이터에 기반한 구체적인 문제로 정의할 수 있습니다. 이를 통해 유관 부서나 해외 기관과 협력하여 신속하고 정확하게 문제를 해결할 수 있습니다.
시나리오 2: 데이터 기반의 인프라 투자 계획 수립
상황: 내년도 예산 계획 수립을 위해 네트워크 회선 증설이 필요한지, 필요하다면 어느 구간을 얼마나 증설해야 하는지 객관적인 근거를 마련해야 합니다.
NetSage 활용
[Bandwidth Dashboard]에서 지난 1년간의 주요 회선별 트래픽 추이를 분석하여 장기적인 증가율을 정량적으로 파악합니다.
[Top Flows by Organization]과 [Flows by Science Discipline] 대시보드를 활용하여, 어떤 기관과의 데이터 교류가, 그리고 어떤 연구 분야의 데이터가 트래픽 증가를 주도하고 있는지 심층적으로 분석합니다.
기관의 중장기 연구 계획(예: 차세대 유전체 분석 프로젝트 착수)과 NetSage의 트래픽 데이터를 연계하여, 향후 1~2년 내 트래픽이 급증할 것으로 예상되는 구간을 정확히 예측합니다.
기대 효과: "최근 1년간 B 연구소와의 유전체 데이터 교류량이 연평균 40%씩 증가하고 있으며, 내년 차세대 시퀀서 도입 시 현재 회선 용량으로는 감당이 어려울 것으로 예상되므로, 해당 구간의 회선 용량을 10Gbps에서 40Gbps로 증설해야 합니다."와 같이, 명확한 데이터에 근거하여 인프라 투자의 타당성을 입증하고 설득력을 높일 수 있습니다.
시나리오 3: 기관의 연구 경쟁력 및 기여도 보고
상황: 기관장 및 이사회에 IT 인프라의 성과와 기여도를 보고해야 합니다. 단순한 장비 가동률 보고를 넘어, 네트워크가 기관의 핵심 미션에 어떻게 기여하는지 보여주고 싶습니다.
NetSage 활용
[Top Flows by Country] 대시보드를 활용하여, 우리 기관이 전 세계 어느 국가와 가장 활발하게 데이터를 교류하는지 한 장의 시각화 자료로 만듭니다.
Sankey 다이어그램을 이용하여 우리 기관을 중심으로 데이터가 오고 가는 주요 파트너 기관들의 관계망을 강물의 흐름처럼 직관적으로 표현하여 보고합니다.
[Flows by Science Discipline] 데이터를 통해 우리 기관의 네트워크가 고에너지 물리, 생명 과학 등 핵심 연구 분야들을 얼마나 안정적으로 지원하고 있는지 정량적으로 제시합니다.
기대 효과: "우리 기관의 네트워크는 지난 분기 총 10PB의 연구 데이터를 처리했으며, 이는 CERN, NASA 등 세계 최고 수준의 연구 기관과의 협력을 통해 이루어졌습니다"와 같이, 네트워크를 비용을 소비하는 부서(Cost Center)가 아닌, 기관의 연구 경쟁력에 직접적으로 기여하는 핵심 자산으로 포지셔닝할 수 있습니다.
3. 실제 사용 사례
ES-NET
출처: https://www.es.net/assets/pubs_presos/NETSAGEpaperFinal.pdf
NetSage에서 제공하는 사용 사례
출처: https://www.youtube.com/watch?v=gLOSak-Qtuw
실제 제공 라이브러리 사용
배포주소
https://portal.netsage.global/grafana/d/000000003/bandwidth-dashboard?orgId=2