병렬 FTP 실행으로 전송속도를 향상시킨 FTP

• 두 EndPoint 사이에서 FTP를 여러개 실행시켜 전송 속도를 올리는 FTP의 확장 버전
• EndPoint는 하나 이상의 서버로 구성되며, 한 서버에서 하나 이상의 FTP 데몬이 실행됨

하기 내용은 GridFTP의 역사와 응용, 오픈소스 커뮤니티에 관한 내용이므로, 관심 없으신 분들은 다음 챕터로 넘어가시길 바랍니다.

GridFTP 와 Globus 의 차이점

• GridFTP : 병렬 FTP 전송 SW
• Globus Toolkit : 데이터 전송 인프라 운영을 위한 SW 모음
• Globus Online : Globus Toolkit 을 웹과 클라우드에 올린 것

GridFTP

병렬 FTP 전송을 지원하는 데이터 전송 도구

2003 Open Science Grid 포럼을 통해 Argonne Natl. Lab. 연구원들이 제안함 <1>

• Grid Security Infrastructure (GSI) and Kerberos support
• Striped data transfer (여러 호스트를 통한 데이터 전송)
• Manual/Automatic control of TCP buffer/window sizes

Globus Toolkit

데이터 전송 인프라 운영을 위한 도구 모음

• 보안, 데이터 관리, 실행 관리, 런타임 라이브러리 등으로 구성
• GridFTP 는 Globus Toolkit의 일부
• 시카고 대학과 아르곤 연구소가 주축이 되어 개발함
• 2006년 globus-toolkit v4를 발표함 <2>

Globus Online

Globus Toolkit 을 클라우드에 올린 것. 웹브라우저를 통해 이용 가능함.

무료 기능

• PC 또는 서버를 Public EndPoint 목록에 등록
• 공개된 EndPont 2개를 선택해서 데이터 전송
• EndPoint 웹 인증 기능
  • 서버를 Public 목록에 공개한다고 해서 서버의 데이터가 공개되는 것은 아님
  • EndPoint 클릭하고 해당 서버의 ID/PW 입력 을 통해 로그인 후 접근할 수 있음
  • EndPoint 관리자의 추가적인 설정으로 위 인증과정을 OAuth 웹 인증으로 대신할 수 있음

유료 기능

• 특정 연구그룹을 위한 포탈 사이트 제공
• PC 또는 서버를 Private EndPoint 목록에 등록 (포탈에 로그인 한 사용자만 EndPoint 목록 조회 가능)
• Usage Report, Admin CLI 제공 등

Globus Online이 필요 없는 경우

GridFTP 만으로 충분하신 분들

• 기존에 CLI 전송 도구를 SCP 를 잘 사용하던 분
• 웹 UI 또는 웹 사용자 인증이 필요 없는 경우
• 사용자가 소수라서 서버 관리자가 SSH 계정을 만들어서 알려주는 것이 편한 경우
• 폐쇄망, 또는 DMZ 내부에서 데이터를 전송하는 경우

Globus Online 유료화 및 Grid 커뮤니티의 대응

Globus Toolkit 은 20년간 미국 국가 R&D 프로젝트(NSF 펀딩)으로 운영되었으나 추가적인 연구비 획득에 실패하하여 2018년 유료화를 선언함 <3,4>

OSG (Open Science Grid)

• 2017년도에 Globus Toolkit을 fork하여 패치한 이후 변경사항 없음
• https://opensciencegrid.org/docs/data/gridftp/
• https://github.com/opensciencegrid/globus-gridftp-osg-extensions

EGI (European Grid Infrastructure)

• GridCF(Grid Community Forum) 출범 - https://gridcf.org
• Globus Toolkit 을 이어받은 GCG (Globus Community Toolkit) 배포 - https://github.com/gridcf/gct
  • GridCF에서 꾸준히 패치작업 중
• UberFTP (Interactive GridFTP client) 배포 - https://github.com/gridcf/UberFTP
  • 2014년도에 개발이 중단된 UberFTP를 fork 하여 2020년부터 패치 작업 중
  • UberFTP 한국어 설명, 경북대 CMS 위키 - http://t2-cms.knu.ac.kr/wiki/index.php/Uberftp

GridFTP 최신버전 이용 방법

Globus 팀에서 Globus Toolkit의 오픈소스 지원을 2018년 중단하였지만<3>, 최신 바이너리와 이를 설치하는 리눅스 패키지는 공개하고 있다. Globus Online 무료 버전 사용자가 설치할 SW를 공개해야 하기 때문이다. Globus Toolkit 중에서 data 레이어만 설치하고 GridFTP만 reconfigure 하면 이용 가능하다. GridFTP 설치 방법을 참고하여 설치한다.

GridFTP의 최신 코드가 궁금하면 다음 브랜치를 확인한다.

• Globus 의 GridFTP
  • Globus Online 무료 버전 사용자들을 위해 꾸준히 업데이트 되고 있다
  • https://github.com/globus/globus-toolkit/tree/globus_6_branch/gridftp
• GCF의 GridFTP
  • 대부분을 Globus 쪽 branch 에서 merge 작업을 하고, doxygen 이나 메시지 변경 등 소소한 변경사항만이 있다
  • https://github.com/gridcf/gct/tree/master/gridftp

<1> https://www.ogf.org/documents/GFD.20.pdf

<2> 2006년 Ian Foster 의 Globus Toolkit v4 출간 , 2007년 globus-toolkit 의 initial commit

<3> Support for open source Globus Toolkit will end as of January 2018

<4> Pricing - Globus Subscriptions