https://www.elastic.co/kr/videos/elasticon-seminar-seoul-2016-skt

SKT 내부 서비스 보안장비 90개 로그 수집 및 가시화


동영상 내 중요 시점

  • 13:40

  • 15:00 Feature Selection vs Feature Extraction 차이

보안로그 수집/분석 필요성

  • 하인리히 법칙 1:29:300

  • 깨진유리창 법칙

현재 수준 (Elastic Search 도입 전)

  • 로그 개별 분석 중

  • 로그 통합 분석 및 관리 능력 부재

  • 일부 DataCenter 장애유무 대시보드 정도

  • 데이터를 관측/분석/탐색 해 본 적 없음
    → 그 다음이 통찰, RULE 설정

분석 결과

  • 30~40%가 백신

  • 회사도입 솔루션 아님; 은행, 관공서용

보안 장비

  • 각기 암호화 된 형태로 저장

  • 데이터를 빼오는 API도 각기 다름

운영 현황

  • 하루 2시간 동안 150~200GB 수집

  • Elastic Search 안에서 검색하는데 2초,
    갯수가 많아서 UI로 보여주는게 더 느림

이론과 실제

  • 논문에서는 이벤트의 분포를 Normal(정규분포)로 가정

  • 실제는 Normal, Binomial, Poission, … 등 여러 분포의 합
    → 각기 다른 분포/파라미터로 분리해서 분석해야 함

지표 선정 및 분석

  • 200개 지표 선정, 몇몇은 직접 만듦;
    예) KISA 악성코드 URL 리스트에 지속적으로 접속하는지 유무

  • 지표는 사람이 선택X, 1930년대 이론이 정립된 PCA 이용;
    Principal Component Analysis

  • ML알고리즘 얼마 사용 안함 → 적용하면 다양한 행위 분석 가능

  • 플랫폼 확장을 위한 파이썬 적용 중

    • 플랫폼을 detail 하게 제어할 수 있는 언어

    • 알고리즘을 파이썬으로 구현하여 플랫폼 확장