[Elastic Stack] 1. 엘라스틱 스택

엘라스틱 스택의 탄생 배경과 역사

엘라스틱 스택의 탄생 배경

전문 검색 기능을 제공하는 강력한 소프트웨어의 필요성 때문에 등장

 

엘라스틱 스택의 역사

- 샤이 배넌이 2004년 아내의 레시피 목록 검색 서비스 개발을 목적으로 최초 개발

 

- 최초 버전인 컴파스에서 가능성을 보고 아파치 루씬을 기반으로 한 엘라스틱 서치 개발

 

- 단순 검색 엔진에서 그치지 않고 데이터를 수집하고 가공, 저장, 분석, 시각화하는 빅데이터 파이프라인을 다양한 소프트웨어를 조합해 쓰는 대신 통합해 쓸 수 있는 플랫폼으로 발전하는 길을 택함

 

- 단순 검색 엔진에서 데이터를 정제하는 로그스태시와 시각화 UI를 담당하는 키바나의
두 프로젝트 진행으로 ELK의 시작을 알림

 

- 회사 이름을 엘라스틱으로 개명하고 프로그램 간의 호환성을 맞추던 중 패킷비트 회사와의 협업으로 경량 데이터를 수집하는 비츠와 합해 현재의 엘라스틱 스택 탄생

 

 

엘라스틱 스택의 구성요소

 

1) 엘라스틱 서치

 

- 엘라스틱 스택에서 데이터를 저장하고 분석하는 역할 담당

- 검색 엔진이지만 일종의 NoSQL 데이터베이스로 분류하며 몽고 DB와 유사하게
JSON 도큐먼트 형태로 관리

- 엘라스틱 서치의 내부구조는 클러스터 구조로 되어 있음

클러스터: 엘라스틱 서치의 가장 큰 시스템 단위, 1개 이상의 노드로 구성
노드: 마스터 노드와 데이터 노드로 구분, 데이터 노드에 데이터 저장

클러스터 구조의 엘라스틱 서치는 여러 노드로 구성하면 한 노드가 사용하지 못하는 상태가 되더라도 다른 노드가 해당 작업을 수행하여 서비스 지속에 이점

 

- REST API 형태로 손쉬운 요청과 데이터베이스 운영 가능

 

2) 키바나

 

엘라스틱 스택에서 엘라스틱 서치에 저장된 데이터를 관리하고 시각화하는 역할 담당

엘라스틱 서치의 반복 작업을 보다 쉽게 할 수 있는 관리 도구(Dev Tool) 제공

엘라스틱 스택이 널리 퍼지는데 공헌한 차트 생성과 직관적인 대시보드 기능 제공

 

3) 로그스태시

엘라스틱 스택에서 다양한 소스로부터 로그 데이터를 수집하는 데이터 수집 역할 담당
데이터 수집에서 그치지 않고 필터 기능을 활용한 데이터 정제 기능도 지원

 

4) 비츠

로그스태시가 지원하는 기능이 많은만큼 무겁다는 단점을 보완한 경량화된 데이터 수집 역할 담당
특정 수집 목적에 최적화된 에이전트인 여러 개의 비트를 총칭하여 비츠라고 부름
고 프로그래밍 언어로 작성되어 서비스 호스트에 부담 없이 설치해 사용 가능

 

엘라스틱 스택 사용 용도

엘라스틱 스택은 다양한 분야의 회사에서 다양한 서비스를 지탱하는 핵심 기술로 자리 잡음

처음 개발 목적인 전문 검색 엔진 용도부터 각종 로그 분석, 보안 이벤트 분석,

애플리케이션 성능 모니터링, 머신 러닝, 빅데이터 플랫폼의 일부로서 역할까지 폭넓게 수행

 

엘라스틱 스택 사용 사례

• 우버에서는 실시간 데이터 플랫폼인 가이로스를 구축해 최대 도착 예정 시간과 가격 책정, 수요/공급 예측 등 정보 결정
• 가이로스에 엘라스틱 서치를 사용 중이며 운영 중단 사고를 안정화하고 캐시 적중률을 향상시킴
• 트리플에서는 사용자의 위치와 시간, 환경에 적합한 여행 관련 콘텐츠를 제공할 때
  엘라스틱 클라우드(Elastic Cloud)를 메인 플랫폼으로 사용 중
• 유연한 검색과 빠른 속도, 뛰어난 확장성을 얻어 긍정적인 사용자 피드백과 구매전환율로 사업적인 이익 향상
• PSCU에서는 엘라스틱 스택의 머신 러닝과 경고 알림 기능을 활용해 회원 계정이 피해를
  입기 전에 선제적으로 재무 사기를 감지하고 차단함
• 신규 엘라스틱 스택 기반 사기 감지 플랫폼을 활성화한 지 얼마 지나지 않아 35,000 달러 규모의 사기 행위를 발견해 활성화되기 전에 발견하는 성과를 거둠