[ELK] ELK + Filebeat 설치와 파이프라인 구축

ELK 스택

ELK는 Elasticsearch, Logstash, Kibana를 말한다.

Elasticsearch는 분산 검색 및 분석 엔진으로 데이터를 저장하고 검색,

Logstash는  데이터를 수집, 변환, 전송하는 데이터 처리 파이프라인,

Kibana는 Elasticsearch에 저장된 데이터를 시각화하고 탐색하는 대시보드 도구다.

 

Filebeat

Filebeat는 로그 파일이나 텍스트 데이터를 수집하여 Elasticsearch나 Logstash로 전송하는 경량 데이터 수집기다.

 

 

ELK 스택과 Filebeat는 로그 수집, 처리, 저장, 분석 및 시각화를 위한 통합된 솔루션을 제공하고, 대규모 로그 데이터를 처리할 수 있게 해주는 도구다. filebeat에서 데이터를 수집하고, 이를 Elasticsearch까지 전송하여 Kibana로 시각화하기까지의 파이프라인을 연결하여 주기 위한 과정을 설명하려고 한다.

 

---

ELK , Filebeat 다운로드 (Windows)

 

https://www.elastic.co/downloads/past-releases

Past Releases of Elastic Stack Software

elastic 다운로드 사이트에서 Elasticsearch, Logstash, Kibana, Filebeat 모두 같은 버전으로 다운받아준다.

 

나는 4개 모두 Windows용으로 7.11.1 버전을 다운받았다.

---

Elasticsearch 실행

1. 다운받은 elasticsearch의 bin 폴더에서 elasticsearch.bat 실행

 

2. 부팅 완료 후 브라우저에 http://localhost:9200 입력하여 아래와 같은 화면이 나오면 실행 성공

 

Kibana 실행

1. 다운받은 kibana의 bin 폴더에서 kabana.bat 실행

 

2. 부팅 완료 후 브라우저에 http://localhost:5601 입력하여 아래와 같은 화면이 나오면 실행 성공

 

 

 

---

filebeat → logstash → Elasticsearch ← kibana 파이프라인 구축

 

 

0. 우선 아래 과정을 진행하기 전에 Elasticsearch와 Kibana를 실행시킨다.

 

1. csv 파일 생성 or 다운

 

2. filebeat.yml 파일 수정

   1) filebeat.yml 열기

 

   2) enabled: true로 수정

 

   3) csv 위치로 path 수정(띄어쓰기 주의)

 

   4) ES output 주석 후, Logstash output 주석 풀기

빨간색 박스 부분 #으로 주석 처리

ES 주석(빨간 박스), Logstash 주석 해제(노란 박스)

 

참고: logstash를 거치지 않고 filebeat에서 바로 ES 연결하고 싶으면

ES주석을 해제하고, logstash 부분을 주석해야 한다.

 

3. logstash의 config폴더에 conf 파일 생성 - 전처리

 

4. cmd(명령 프롬프트)를 관리자 모드로 실행 후 logstash 폴더로 이동 후 아래 명령어 입력

# logstash bin 폴더로 이동
cd C:\02.devEnv\ELK\logstash-7.11.1\bin

# JAVA_HOME 변수를 Logstash 번들된 JDK 경로로 설정
set JAVA_HOME="C:\02.devEnv\ELK\logstash-7.11.1\jdk

# PATH 환경 변수에 JAVA_HOME 추가
setx PATH "%PATH%;%JAVA_HOME%\bin

# 설정한 conf 파일 실행 - bank.cof
logstash -f ../config/bank.conf

 

     - 각 경로와 conf 파일 이름은 본인 것으로 수정해줘야 함

 

5. 위 logstash conf가 정상 실행되면 다른 cmd창을 켜서 filebeat.yml 실행

   1) logstash conf 정상 실행 확인

 

   2) 새로운 cmd창에 아래 명령어 입력

# filebeat 위치로 이동
cd C:\02.devEnv\ELK\filebeat-7.11.1

# yml 파일 실행
filebeat -e -c filebeat.yml

 

---