[ElasticStack-3] Raw .csv data upload from Filebeat to ElasticSearch on Windows 10 (with Filebeat setup)

Tech 기록지/Elastic Stack

Lio Grande 2020. 4. 6. 15:52

[KR ver | ENG ver]

1. Filebeat을 설치하기 전에 Elasticsearch와 Kibana를 설치한다.

1. You have to install Elasticsearch and Kibana before setup Filebeat.

2. Filebeaat을 설치 및 설정하기 전에 Elasticsearch와 Kibana를 실행한다.

2. Run Elasticsearch and Kibana before setup and setting Filebeat.

3. Elasticsearch 실행 예시

3. Example of run Elasticsearch

> ELK>elasticsearch7.6.2>bin>elasticsearch

4. Kibana 실행 예시

4. Example of run Kibana

> ELK>kibana7.6.2>bin>kibana

5. Elasticsearch 접속 확인 (기본 경로: localhost:9200)

5. Check Elasticsearch access (Init path : localhost:9200)

6. Kibana 접속 확인 (기본경로: localhost:5601)

6. Check Kibana access (Init path : localhost:5601)

7. Kibana의 Management -> Index Pattern 클릭

(현재는 생성된 것이 없어서 표시되는 것이 없을것이다.)

7. Click 'Management' -> 'Index Pattern' on Kibana

(You can't see anything now, because nothing created something yet.)

8. Filebeat 실행 예시 (Windows Powershell 기준)

8. Run Filebeat example (on Windows Powershell)

> ELK>filebeat7.6.2>.\filebeat.exe -e -c .\filebeat.yml

9. filebeat.yml에서 설정한 path에 적절한 데이터를 저장하자 (ex: .csv 파일)

9. Proper data save in the path set for filebeat.yml (ex: .csv file)

10. Kibana에서 Management -> Create index pattern을 클릭하다보면 filebeat-version-timestamp 형식의 idx를 확인가능하다.

10. You can see index form like as 'filebeat-version-timestamp' on 'Management' -> 'Create index pattern' of Kibana

11. index pattern을 생성 후 Kibana의 Discover 항목에서 데이터 업로드 현황을 확인할 수 있다.

11. You can see data uploading status via 'Discover' on Kibana after creating index pattern.

12. 이후, 8.의 경로에 적절한 데이터를 추가로 저장하면, 생성해놓은 index의 Discover에서 'refresh'로 추가 데이터들을 확인가능하다.

12. If you save data more in path of 8., you can see added data on 'Discover' of index.

참고 영상 (Reference Video)