Gibbs Kim's playground

다음과 같은 vector data 파일이 있다고 하자. [ 1.2, 1.3, 1.4, 1.5 ] 일반적인 JSON 형태가 아니므로, Logstash에서 접근할만한 방법으로는 multiline codec을 생각해볼 수 있다. input{ path => "FILE_PATH" start_position => "beginning" sincedb_path => "/dev/null" codec => multiline { pattern => "^\\n" negate => true what => "previous" auto_flush_interval => 1 } } 이것을 기반으로 바로 인덱싱을 수행해보았으나 Doc가 생성되지 않았다. 그래서 쿼리로 인덱스를 생성하고, vector 타입을 가지는 필드를 매핑한 후 Lo..

엘라스틱서치에서는 단어 검색 시 형태소 분석을 지원한다. 해당 기능을 사용하기 위해서는 다음과 같은 과정이 필요하다. 1) nori plugin 설치 (공식문서 : https://www.elastic.co/guide/en/elasticsearch/plugins/current/analysis-nori.html) sudo bin/elasticsearch-plugin install analysis-nori 만약 지우고 싶다면 아래의 방법을 적용 sudo bin/elasticsearch-plugin remove analysis-nori 설치를 하고나면 ES를 재시작해주자. (필수) 2) Query를 사용하여 인덱스를 설정하고 nori analyzer를 setting 하자. (Kibana DevTools 기준으로..

aggregation을 활용하여 특정 필드만 작업(sum, avg, ...)시 "query" 결과로 aggregation에 해당하는 조건의 결과값들만 보고 싶을 때 filtering search를 활용하자. (Aggregation filtering 참고 : https://mingsigi.tistory.com/entry/ElasticStack-16-Terms-query-Aggregation-sum-avg) 위의 예시를 기준으로 "file_name" 필드에 값이 VALUE와 COMPLETE으로 구성되어 있다고 가정하자. 그러면 aggregation filter 수행 시 query에는 필터링을 걸어놓지 않았기 떄문에, "file_name"이 VALUE인 항목의 값들과 COMPLETE인 항목의 값들이 동시에 검..

elasticsearch, logstash, kibana를 설치하여 실행할 때는 일반적으로 커맨드를 통한 수동접속(manual connection)을 기본으로 한다. 하지만, 상황상 백그라운드에서 계속 실행을 시켜야 하는 경우가 있는데 다음과 같은 명령어를 통해 해결가능하다. ## Elasticsearch 실행하기 nohup $ES_HOME/bin/elasticsearch & ## Logstash 실행하기 nohup $LOGSTASH_HOME/bin/logstash -f test.conf & ## Kibana 실행하기 nohup $KIBANA_HOME/bin/kibana & # 실행 프로세스 확인하기 ps -ef | grep SOMETHING ### options on SOMETHING ''' 1) no..

보통 ELK는 localhost:port 패턴으로 사용을 하지만 외부접속이 가능하게 하고 싶을때가 있다. 다음 파일들을 설정해주자 # version 7.6.2 # elasticsearch.yml network.host: 0.0.0.0 discovery.seed_hosts: ["0.0.0.0", "0.0.0.0"] # version 7.6.2 # kibana.yml server.host: "0.0.0.0" elasticsearch.hosts: ["USER_IP:9200"] 추가로 heap memory 관련하여 오류 메시지가 출력된다면 다음 설정을 확인하자 # elasticsearch/config/jvm.options -Xms1g -Xms1g ## 를 변경 Ex) 2g, 4g ... (Linux) max v..

ELK 6.4.1 에서 ELK 7.6.2 로의 데이터 이동을 snapshot 기능을 활용하여 수행한 과정을 기록합니다. 기존에 데이터가 저장된 ELK 버전 정보 더보기 Elasticsearch 6.4.1 || Logstash 6.4.1 || Kibana 6.4.1 저장된 데이터 Sample (CSV file) Kibana 6.4.1에 등록된 IndexPatterns : csv2el_seoulmetro I. Snapshot 1) Kibana 6.4.1에서 Snapshot 수행을 위한 fs(file system) 경로(repository) 설정 (in DevTools) POST /_snapshot/my_backup { "type": "fs", "settings": { "location": "path.repo..

[KR ver | ENG ver] 1. Filebeat을 설치하기 전에 Elasticsearch와 Kibana를 설치한다. 1. You have to install Elasticsearch and Kibana before setup Filebeat. 2. Filebeaat을 설치 및 설정하기 전에 Elasticsearch와 Kibana를 실행한다. 2. Run Elasticsearch and Kibana before setup and setting Filebeat. 3. Elasticsearch 실행 예시 3. Example of run Elasticsearch > ELK>elasticsearch7.6.2>bin>elasticsearch 4. Kibana 실행 예시 4. Example of run Kib..