목록grok (4)

Gibbs Kim's playground

[ElasticStack-19] Logstash multiline indexing

웹크롤링등을 하여 다음과 같은 패턴의 텍스트 파일이 있다고 하자. 이렇게 막 써대 ... ... 이때, HTML TAG를 제외한 내용을 엘라스틱서치에 인덱싱하고 싶다면 다음과 같이 .conf 파일을 작성해보자 ### It is operated on ELK 7.7.1 input{ file{ path => "WANTED_FILE_PATH" ## you should write your own file or dir path start_position => "beginning" sincedb_path => "/dev/null" ## above two lines, based on linux OS codec => multiline { pattern => "^\\n" negate => true what => "prev..
Tech 기록지/Elastic Stack 2020. 6. 19. 11:39
[ElasticStack-17] File name extract in full file path

Logstash 파일의 경로가 다음과 같다고 하자. /A/B/C/D/E/sample.json 이때, 특정 필드(ex: test)에 sample이라는 문자열만 삽입하고 싶으면 다음과 같은 grok 패턴을 사용하자. %{GREEDYDATA}/%{GREEDYDATA:test}\.json
Tech 기록지/Elastic Stack 2020. 6. 15. 17:36
[ElasticStack-15] Logstash Grok filtering

.json 파일을 엘라스틱서치에 인덱싱하면 보통 "message" 필드에 중괄호( { } ) 내부에 있던 내용들이 저장된다. 이때 "key:value" 쌍이나 기타 값들을 적절하게 분류하여 필드와 데이터로 분류하고 싶다면 filter를 사용하게 되는데 Logstash에서는 보통 Grok filter를 통해 분류 작업을 수행한다. [참고 링크] https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns elastic/logstash Logstash - transport and process your logs, events, or other data - elastic/logstash github.com https://grokdebug.her..
Tech 기록지/Elastic Stack 2020. 6. 11. 10:47
[ElasticStack-5] .csv file insert to Elasticsearch via Logstash.conf

Logstash를 사용하여 파일(대표적으로 .csv)을 Elasticsearch로 업로드할때 사용하는 대표적인 파일명은 다음과 같은 패턴을 가진다 -> logstash2el.conf .conf 파일은 대표적으로 input, filter, output 을 사용하여 raw data를 입력(input)하고 정제(filter)하며, ES로 파일을 전송(output)한다. =================== .conf Example ==================== ## This is operated in ELK 7.6.2 input { file { ## Basically, Windows' path like as C:\Users\~ ## In Logstash, Windows also follow linux s..
Tech 기록지/Elastic Stack 2020. 4. 6. 17:27
이전 Prev 1 Next 다음