Gibbs Kim's playground

Elasticsearch는 Tokenizer를 통해 토큰이 모두 분리되면 다양한 토큰 필터를 적용할 수 있다.토큰 필터들 중 Synonym 필터를 적용한다면 동의어 처리에 대한 기능을 Elasticsearch를 통해 수행할 수 있다. * 동의어를 추가하는 방법1) 동의어를 mapping 설정 정보에 미리 파라미터로 등록하는 방식2) 특정 파일을 별도로 생성해서 관리하는 방식 (Ex: 동의어 사전) 첫 번째 방식은 실무에서 잘 사용되지 않는다. -> mapping 정보에서 동의어를 관리할 경우, 운영 중에는 동의어를 변경하기가 어렵기 때문 그래서 Elasticsearch에서 동의어는 주로 동의어 사전을 통해 관리된다. * 동의어 사전 만들기$ES_HOME/config/analysis/synonym.txt동..

웹크롤링등을 하여 다음과 같은 패턴의 텍스트 파일이 있다고 하자. 이렇게 막 써대 ... ... 이때, HTML TAG를 제외한 내용을 엘라스틱서치에 인덱싱하고 싶다면 다음과 같이 .conf 파일을 작성해보자 ### It is operated on ELK 7.7.1 input{ file{ path => "WANTED_FILE_PATH" ## you should write your own file or dir path start_position => "beginning" sincedb_path => "/dev/null" ## above two lines, based on linux OS codec => multiline { pattern => "^\\n" negate => true what => "prev..

aggregation을 활용하여 특정 필드만 작업(sum, avg, ...)시 "query" 결과로 aggregation에 해당하는 조건의 결과값들만 보고 싶을 때 filtering search를 활용하자. (Aggregation filtering 참고 : https://mingsigi.tistory.com/entry/ElasticStack-16-Terms-query-Aggregation-sum-avg) 위의 예시를 기준으로 "file_name" 필드에 값이 VALUE와 COMPLETE으로 구성되어 있다고 가정하자. 그러면 aggregation filter 수행 시 query에는 필터링을 걸어놓지 않았기 떄문에, "file_name"이 VALUE인 항목의 값들과 COMPLETE인 항목의 값들이 동시에 검..