일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- elastic
- logstash
- framework
- DSL
- typescript
- windows
- grok
- venv
- node.js
- path.data
- filebeat
- dense_vector
- elasticsearch
- OPCUA
- CSV
- kibana
- 7.7.1
- airflow
- json
- ubuntu
- package.json
- devtools
- query
- PYTHON
- KoA
- ELK
- Tutorial
- Data Engineering
- configure
- Crontab
- Today
- Total
목록DSL (2)
Gibbs Kim's playground
다음과 같은 vector data 파일이 있다고 하자. [ 1.2, 1.3, 1.4, 1.5 ] 일반적인 JSON 형태가 아니므로, Logstash에서 접근할만한 방법으로는 multiline codec을 생각해볼 수 있다. input{ path => "FILE_PATH" start_position => "beginning" sincedb_path => "/dev/null" codec => multiline { pattern => "^\\n" negate => true what => "previous" auto_flush_interval => 1 } } 이것을 기반으로 바로 인덱싱을 수행해보았으나 Doc가 생성되지 않았다. 그래서 쿼리로 인덱스를 생성하고, vector 타입을 가지는 필드를 매핑한 후 Lo..
서로 다른 두 인덱스를 검색하는 쿼리가 다음과 같다고 하자. (참조: https://mingsigi.tistory.com/entry/ElasticStack-16-Terms-query-Aggregation-sum-avg) GET index_A/_search { "query": { "terms": { "subject": [ "국어", "영어", "수학" ] } }, "aggs": { "aggregation_naming_1": { "filter": { "term": { "file_name": "VALUE" } }, "aggs": { "aggregation_naming_2": { "sum": { "script": "doc.score.value" } } } } } } GET index_B/_search { "qu..