목록전체 글 (47)

Gibbs Kim's playground

[Trends-1] (2024) Data Engineering Trends

올해의 기술 트렌드를 조사하다가 geeksforgeeks에서 2024년 기준 데이터 엔지니어링 Top 10 trends를 언급하여 한글로 기록해두려고 한다. (의역 및 오역이 있을 수 있습니다.) 1. 실시간 데이터 처리에 대한 큰 관심  최근 조직에서 빠른 결정에 대한 관심과 함께 실시간 데이터 처리가 매우 중요해졌다. 이러한 요구조건에 맞추어 데이터 엔지니어들은 다양한 곳에서 수집되는 스트리밍 데이터를 다루는 능력과 실시간 분석에 대한 능력이 필요할 것이다.  - Keywords     - 스트리밍 데이터 수집에 있어 Apache Kafka와 Apache Flink가 중요한 도구로 사용될 것이다.     - 실시간 데이터 처리는 어떻게 수집하는가와 어떻게 데이터를 분석할 것인가가 주요한 변화일 것이다..
Trends 2024. 7. 17. 15:34
[Data Engineering-4] Ubuntu 고정(static) IP 설정하기 (with Netplan)

1. 시스템에 설정된 네트워크 인터페이스 확인$ ls /sys/class/netenp0s31f6 wlp5s0 lo또는, $ ip link1: lo: mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:002: enp0s31f6: mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000 link/ether 4c:ed:fb:72:a1:36 brd ff:ff:ff:ff:ff:ff3: wlp5s0: mtu 1500 qdisc noqueue state UP ..
Tech 기록지/Data Engineering 2024. 7. 15. 08:57
[Data Engineering-3] Crontab 로그 주기별 삭제

https://mingsigi.tistory.com/entry/Linux-1-Crontab-%EB%82%A0%EC%A7%9C%EB%B3%84-%EB%A1%9C%EA%B7%B8-%EC%83%9D%EC%84%B1 [Linux-1] Crontab 날짜별 로그 생성리눅스에서 스케줄러(crontab)로 프로그램을 실행하면서 해당 프로그램 실행 내역에 관한 로그를 생성하고 싶을 경우가 있다. 이 때, 생성되어야 하는 로그는 *_YYYY-mm_dd.log와 같은 패턴을 지니게mingsigi.tistory.com이전에 생성한 날짜별 로그를 일정 기간까지만 유지하고 나머지를 지우고 싶을 때, 다음과 같이 설정한다. * 크론탭 로그 예시0 7 * * * /home/user/DelLogControl.sh* DelLogCon..
Tech 기록지/Data Engineering 2024. 7. 15. 08:44
이전 Prev 1 2 3 4 5 6 ··· 16 Next 다음