Gibbs Kim's playground

AWS CLI는 AWS의 다양한 기능을 명령어를 통해 실행할 수 있게 하는 기능이다.(공식문서 참조: LINK) 설치 순서는 다음과 같다.1. Windows용 AWS CLI 설치프로그램 (MSI 64bit) 다운로드 및 실행> https://awscli.amazonaws.com/AWSCLIV2.msi  또는 msiexec 명령어를 통해 설치 프로그램을 실행할 수도 있다.$ msiexec.exe /i https://awscli.amazonaws.com/AWSCLIV2.msi 2. 설치된 버전 확인$ aws --versionaws-cli/2.17.22 Python/3.11.9 Windows/10 exe/AMD64AWS 공식문서: LINK

# Test Environment## OS: Windows 11 Pro## Python version # 3.12 # 3.10## Python Install spot: Microsoft Store 기존 웹서핑에서 언급하는 방식으로 venv를 통한 특정 파이썬 버전이 설치되지 않아 다른 방법으로 수행한 내용을 기록한다. 1. 타겟 python 폴더로 이동 (target: 3.10)$ cd C:\Users\testUser\AppData\Local\Microsoft\WindowApps\PythonSoftwareFoundation.Python.3.10_qef5dg# {user_name} == testUser# {id_pattern} == qef5dg 2. venv 커맨드 실행하여 특정 버전의 virtual..

Python script를 통해 DAGs를 등록하는 예제(LINK)를 수행하다가 python 내부에서 class로 구조를 구성하면 어떨까 테스트 해보았다. #yolo_inference example from https://da2so.tistory.com/40from datetime import datetimefrom pathlib import Pathfrom airflow import DAGfrom airflow.operators.python import PythonOperatorfrom airflow.operators.bash import BashOperatorclass DAGinstance: def __init__(self, args) -> None: self.dag_id = arg..

특정 파일을 심볼릭 링크로 설정하여 원하는 위치에서 실행할 수 있도록 하는 방식을 기록함 1. 필요한 python 파일 위치 예시$ pwd/code/scripts/python/sample.py2. 심볼릭 링크가 적용되어서 코드를 실행할 곳의 위치 예시$ pwd/executers3. 2번의 위치를 절대 경로로 표현하여 심볼릭 링크 설정$ ln -s /code/scripts/python/sample.py /executer/run_sample.py4. 2번 위치에서 ls 명령으로 파일 유무 확인$ lsrun_sample.py

Linux에서 모듈이나 프로세스 검색 시 "pip list | grep py*" 과 같이 자주 사용하곤 했다.Windows에서도 당연히 이렇게 사용을 시도했는데 해당 명령어가 설정되어 있지 않으므로 다음의 명령어를 사용하여 해결하였다. $ pip list | findstr apache# apache 문자열의 패턴을 가지는 모든 python 모듈 리스트를 반환 참고링크 : https://realforce111.tistory.com/10 윈도우 find, findstr 명령어리눅스에서 grep 명령어는 특정 문자열만 출력하는 기능으로 리눅스에서 가장 많이 사용되는 명령어 중 하나입니다. 윈도우에도 grep 명령어와 비슷한 find, findstr 명령어가 있습니다. find에서 기능realforce111.t..

Airflow 설치 및 실행에 대한 테스트 내역을 기록함# Test Environment## OS: Windows 11 pro## VM: WSL2** Airflow는 Windows에서 정상적인 실행이 불가능하다. 반드시 Linux나 MacOS에서 실행하자1) Airflow 설치$ pip install apache-airflow## If you want to install specific version, try like below$ pip install apache-airflow==2.9.1 2) Database 초기화$ airflow db init기본으로 설정되는 DB는 sqlite이다. 3) DB 변경 (Sqlite to postgreSQL)# Move to directory of configure f..

1. 시스템에 설정된 네트워크 인터페이스 확인$ ls /sys/class/netenp0s31f6 wlp5s0 lo또는, $ ip link1: lo: mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:002: enp0s31f6: mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000 link/ether 4c:ed:fb:72:a1:36 brd ff:ff:ff:ff:ff:ff3: wlp5s0: mtu 1500 qdisc noqueue state UP ..

https://mingsigi.tistory.com/entry/Linux-1-Crontab-%EB%82%A0%EC%A7%9C%EB%B3%84-%EB%A1%9C%EA%B7%B8-%EC%83%9D%EC%84%B1 [Linux-1] Crontab 날짜별 로그 생성리눅스에서 스케줄러(crontab)로 프로그램을 실행하면서 해당 프로그램 실행 내역에 관한 로그를 생성하고 싶을 경우가 있다. 이 때, 생성되어야 하는 로그는 *_YYYY-mm_dd.log와 같은 패턴을 지니게mingsigi.tistory.com이전에 생성한 날짜별 로그를 일정 기간까지만 유지하고 나머지를 지우고 싶을 때, 다음과 같이 설정한다. * 크론탭 로그 예시0 7 * * * /home/user/DelLogControl.sh* DelLogCon..

리눅스에서 스케줄러(crontab)로 프로그램을 실행하면서 해당 프로그램 실행 내역에 관한 로그를 생성하고 싶을 경우가 있다.이 때, 생성되어야 하는 로그는 *_YYYY-mm_dd.log와 같은 패턴을 지니게 하고자 한다. ########### Crontab*/50 * * * * /home/user/CrontabScheduler.sh########## 쉘 스크립트#!/bin/bash/home/user/log_test.py >> /home/user/logs/logResut_$(date "+%Y-%m-%d").log

Apache Flink를 사용해볼 일이 생겨 pipeline 구현에 대한 감을 잡기 위해 작업을 수행하였다.관련 내용을 정리해본다.# Test Environment## OS: Windows 11 pro## VM: WSL2 가상환경(이하 wsl)에서 Ubuntu를 구동하기 위해 Windows powerShell에서 다음 명령어를 수행하여 Ubuntu 설치wsl --install# Install Ubuntu through this command, version is 22.04.3 LTS at the test가상환경 초기화가 필요한 경우 다음을 참고 -> https://webnautes.tistory.com/2013Pipeline 구성요소 (DB, Message broker, data processing to..