티스토리

Gibbs Kim's playground
검색하기

블로그 홈

Gibbs Kim's playground

mingsigi.tistory.com/m

개발 및 잡담

구독자
0
방명록 방문하기

주요 글 목록

  • [Data Engineering-9] Python venv install specific version (Windows) # Test Environment## OS: Windows 11 Pro## Python version # 3.12 # 3.10## Python Install spot: Microsoft Store 기존 웹서핑에서 언급하는 방식으로 venv를 통한 특정 파이썬 버전이 설치되지 않아 다른 방법으로 수행한 내용을 기록한다. 1. 타겟 python 폴더로 이동 (target: 3.10)$ cd C:\Users\testUser\AppData\Local\Microsoft\WindowApps\PythonSoftwareFoundation.Python.3.10_qef5dg# {user_name} == testUser# {id_pattern} == qef5dg 2. venv 커맨드 실행하여 특정 버전의 virtual.. 공감수 0 댓글수 0 2024. 8. 5.
  • [Data Engineering-8] Airflow DAGs test with python class Python script를 통해 DAGs를 등록하는 예제(LINK)를 수행하다가 python 내부에서 class로 구조를 구성하면 어떨까 테스트 해보았다. #yolo_inference example from https://da2so.tistory.com/40from datetime import datetimefrom pathlib import Pathfrom airflow import DAGfrom airflow.operators.python import PythonOperatorfrom airflow.operators.bash import BashOperatorclass DAGinstance: def __init__(self, args) -> None: self.dag_id = arg.. 공감수 0 댓글수 0 2024. 7. 30.
  • [Data Engineering-7] Ubuntu (Linux) Symbolic Link 특정 파일을 심볼릭 링크로 설정하여 원하는 위치에서 실행할 수 있도록 하는 방식을 기록함 1. 필요한 python 파일 위치 예시$ pwd/code/scripts/python/sample.py2. 심볼릭 링크가 적용되어서 코드를 실행할 곳의 위치 예시$ pwd/executers3. 2번의 위치를 절대 경로로 표현하여 심볼릭 링크 설정$ ln -s /code/scripts/python/sample.py /executer/run_sample.py4. 2번 위치에서 ls 명령으로 파일 유무 확인$ lsrun_sample.py 공감수 0 댓글수 0 2024. 7. 30.
  • [Data Engineering-6] 윈도우 검색 findstr Linux에서 모듈이나 프로세스 검색 시 "pip list | grep py*" 과 같이 자주 사용하곤 했다.Windows에서도 당연히 이렇게 사용을 시도했는데 해당 명령어가 설정되어 있지 않으므로 다음의 명령어를 사용하여 해결하였다. $ pip list | findstr apache# apache 문자열의 패턴을 가지는 모든 python 모듈 리스트를 반환 참고링크 : https://realforce111.tistory.com/10 윈도우 find, findstr 명령어리눅스에서 grep 명령어는 특정 문자열만 출력하는 기능으로 리눅스에서 가장 많이 사용되는 명령어 중 하나입니다. 윈도우에도 grep 명령어와 비슷한 find, findstr 명령어가 있습니다. find에서 기능realforce111.t.. 공감수 0 댓글수 0 2024. 7. 26.
  • [Data Engineering-5] Airflow 설치 및 실행 테스트 (with postgreSQL) Airflow 설치 및 실행에 대한 테스트 내역을 기록함# Test Environment## OS: Windows 11 pro## VM: WSL2** Airflow는 Windows에서 정상적인 실행이 불가능하다. 반드시 Linux나 MacOS에서 실행하자1) Airflow 설치$ pip install apache-airflow## If you want to install specific version, try like below$ pip install apache-airflow==2.9.1 2) Database 초기화$ airflow db init기본으로 설정되는 DB는 sqlite이다. 3) DB 변경 (Sqlite to postgreSQL)# Move to directory of configure f.. 공감수 0 댓글수 1 2024. 7. 26.
  • [Data Engineering-4] Ubuntu 고정(static) IP 설정하기 (with Netplan) 1. 시스템에 설정된 네트워크 인터페이스 확인$ ls /sys/class/netenp0s31f6 wlp5s0 lo또는, $ ip link1: lo: mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:002: enp0s31f6: mtu 1500 qdisc fq_codel state UP mode DEFAULT group default qlen 1000 link/ether 4c:ed:fb:72:a1:36 brd ff:ff:ff:ff:ff:ff3: wlp5s0: mtu 1500 qdisc noqueue state UP .. 공감수 0 댓글수 0 2024. 7. 15.
  • [Data Engineering-3] Crontab 로그 주기별 삭제 https://mingsigi.tistory.com/entry/Linux-1-Crontab-%EB%82%A0%EC%A7%9C%EB%B3%84-%EB%A1%9C%EA%B7%B8-%EC%83%9D%EC%84%B1 [Linux-1] Crontab 날짜별 로그 생성리눅스에서 스케줄러(crontab)로 프로그램을 실행하면서 해당 프로그램 실행 내역에 관한 로그를 생성하고 싶을 경우가 있다. 이 때, 생성되어야 하는 로그는 *_YYYY-mm_dd.log와 같은 패턴을 지니게mingsigi.tistory.com이전에 생성한 날짜별 로그를 일정 기간까지만 유지하고 나머지를 지우고 싶을 때, 다음과 같이 설정한다. * 크론탭 로그 예시0 7 * * * /home/user/DelLogControl.sh* DelLogCon.. 공감수 0 댓글수 0 2024. 7. 15.
  • [Data Engineering-2] Crontab 날짜별 로그 생성 리눅스에서 스케줄러(crontab)로 프로그램을 실행하면서 해당 프로그램 실행 내역에 관한 로그를 생성하고 싶을 경우가 있다.이 때, 생성되어야 하는 로그는 *_YYYY-mm_dd.log와 같은 패턴을 지니게 하고자 한다. ########### Crontab*/50 * * * * /home/user/CrontabScheduler.sh########## 쉘 스크립트#!/bin/bash/home/user/log_test.py >> /home/user/logs/logResut_$(date "+%Y-%m-%d").log 공감수 1 댓글수 0 2024. 7. 15.
  • [Data Engineering-1] Toy level test (KAFKA-Flink pipeline) Apache Flink를 사용해볼 일이 생겨 pipeline 구현에 대한 감을 잡기 위해 작업을 수행하였다.관련 내용을 정리해본다.# Test Environment## OS: Windows 11 pro## VM: WSL2 가상환경(이하 wsl)에서 Ubuntu를 구동하기 위해 Windows powerShell에서 다음 명령어를 수행하여 Ubuntu 설치wsl --install# Install Ubuntu through this command, version is 22.04.3 LTS at the test가상환경 초기화가 필요한 경우 다음을 참고 -> https://webnautes.tistory.com/2013Pipeline 구성요소 (DB, Message broker, data processing to.. 공감수 0 댓글수 0 2024. 7. 11.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.