Airflow가 2022년 4월 30일 버전 2.3.0을 릴리즈했습니다. 2.0.0 버전 업데이트 이후 가장 큰 변화라고 하는데, 주요 변화 사항을 간단하게 알아보도록 하겠습니다! 🔥 1. Tree뷰의 변화 가장 크게 눈에 띄는 변화입니다. 기존에는 수행별로 Task의 상태만 확인할 수 있었고, 중간에 구별선이 없어서 해당 상태(네모)가 어느 Task의 상태인지 구별하기가 어려웠습니다. 하지만 이것이 Grid View로 변경되면서 어느 Task가 어떤 상태인지 명확하게 확인할 수 있게 되었습니다. 또한 수행 시간이 제공됨으로 실행이 너무 오래 걸리거나, 너무 빨리 끝나는 상황에 대한 이상현상을 좀 더 빠르게 확인할 수 있게 되었습니다! 추가적으로 저 네모를 클릭하여 확인할 수 있는 상세 화면이 기존에는 ..

필자는 개인 프로젝트를 진행하며, Airflow를 통한 워크플로우 자동화를 구축했다. https://github.com/DeepFlame-JR/Stock_and_Forum GitHub - DeepFlame-JR/Stock_and_Forum: 주식 가격과 네이버 종목토론방의 내용을 시간별로 수집 주식 가격과 네이버 종목토론방의 내용을 시간별로 수집. Contribute to DeepFlame-JR/Stock_and_Forum development by creating an account on GitHub. github.com 어느 날, 모든 작업을 수행한 Task가 계속 Running 상태로 남아있었다. 구글링을 해보니, 한 작업에서 많은 리소스를 사용하게 되면 위와 같이 되는 버그가 있는 것을 확인했다...

🤔 문제 상황 # docker-compose.yaml version: '2' services: app01: image: app app02: image: app app03: image: app app04: image: app app05: image: app 위와 같이 같은 이미지에 대해서 다중의 컨테이너를 생성해야할 때, 위와 같은 비효율적인 파일이 생성된다. 만약 이미지별로 많은 설정들이 있다면 더욱더 복잡해질 것이다. 😀 해결 docker-compose up -d --scale app=5 docker-compose 파일을 빌드할 때 설정값을 수정하면 간단히 해결할 수 있다! 필자의 경우, 같은 airflow-worker 이미지에서 복수의 컨테이너를 생성해야해서 사용하게 되었다. 출처 https://st..

Cloud를 공부하다보면 컨테이너/도커/쿠버네티스라는 개념이 자주 등장한다. 간단히 말하면 과거 가상머신의 불편함을 해결하고자 컨테이너와 도커라는 개념이 생겨났고, 컴퓨팅 파워가 늘어나다보니 다수의 도커와 컨테이너를 운영해야하는 상황이 발생하여 쿠버네티스가 생겨났다. 해당 글에서는 이 항목들에 대해서 살펴볼 것이다. 도커와 컨테이너 소프트웨어는 OS와 라이브러리에 의존한다. 따라서 성격이 다른 컴퓨터(OS, 라이브러리 버전이 다름)에서 같은 소프트웨어를 실행할 때 어려움을 느낄 수 있다. Docker는 Container기반의 가상화 플랫폼이다. Docker를 사용하여 Container를 생성할 수 있으며, 같은 Container를 여러 개 생성하는 것도 가능하다. 이렇게 위의 문제를 해결할 수 있는 것이..

하루종일 실행해야할 스크립트가 있어 프로세스를 백그라운드로 돌려야했다. 아래와 같이 nohup을 사용하면 가능하다. nohup python3 MyScript.py & nohup python3 MyScript.py > /dev/null 2>&1 & #표준출력을 설정하지 않을 때 nohup python3 MyScript.py > /tmp/nohup.log 2>&1 & #/tmp/nohup.log로 저장할 때 nohup python3 -u MyScript.py #print한 내용을 로그파일에 포함하고 싶을 때 종료 방법은 아래와 같다. ps -ef | grep 스크립트명 # PID(첫번째로 나오는 숫자) 확인 kill -9 PID # 백프로세스 삭제 좀 더 자세한 내용은 아래를 참고! https://joony..

0. PIP 설치 최초 EC2 사용자들은 PIP를 PIP를 먼저 설치해야 합니다. https://deep-flame.tistory.com/entry/%EC%B5%9C%EC%B4%88-EC2%EC%97%90-PIP-%EC%84%A4%EC%B9%98 최초 EC2에 PIP 설치 EC2 최초 개설 후 PIP 설치시 아래 에러가 나타날 수 있습니다. $ Unable to locate package python3-pip $ Package 'python3-pip' has no installation candidate 그럴때 아래와 같이 시도해보시기 바랍니다. $.. deep-flame.tistory.com 1. Selenium 설치 sudo pip install selenium 2. Google Chrome 설치 아..

EC2 최초 개설 후 PIP 설치시 아래 에러가 나타날 수 있다. $ Unable to locate package python3-pip $ Package 'python3-pip' has no installation candidate 그럴때 아래와 같이 시도해보자. 🤗 $ sudo apt update $ sudo apt upgrade $ sudo apt install python3-pip