반응형 전체 글183 AirFlow Manual on Docker (3) [ DAG, Directed Acyclic Graph ] DAG는 유향 비순환 그래프 라고 한다. 수많은 꼭짓점과 간선으로 구성된다. 꼭짓점은 Task이고 간선은 Flow 나 Branch 같이 조건에 의한 흐름으로 볼 수 있다. Airflow는 DAG를 정의해고 DAG 통해서 작업을 실행시켜서 작업(Task)을 진행한다. 그러므로 DAG를 잘 다룰 수 있다면 Airflow를 잘 다룰 수 있다고 보면 된다. [ BashOperator ] from airflow.operators.bash_operator import BashOperator from airflow.models import DAG from datetime import datetime, timedelta args = { 'owner': 'airf.. 2020. 12. 22. AirFlow Manual on Docker (2) [ Airflow 용어 정리 ] Airflow를 이해하기 위해서는 아래와 같은 용어들을 잘 이해하고 있어야 한다. 그 중에 DAG와 Task 그리고 Operator를 이해하면 거의 다 이해했다고 보면 된다. DAG는 Airflow에서 동작하는 워크플로우라고 보면 된다. DAG 안에는 여러개의 Task가 있고 각각의 Task가 조건에 따라 순서대로 동작된다. Task 안에는 Operator가 있고 Operator에 따라 Bash shell, Python, DB 등으로 명령을 할 수 있다. 용어 내용 DAG : 유향 비순환 그래프 Directed Acyclic Graph. 실행하고 싶은 일(task)들의 실행 순서를 구조화하고 실행 context를 제공 Task Dag 안에 하나의 일(Task)의 단위 Ta.. 2020. 12. 21. AirFlow Manual on Docker (1) [ 도커 이미지 버전 ] 도커는 가상머신을 지원한다. 여러 OS를 VM으로 올리지 않고 서비스만 올려서 사용할 수 있기 때문에 테스트할 때나 서비스 운영 할 때 많이 사용된다. 다양한 환경을 지원하기 위해 도커 이미지는 버전 또한 다양한다. 다양한 버전 중에 stretch나 buster를 받아서 사용하는 것이 편리하다. 작은 용량으로 사용하기 위함이 아니라면 굳이 다른 버전을 쓸 이유는 없을 것 같다. URL : hub.docker.com/_/python - buster : 데비안 릴리즈(10.4) 코드명 - slim-buster : 최소 패키지로 문제 발생 가능성 높음 - stretch : 데비안 릴리즈(9) 코드명 - bookworm & bullseye : 비안정적 버전, 사용X - slim-stre.. 2020. 12. 20. 이전 1 ··· 31 32 33 34 35 36 37 ··· 61 다음 반응형
