Airflow란 무엇이며 언제 어디에 왜 사용하는지에 대하여

Airflow란 무엇인가?

• 배치 작업을 개발, 스케쥴링하고 모니터링 할 수 있는 파이썬 기반의 오픈소스 플랫폼.

왜 Airflow를 사용할까?

• airflow는 파아썬 기반으로 다양한 툴을 연결해서 사용할 수 있는 오케스트레이션 플랫폼이기 때문에 명확한 스케쥴이 정해져있는 배치를 구성할 때 용이하게 이용할 수 있습니다.

Airflow를 사용하기에 적합하지 않은 경우

• airflow는 일정한 주기 혹은 특정 스케줄(스케줄은 얼마든지 변칙적으로 구성할 수 있으므로 반드시 규칙적인 스케줄일 필요는 없다)로 실행 되는 배치를 관리하기 적합한 목적으로 설계되었기 때문에 스트리밍 서비스처럼 무중단 혹은 초 단위 등 아주 짧은 주기로 계속해서 실행되는 작업을 관리하는 것은 적합하지 않습니다.
• 런타임에 파이프라인이 변경될 수 있는 동적 파이프라인을 구성하면 airflow 웹UI 에서는 가장 최근 실행 버전에 대한 정의만 표현하기 때문에 파이프라인 변경 이력을 확인하기 어려워 항상 일관 된 고정 작업 이외에는 airflow 구성에 적합하지 않습니다. 그럼에도 불구하고 그렇게 써야만 하거나 쓰고 싶은 경우에는 불가능한 것은 아니지만 썩 좋은 경험은 아닐 것이다.