개요
워크폴로우 관리툴로 Airflow는 널리 사용되고 있습니다.
이 스터디는 airflow 2.0을 함께 공부하며, 방법으로는 책/인터넷 강의의 내용을 공유합니다.
스터디 시간
22/4/13 ~ 6/29 (3개월)
컨텐츠 (후보)
책
- Apache Airflow 기반의 데이터 파이프라인 - 에어플로 중심의 워크플로 구축에서 커스텀 컴포넌트 개발 및 배포, 관리까지 : https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=290091682
유데미 강의
(4.2/ 2,539/ 9h)Apache Airflow on AWS EKS: The Hands-On Guide : https://www.udemy.com/course/apache-airflow-on-aws-eks-the-hands-on-guide/
- (4.6/ 27,971/ 6h)The Complete Hands-On Introduction to Apache Airflow : https://www.udemy.com/course/the-complete-hands-on-course-to-master-apache-airflow/
(4.6/ 14,705/ 14h)Apache Airflow: The Hands-On Guide : https://www.udemy.com/course/the-ultimate-hands-on-course-to-master-apache-airflow/
공식 문서
스터디원
진행 방법
- 한 명씩 돌아가며 주제를 정하고 화면 공유를 통해 사례를 보여 주거나, 서비스를 클라우드에 올려서 함께 실습해 봅니다.
- 주제 예시
- 새로운 DAG 작성법인 Taskflow API에 익숙해지기
- 특정 상황을 정해서 어떤 구성이 가장 좋은지 논의
- Spark Job은 어떤 식으로 돌리는 게 좋을까?
- SparkJDBCOperator vs Kubernetes Operator vs SparkSqlOperator vs SparkSubmitOperator
- 에러 상황 시 분기 처리는 어떻게 하는 게 좋을까?
예상 결과물
Airflow 2.0의 새로운 문법 학습과 상황별 사례 정리
진행 과정
주차 | 날짜 | 분량 (개략적으로 적었습니다. 매번 논의해 수정합니다.) | 담당자 |
---|---|---|---|
1주차 | |||
2주차 | |||
3주차 | |||
4주차 | |||
5주차 | |||
6주차 | |||
7주차 | |||
8주차 |