Page tree
Skip to end of metadata
Go to start of metadata

개요

워크폴로우 관리툴로 Airflow는 널리 사용되고 있습니다. 

이 스터디는 airflow 2.0을 함께 공부하며, 방법으로는 책/인터넷 강의의 내용을 공유합니다. 

스터디 시간

 22/4/13 ~ 6/29 (3개월)

  • 매주 월요일 8시

컨텐츠 

유데미 강의

공식 문서

스터디원

진행 방법

  • 한 명씩 돌아가며 주제를 정하고 화면 공유를 통해 사례를 보여 주거나, 서비스를 클라우드에 올려서 함께 실습해 봅니다.
  • 주제 예시
    • 새로운 DAG 작성법인 Taskflow API에 익숙해지기
    • 특정 상황을 정해서 어떤 구성이 가장 좋은지 논의
      • Spark Job은 어떤 식으로 돌리는 게 좋을까?
      • SparkJDBCOperator vs Kubernetes Operator vs SparkSqlOperator vs SparkSubmitOperator
    • 에러 상황 시 분기 처리는 어떻게 하는 게 좋을까?

예상 결과물

Airflow 2.0의 새로운 문법 학습과 상황별 사례 정리

진행 과정

일단은 매주 1장씩 하는걸로 적어놨어요.. 진행하면서 조율해봐요 ㅎ

주차

날짜

분량 (개략적으로 적었습니다. 매번 논의해 수정합니다.)

담당자

1주차4/18자기소개, 스터디 진행 방식 공유, 1/2장김학건
2주차4/253장: Airflow의 스케줄링
3주차5/2

4장: Airflow 콘텍스트를 사용하여 태스크 템플릿 작업하기

5장: 태스크 간 의존성 정의하기

4주차5/166장: 워크 플로우 트리거
5주차5/237장: 외부 시스템과 통신하기pass
6주차5/308장: 커스텀 컴포넌트 빌드
7주차6/69장: 테스트하기
8주차6/1310장: 컨테이너에서 태스크 실행하기
9주차6/2011장: 모범 사례
10주차6/27마무리
  • No labels

3 Comments

  1. 안녕하세요 오늘 OT 때 이야기한 내용 공유합니다.

    • 인원
      • 총 6분 중 4분이 참여하셨고, airflow 경험은 아래와 같습니다.
        • 처음 : 1분 → 대용량 파이프라인 구축에 관심
        • 사용 : 2분 → 파이프라인 고도화하고 싶음, 경험은 했지만 더 알고 싶음
        • 구축 : 1분 → 대용량 파이프라인 구축에 관심
    • 진행 방식
      • 자유롭게 정하기로 했습니다 (일단 책은 모두 구매하기로 했어요)
      • 다음 시간까지 제가 airflow hello world 를 준비하기로 했어요
    • 시간
      • 2달 뿐이 없어서, 일단 매주 월요일 8시에 진행하기로 했습니다.
    • 장소
      • 온라인 위주
      • 가끔 오프라인 선릉에서 모이기
    • 실습 방식
      • docker-compose로 로컬에서 구성하거나
      • cloud로 동일한 환경으로 사용 → 과금은 회비에서

    오늘 참석 못하신 분들도 단톡방에서 의견 공유 부탁드려요 ㅎ


  2. 2개 주제를 선택한 탓에 OT 참석을 못했었습니다. 

    저는 "사용" 레벨에 해당합니다. 책도 구매한 상태이구요

    가끔 선릉에서 모였으면 하네요 ㅎ

    1. 안녕하세요 반갑습니다 ㅎ

      스터디 기간이 2달로 짧아서, 자세한 사항은 다음주 월요일에 다시 논의하기로 했어요

      (월요일은 airflow 설치하는 방법과  간단한 사용법 설명하려고 합니다)