...
- s3fsOperator
- 용도: boto3 가 아닌 s3fs를 사용해야해서 따로 만듦
- s3fsOperator
- 멱등성 원칙 지키기
- date.today() → ds_nodash, execution_date
- spark Image안에 있던 로직들을 분리
- AS-IS: SparkImage = (s3)backup + (spark)job + (s3)cp + (s3)delete #s3에서 특히 delete 때 fail 나는 경우가 생김
- TO-BE: task 별로 분리
- 강대권
- 반복 작업인 airflow dag를 효율화할까
- 국가별로 확장 가능한 dag는 무엇이 있을까
- 한진욱
- 다음 업무에 쓸 때 스터디 정리 내용 한 번 더 읽어보기
- 이고운
- 설치하고 운영하려면 어떻게 해야할까?(ex k8s)
...