spark 초심

2025/02/19

spark의 pandas-udf 를 쪼물쪼물하고 있다.

다시 초심으로 돌아가면...

oozie를 발사기로 쓰는 것은 시름. 취존.
에어플로우 - 프락시 (때로 MQ) - 쉘 발사 - 로깅 백리턴이 적절함
yarn logs 잊지 말자
deploy-mode=client 로 로그를 먼저 보자. cluster는 안 보인다.
dag view는 딸깍딸깍 잘 도네 정도다.

글쓴이 dawnsea · 지식