TIL - 20241122

Kubernetes PodOperator로 수행한 Spark local 모드 수행 모니터링

spark local 모드로 수행하는 경우 4040 포트로 history 로그를 볼 수 있는 웹서버가 뜨게 된다.

그래서 이걸 보기 위해서는 Pod를 띄울 때 4040 포트를 접근할 수 있도록 port 정보를 추가해서 잡을 제출하고 kubectl port-forward 명령어를 사용해서 로컬에서 접근할 수 있도록 하고 해당 주소로 접근해서 잘 동작하는지 확인하면 된다.

물론 이렇게하지 않더라도 spark.eventLog.dir 설정을 적용해서 로그를 리모트 저장소에 저장할 수 있게 하고 historical 서버가 해당 경로를 바라도록 하면 port-forward 를 사용하지 않더라도 조회할 수 있다.