본문 바로가기

일상

TIL - 20241112 Airflow backfill 재처리Airflow에서 과거 날짜에 대한 DAG를 재실행하기 위해서는 backfill 명령어를 사용하면 된다.airflow dasg backfill -s [start-date] -e [end-date] -x -y [dag_id]각 옵션별 설명--continue-on-failures: 일부 task가 실패하더라도 backfill 작업을 계속 진행한다--delay-on-limit: max_active_runs 의 수치만큼의 DAG가 실행 중일 때 대기하는 시간초를 의미한다.--disable-retry: task가 실패했을 때 재시도를 하지 않고 실패 상태로 둔다-x: DAG 설정을 pickling해서 전달하는 것이 아니라 worker 자체에 있는 코드를 기준으로 실행한다.-n:..
TIL - 20241110 GraalVM 도입으로 JVM 백엔드 애플리케이션의 구동 초기 성능 문제 해결하기기존 JVM에서의 문제점JVM의 경우 JIT 컴파일로 동작하기 때문에 구동 직후의 성능은 매우 나쁘고 시간이 지날수록 프로파일 정보를 활용해서 점점 빨라짐. 그래서 JVM 앱에서는 웜업과정이 있고 Blue/Green 배포 시에 점차적으로 트래픽을 차차 늘려가야지 사용자 입장에서 불편함을 느끼지 않게 됨.다만 이렇게 되는 경우 수동으로 비율을 늘려가야 하는 문제와 배포시에 시간이 매우 오래 걸린다는 문제가 있었음.또한 긴급 상황에서 인스턴스를 급하게 증설해야 하는데, 이런 경우 노드를 많이 투입하는 등의 방식으로 해결할 수도 있긴 하지만 이렇게 되면 웜업이 끝난 후에는 인스턴스의 자원이 놀게되는 이슈가 있음.GraalVM의 등..
TIL - 20241109 카카오 빌링 MySQL DB 샤딩 적용 세션카카오 빌링 시스템의 소개카카오 빌링 시스템은 일종의 마트의 계산대와 같은 역할을 함. 사용자가 선물하기, 쇼핑하기 등에서 결제를 시도하면 해당 서비스에서 빌링 시스템을 호출하고 빌링 시스템은 외부 PG사를 통해서 결제를 수행하며 해당 결제에 대한 내용을 ERP 시스템으로 전송하는 역할을 하고 있음.카카오 빌링의 특성외부 시스템과 연동되는 부분이 많음카드 정보와 같은 민감한 정보가 많음개인정보, 회계, 보안, 망분리 등의 규제 및 감사가 많음강성 CS가 많으며 해당 시스템 장애시 피해가 큼문제점크게 용량 문제와 퍼포먼스/안정성 문제가 있었음.결제 건수가 지속적으로 증가하면서 해당 데이터가 빌링 DB에 적재되는데 쌓이는 속도가 데이터를 삭제하는 속도보다 훨씬 빨라..
TIL - 20241108 다른 namespace의 service를 Ingress에서 연결하는 방법ExternalName을 활용하면 사용할 수 있음kind: ServiceapiVersion: v1metadata: namespace: ingress-nginx name: svc-1spec: type: ExternalName externalName: ..svc.cluster.localIngress가 svc-1 을 바라보도록 설정하면 됨
TIL - 20241107 keycloakRedhat에서 개발한 오픈소스 로그인 및 액세스 관리 솔루션.SSO를 지원하기 때문에 개별 앱에서 로그인 기능 및 회원가입 등의 기능을 직접 구현할 필요가 없음또한 여러 로그인과 관련된 프로토콜을 지원함 (OpenID, OAuth 2.0, SAML)  관련 링크: https://www.keycloak.org/
Codeforces 규정위반 기말 시험까지 끝나고 나서 Codeforces 대회를 계속 신청했었다. 다만 대회를 신청해놓고 까먹어서 2시간 시험 중에 1시간이 지난 다음에 기억해내고 참여해서 모든 문제를 확인하지 못하고 끝나는 경우가 많았다. 그리고 오랫동안 알고리즘 문제를 풀지 않아서 아이디어가 바로 떠오르지 않는 것도 하나의 원인이었다. 그래서 내 점수는 계속 하락하고 있었다. 나의 경우 보통 알고리즘 문제를 풀 때 ideone.com 이라는 온라인 컴파일러 환경을 많이 사용한다. 이유는 input을 텍스트 상자에 바로 입력해서 실행할 수 있어서 결과를 확인하기도 편하고 Visual Studio 와 같이 문제를 풀기 위해서 환경을 구축할 필요가 없다는 장점이 있기 때문이다. 이 글은 일요일인 12월 29일에 있었던 "Good B..
2020 카카오 신입 개발자 공채 1차 면접 후기 및 결과 1차 면접의 경우 이틀에 나누어서 진행되었으며 개인 별로 면접 일정을 메일로 알려주었습니다. 원래는 월요일 3시 45분으로 잡혀 있어 수업시간으로 인해 참석하기 어려웠었습니다. 내년을 기약해야겠다고 생각하고 불참 메일을 보냈었는데, 카카오에서 전화로 연락이 와서 면접 시간을 바꿀 수 있었습니다. 면접 장소는 판교에 있는 카카오 회사에서 진행되었습니다. 오전 9시 50분 면접이라 일찍 출발했었는데 역시 사당 쪽과 강남 쪽이 사람이 많긴 했습니다. 신분당선역 덕분에 좀 더 쾌적하게 갈 수 있었습니다. 카카오에 가보니 회전문에 카카오의 캐릭터가 그려진 것을 볼 수 있었습니다. Nexon과 NHN과 같은 회사는 건물에 회사 로고를 표시해놓은 것과는 달랐습니다. (물론 제가 로고를 찾지 못했던 것일 수도 있습니다..
2020 카카오 신입 개발자 공채 오프라인 코딩테스트 후기 및 결과 9월 21일 토요일 날 카카오 오프라인 코딩 테스트에 참여했던 것에 대한 후기와 결과입니다. 해당 테스트의 경우 판교에 있는 경기 창조경제 혁신센터에서 진행이 되었으며 횡단보도에서부터 안내해주는 사람이 서 계셨습니다. 그래서 시험장에 들어갈 때는 신분증으로 신원을 확인한 다음 명찰을 나누어주고 지정된 좌석에 앉도록 되어있었습니다. 자리에는 기본적으로 빵을 비롯한 과자, 볼펜, 공책이 놓여 있었으며 사전에 신청한 사람에 한해 노트북이 설치되어 있었습니다. (추가로 들어보니 일부 사람들은 판교에 있는 카카오 오피스에서 보았다고 합니다.) 그리고 로비에서는 빵과 물, 그리고 스티커들을 가져갈 수 있게 해놓았습니다. 시험 진행은 크게 3 부분으로 나뉘었습니다. 첫 번째 세션 첫 번째 세션에서는 자신이 개발 분야..

티스토리툴바