Troubleshooting
실제 운영 환경에서 발생한 문제를 해결한 경험들입니다.
MySQL 컬럼의 타입을 bigint에서 varchar로 변경했더니 8배나 느려졌어요...! : 프로시저 성능 저하 트러블 슈팅
들어가며 안녕하세요. 프롭테크 플랫폼에서 백엔드 개발자로 근무 중인 3년차 백엔드 개발자 정정일입니다. 오늘은 저희 서비스에서 발생한 흥미로운 성능 이슈와 해결 과정을 공유하려고 합니다. MySQL 프로시저 하나가 갑자기 8배나 느려진 문제를 해결하면서, DB에 존재하는 다양한 문제들을 직면하게 됐는데요. 읽고 계신 분들도 문제를 따라가며 원인이 뭔지 추측...
2025년 10월 20일
DB Replication 복제 지연 해결
이번에 회사에서 직면했던 복제지연 문제에 관한 내용을 공유하고자 글을 남깁니다. 문제 발생 저희 회사에서는 database replication을 통해 부하를 분산하여 성능을 높히는 방식을 사용하고 있습니다. 시스템은 Master-Slave 구조의 Active-Active 이중화로 구성되어 있으며, ProxySQL을 통해 SELECT 문은 Slave로, I...
2024년 11월 15일
[트러블슈팅] QueryDSL StackOverflowError 탐방기
이번에 회사에서 직면했던 Querydsl StackOverflow에 관한 내용을 공유하고자 글을 남깁니다. 문제 발생 오늘도 어김없이 문제는 Slack 메시지로부터 시작합니다. 메시지를 받자마자 어라? 라는 반응을 할 수밖에 없었습니다. StackOverflow? 서버에 재귀식으로 구현된 코드가 있었던가? StackOverflow란 여러분들 모두 잘 알고 ...
2024년 3월 15일
[트러블슈팅] Kubernetes Pod Scale In 과정에서 실패한 Graceful Shutdown, 소실된 비동기 로직 탐색 여정
이번에 회사에서 직면했던 실패한 Graceful Shotdown에 관한 내용을 공유하고자 글을 남깁니다. 문제 발생 평소에는 예외상황이나 문제상황들을 Slack으로 많이 접하는 편인데요. 오늘은 평소와 다르게 문제를 접하게 됐습니다. 이번 문제는 백오피스 사용자의 문의로부터 시작됩니다. “데이터가 하나가 안맞는 거 같아요…!” 바로 부랴부랴 데이터를 확인해...
2024년 2월 9일
[트러블슈팅] JPA, Mybatis 동시 사용시 발생할 수 있는 HikariCP Dead lock 해결 여정 ( feat.OSIV )
이번에 회사에서 직면했던 관련 HikariCP Dead lock 문제에 대해 공유하고자 글을 남깁니다. 문제 발생 오늘도 어김없이 문제인지는 Slack 메세지로부터 시작합니다. Stack trace 중 일부 발췌 Caused by: org.apache.ibatis.exceptions.PersistenceException: ###Error querying d...
2024년 1월 9일
Spring batch job 동시 등록 Deadlock 문제 직면 ( Deadlock accessing creating a job on sqlserver when multiple jobs start at once )
이번에 제가 회사에서 직면했던 Spring batch 관련 문제에 대해 공유하고자 글을 남깁니다. 문제 발생 해당 문제는 에러 Slack 메세지로부터 시작됩니다. 회사 Batch 서버에서 Deadlock이 발생했다는 Stack trace였습니다. 당연하게도 Deadlock은 서비스에 심각한 영향을 줄 수 있었기 때문에 지체없이 문제를 파악하기 시작했고 로그...
2023년 11월 20일