반응형 개발 일기32 Spring Batch Insert 어떻게 해결했을까 대용량의 데이터를 DB에 넣어야 하는 일이 발생했다. 한 파일당 약 3만줄의 데이터를 파싱해서 20개의 테이블에 나눠 저장을 하였다. 파일은 모두 90개였던 것으로 기억한다. (전체 저장 데이터가 5G정도 나왔었다.) 다 저장해보니 용량이 어마무시했던 기억이 있는데, 지금은 사용하지 않아 없어졌다. 하지만 Spring Batch Insert를 도전했던 좋은 추억이라 (^^) 기록을 해보려 한다. JdbcTemplate Bulk Insert 활용기 기본 사용 방법 bulk insert를 위해 batchUpdate() 함수를 사용하였다. 기본 사용 방법은 아래와 같다. @RequiredArgsConstructor public class SampleJdbcTemplateRepository { private f.. 2022. 8. 11. ELK Security 설정 유용한 참고자료 security 적용 기본(username + password) security api key 적용 elasticsearch 무료버전인 basic license에서 security 기능은 api-key 관리 기능까지 제공을 한다. 참고 이에 맞는 elk security 설정을 정리해 보았다. 1. config 파일 설정 elk를 설치한 후에는 자동으로 elastic이라는 username이 생성되는 것 같다. elasitc은 superuser 권한으로 모든 인덱스 및 데이터를 포함하여 클러스터에 대한 전체 액세스 권한을 부여한다. 참고 logstash나 kibana를 설정할 때, 다른 user를 만들어 설정할 수 있을 것 같지만 우선 elastic을 사용하여 설정하였다. 1-1. docke.. 2022. 8. 11. ELK query 사용 정리 설정 java heap memory 늘리기 service: elasticsearch: ... environment: EX_JAVA_OPTS: "-Xmx8G -Xms4G" 최대 8G/최소4G로 수정 $vi docker-elk/docker-compose.yml elasticsearch 기본 최대 조회 개수 1만개 -> 현재 10만개로 변경 PUT your_index_name/_settings { "max_result_window" : 500000 } 참고 kibana에서 실행시 timeout이 걸려 postman에서 실행하는게 좋음 (설정에서 timeout을 변경할 수 있지만 어느정도 걸리는지 확인이 되지 않아.. ) 기본 주소 localhost:9200/index_name/_search body - row.. 2022. 8. 11. DOCKER에서 ELK 설치 및 사용하기 유용한 참고자료들 Elastic 가이드북(한글) centos에 docker 설치(docker-docs) linux에 docker-compse 설치 docker-conpose 명령어 정리 dokcer-elk git elk config 수정 정리 logstash - jdbc 연결 참고 자료 logstash - jdbc docs 1. Docker 설치 docs를 참고하여 설치 docker를 이미 설치했고 사용하고 있는 상태라면 삭제 X 2. docker-compose 설치 docker-compose docs를 참고하여 설치 3. docker-elk 설치 docker-elk 설치를 원하는 위치로 이동 후 아래 명령어 실행 $ git clone https://github.com/deviantony/docker-e.. 2022. 8. 11. Spring에서 외부 API 호출하기 3 (WebClient 활용) 활용 그.래.서 대-충 webClient를 사용하는 방법은 알았고, 그 후엔 어떻게 하면 효율적으로 사용할 수 있는지 계속 고민을 하였었다. *(효율적이라 쓰고 귀찮아서 어떻게 하면 한번에 처리할 수 있을까 머리 굴린거라고 읽는.. )* 대략적인 상황은 이랬었다. 약 20개의 각기 다른 api를 호출. 각 Response는 당연히 다르다. (같은 것도 있긴 했다.) 외부 api에서 서버에러가 발생하는 경우(http status가 40x, 50x로 오는 경우) response가 정해진 형식으로 도착한다. 그 외 예상하지 못한 오류가 발생하면 그냥 에러로 넘어온다. 어떤 api는 상태를 기다렸다가 다시 재 조회를 하여 로직을 처리해야한다. 처음에는 무작정 20개의 api들을 다 따로 처리하였었다. (원래 프.. 2022. 8. 11. Spring에서 외부 API 호출하기 2 (Webclient) spring 5 이상에서는 webclient를 지향한다 하여 프로젝트에서는 webclient를 주로 사용하였다. 원래는 전체적으로 다 쓰고 싶었지만 안되는걸 어떡하나요 webclient를 사용하면서 약간 힘든점이 있었다면 webclient는 webFlux를 사용한다는 것이었다. reactive programming은 너무 미지의 세계였고.. 공부할 것도 많고.. 여러모로 장벽이 느껴졌지만 천천히 공부해 가면서 프로젝트를 진행해보았다. (천천히 해도 됐을지는 모르겠다..^^.. ) WebClient WebClient에 관한 설명이다. Simply put, WebClient is an interface representing the main entry point for performing web reques.. 2022. 8. 11. Spring에서 외부 API 호출하기 1 (RestTemplate) 프로젝트에서 외부 api를 이용하여 로직을 짜는 부분을 맡게 되었다. Spring에서 외부 api를 호출하기 위해서는 RestTemplate이나 Webclient를 사용한다고 하여 관련 자료를 찾아보고 적용해 보았다. 사실 처음에는 webClient만을 사용하다가, 안되는 기능이 있어 restTemplate도 같이 사용하게 되었다... 프로젝트를 진행하면서 새롭게 알게 된 사실이나 정리할 부분이 많아 이를 한번 정리해 보았다. RestTemplate restTemplate은 Spring 3부터 지원된 api로, api를 호출한 후 응답을 받을 때 까지 기다리는 동기 방식이다. spring5 버전부터는 restTemplate보다 webClient를 사용하라고 권고 하고 있다. NOTE: As of 5.0 .. 2022. 8. 11. Fork한 repository 최신으로 동기화 하기 Fork한 repository 최신으로 동기화 하기 1. git remote -v 현재 연결된 remote 확인 -> 내 repository에 있는 원격이어야함! 2. git remote add upstream {원본 repository 주소} 동기화 해오고 싶은 원본 repository 를 upstream 이라는 이름으로 추가한다. 3. git fetch upstream 원본 repository의 최신 내용을 가져온다. 4. git checkout {branch} 원하는 브랜치로 체크아웃 5. git merge upstream/{branch} upstream에 원하는 브랜치를 현재 브랜치로 merge 6. git push 내 repository로 push 2022. 8. 11. ENUM 리팩토링 과정 업무중에 enum을 사용해서 타입을 정한 부분이 있었다. 2020년 12월쯤 짰던 코드 같은데, 만들 당시에도 switch문이 과도하게 들어가고 list에 add를 반복하여 사용하는 등 만족스럽지 못한 코드였다. 물론 그당시에도 enum을 썼었다. 그런데 switch문이.. 2개나.. ㅠㅠ.. 이번에 다시 이 기능을 손보며 불만족 스러운 코드를 바꿔보았다. 기존코드 기존 코드를 그대로 가져올 수 없어서 enum 의 대표 예제인 계산기와 내 코드에서 발생한 문제를 조합하여 예시를 만들어보았다. 계산기를 기본과 공학용으로 나눠 BASIC타입에는 덧셈, 뺄셈 ENGINEERING에는 덧셈, 뺄셈, 곱셈, 나눗셈이 있도록 만들었다. 각 계산의 기호도 베이직과 공학용으로 나눠 넣었다. 기본형식에는 곱셈과 나눗셈이.. 2022. 8. 10. JPA OneToOne 관계인데 2개가 저장됨 구독플랫폼 프로젝트 회원가입/수정 부분을 진행하는 중이었다. 회원가입을 먼저 진행하여 User를 생성하였고, 그 후에 Customer에 필요한 정보를 넣어 생성하거나 수정하는 로직을 만들었다. 간단한 insert니까 빨리 끝낼 수 있을 줄 알았다. 나의 경기도 오산이었다... OneToOne관계니까 당연히 1개만 저장될 줄 알았는데 혹시 몰라 한번 더 눌러보니 2개가 저장되는 일이 발생하였다. 뭐가 잘못이지? CaseCade, Fetch, Transactional 모두 수정해 보았지만 2개보다 더 많이 저장되는 경우도 발생해버렸다 ^^.. 혹시나 하는 마음에 생성된 테이블을 보니.. Customer 테이블에 user_id FK에 유니크 설정이 되어있지 않았다!!! 그러니 2개고 3개고 막 들어가는 일이 .. 2022. 8. 10. 이전 1 2 3 4 다음 반응형