반응형 분류 전체보기43 특정 API만 Swagger에 노출 현재 프로젝트에 개발 서버가 2대가 있는데, 이 중 한 서버에서는 특정 API 만 swagger에 노출 해야 하는 문제가 발생하였다. swagger를 설정 할 때, basepackage를 지정해서 사용하는 방법도 있지만, 그럼 컨트롤러에 있는 모든 API가 노출되기도 하고...별로인 부분이 있어 그보다 좀더 커스텀하게..? 사용 할 수 있는 방법을 찾아 적용해 보았다. Profile 설정 아래와 같이 profile을 만들고 각 서버에 맞는 profile에 include 시켜주었다. (파일을 만들지 않고 바로 넣는것도 가능한...!) 특정 API만 노출해야하는 서버라면 true, 전체 노출 하는 서버라면 false로 지정해준다. application-dev-open.yml swagger: is-open: .. 2022. 8. 11. Spring-Elasticsearch 연동 2 - Query Builder 유용한 참고자료 Java High Level Rest Client 사용 정리 guide 1. 기본 사용법 Spring Elasticsearch 연동 1과 같이 설정을 완료하였다면, 바로 호출해서 사용가능하다. @Service @RequiredArgsConstructor public class ElasticsearchService { private final RestHighLevelClient client; private static final String INDEX = "my_index"; public SearchResponse sampleQuery() throws IOException { SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilde.. 2022. 8. 11. Spring-Elasticsearch 연동 1- Spring 설정 유용한 참고자료 elasticsearch java builder 모음 spring-data-elasitcsearch VS rest-high-level-client 기본 설정 의존성 추가 implementation 'org.springframework.boot:spring-boot-starter-data-elasticsearch' compile 'org.elasticsearch.client:elasticsearch-rest-high-level-client:7.15.0' compile 'org.elasticsearch.client:elasticsearch-rest-client:7.15.0' compile 'org.elasticsearch:elasticsearch:7.15.0' elasticsearch버전에 .. 2022. 8. 11. Spring Batch Insert 어떻게 해결했을까 대용량의 데이터를 DB에 넣어야 하는 일이 발생했다. 한 파일당 약 3만줄의 데이터를 파싱해서 20개의 테이블에 나눠 저장을 하였다. 파일은 모두 90개였던 것으로 기억한다. (전체 저장 데이터가 5G정도 나왔었다.) 다 저장해보니 용량이 어마무시했던 기억이 있는데, 지금은 사용하지 않아 없어졌다. 하지만 Spring Batch Insert를 도전했던 좋은 추억이라 (^^) 기록을 해보려 한다. JdbcTemplate Bulk Insert 활용기 기본 사용 방법 bulk insert를 위해 batchUpdate() 함수를 사용하였다. 기본 사용 방법은 아래와 같다. @RequiredArgsConstructor public class SampleJdbcTemplateRepository { private f.. 2022. 8. 11. ELK Security 설정 유용한 참고자료 security 적용 기본(username + password) security api key 적용 elasticsearch 무료버전인 basic license에서 security 기능은 api-key 관리 기능까지 제공을 한다. 참고 이에 맞는 elk security 설정을 정리해 보았다. 1. config 파일 설정 elk를 설치한 후에는 자동으로 elastic이라는 username이 생성되는 것 같다. elasitc은 superuser 권한으로 모든 인덱스 및 데이터를 포함하여 클러스터에 대한 전체 액세스 권한을 부여한다. 참고 logstash나 kibana를 설정할 때, 다른 user를 만들어 설정할 수 있을 것 같지만 우선 elastic을 사용하여 설정하였다. 1-1. docke.. 2022. 8. 11. ELK query 사용 정리 설정 java heap memory 늘리기 service: elasticsearch: ... environment: EX_JAVA_OPTS: "-Xmx8G -Xms4G" 최대 8G/최소4G로 수정 $vi docker-elk/docker-compose.yml elasticsearch 기본 최대 조회 개수 1만개 -> 현재 10만개로 변경 PUT your_index_name/_settings { "max_result_window" : 500000 } 참고 kibana에서 실행시 timeout이 걸려 postman에서 실행하는게 좋음 (설정에서 timeout을 변경할 수 있지만 어느정도 걸리는지 확인이 되지 않아.. ) 기본 주소 localhost:9200/index_name/_search body - row.. 2022. 8. 11. DOCKER에서 ELK 설치 및 사용하기 유용한 참고자료들 Elastic 가이드북(한글) centos에 docker 설치(docker-docs) linux에 docker-compse 설치 docker-conpose 명령어 정리 dokcer-elk git elk config 수정 정리 logstash - jdbc 연결 참고 자료 logstash - jdbc docs 1. Docker 설치 docs를 참고하여 설치 docker를 이미 설치했고 사용하고 있는 상태라면 삭제 X 2. docker-compose 설치 docker-compose docs를 참고하여 설치 3. docker-elk 설치 docker-elk 설치를 원하는 위치로 이동 후 아래 명령어 실행 $ git clone https://github.com/deviantony/docker-e.. 2022. 8. 11. Spring에서 외부 API 호출하기 3 (WebClient 활용) 활용 그.래.서 대-충 webClient를 사용하는 방법은 알았고, 그 후엔 어떻게 하면 효율적으로 사용할 수 있는지 계속 고민을 하였었다. *(효율적이라 쓰고 귀찮아서 어떻게 하면 한번에 처리할 수 있을까 머리 굴린거라고 읽는.. )* 대략적인 상황은 이랬었다. 약 20개의 각기 다른 api를 호출. 각 Response는 당연히 다르다. (같은 것도 있긴 했다.) 외부 api에서 서버에러가 발생하는 경우(http status가 40x, 50x로 오는 경우) response가 정해진 형식으로 도착한다. 그 외 예상하지 못한 오류가 발생하면 그냥 에러로 넘어온다. 어떤 api는 상태를 기다렸다가 다시 재 조회를 하여 로직을 처리해야한다. 처음에는 무작정 20개의 api들을 다 따로 처리하였었다. (원래 프.. 2022. 8. 11. Spring에서 외부 API 호출하기 2 (Webclient) spring 5 이상에서는 webclient를 지향한다 하여 프로젝트에서는 webclient를 주로 사용하였다. 원래는 전체적으로 다 쓰고 싶었지만 안되는걸 어떡하나요 webclient를 사용하면서 약간 힘든점이 있었다면 webclient는 webFlux를 사용한다는 것이었다. reactive programming은 너무 미지의 세계였고.. 공부할 것도 많고.. 여러모로 장벽이 느껴졌지만 천천히 공부해 가면서 프로젝트를 진행해보았다. (천천히 해도 됐을지는 모르겠다..^^.. ) WebClient WebClient에 관한 설명이다. Simply put, WebClient is an interface representing the main entry point for performing web reques.. 2022. 8. 11. Spring에서 외부 API 호출하기 1 (RestTemplate) 프로젝트에서 외부 api를 이용하여 로직을 짜는 부분을 맡게 되었다. Spring에서 외부 api를 호출하기 위해서는 RestTemplate이나 Webclient를 사용한다고 하여 관련 자료를 찾아보고 적용해 보았다. 사실 처음에는 webClient만을 사용하다가, 안되는 기능이 있어 restTemplate도 같이 사용하게 되었다... 프로젝트를 진행하면서 새롭게 알게 된 사실이나 정리할 부분이 많아 이를 한번 정리해 보았다. RestTemplate restTemplate은 Spring 3부터 지원된 api로, api를 호출한 후 응답을 받을 때 까지 기다리는 동기 방식이다. spring5 버전부터는 restTemplate보다 webClient를 사용하라고 권고 하고 있다. NOTE: As of 5.0 .. 2022. 8. 11. 이전 1 2 3 4 5 다음 반응형