반응형 elk5 ELK - POSTGRES to LOGSTASH postgres 데이터를 logstash를 이용해 elasticsearch에 저장하는 방법은 여기에 있지만, 그 후에 더 추가해서 사용한 방법이 있어 따로 정리해보았다. 우선, 아래와 같은 conf 파일을 logstash에서 기본적으로 사용한다고 가정한다. # cd logstash/pipeline # vi {이름}.conf input { jdbc { jdbc_connection_string => "jdbc:postgresql://{IP}:{PORT}/{DATABASE}" jdbc_user => "{USER}" jdbc_password => "{PASSWORD}" jdbc_driver_class => "org.postgresql.Driver" jdbc_driver_library => "/usr/share/.. 2022. 8. 11. Spring-Elasticsearch 연동 2 - Query Builder 유용한 참고자료 Java High Level Rest Client 사용 정리 guide 1. 기본 사용법 Spring Elasticsearch 연동 1과 같이 설정을 완료하였다면, 바로 호출해서 사용가능하다. @Service @RequiredArgsConstructor public class ElasticsearchService { private final RestHighLevelClient client; private static final String INDEX = "my_index"; public SearchResponse sampleQuery() throws IOException { SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilde.. 2022. 8. 11. ELK Security 설정 유용한 참고자료 security 적용 기본(username + password) security api key 적용 elasticsearch 무료버전인 basic license에서 security 기능은 api-key 관리 기능까지 제공을 한다. 참고 이에 맞는 elk security 설정을 정리해 보았다. 1. config 파일 설정 elk를 설치한 후에는 자동으로 elastic이라는 username이 생성되는 것 같다. elasitc은 superuser 권한으로 모든 인덱스 및 데이터를 포함하여 클러스터에 대한 전체 액세스 권한을 부여한다. 참고 logstash나 kibana를 설정할 때, 다른 user를 만들어 설정할 수 있을 것 같지만 우선 elastic을 사용하여 설정하였다. 1-1. docke.. 2022. 8. 11. ELK query 사용 정리 설정 java heap memory 늘리기 service: elasticsearch: ... environment: EX_JAVA_OPTS: "-Xmx8G -Xms4G" 최대 8G/최소4G로 수정 $vi docker-elk/docker-compose.yml elasticsearch 기본 최대 조회 개수 1만개 -> 현재 10만개로 변경 PUT your_index_name/_settings { "max_result_window" : 500000 } 참고 kibana에서 실행시 timeout이 걸려 postman에서 실행하는게 좋음 (설정에서 timeout을 변경할 수 있지만 어느정도 걸리는지 확인이 되지 않아.. ) 기본 주소 localhost:9200/index_name/_search body - row.. 2022. 8. 11. DOCKER에서 ELK 설치 및 사용하기 유용한 참고자료들 Elastic 가이드북(한글) centos에 docker 설치(docker-docs) linux에 docker-compse 설치 docker-conpose 명령어 정리 dokcer-elk git elk config 수정 정리 logstash - jdbc 연결 참고 자료 logstash - jdbc docs 1. Docker 설치 docs를 참고하여 설치 docker를 이미 설치했고 사용하고 있는 상태라면 삭제 X 2. docker-compose 설치 docker-compose docs를 참고하여 설치 3. docker-elk 설치 docker-elk 설치를 원하는 위치로 이동 후 아래 명령어 실행 $ git clone https://github.com/deviantony/docker-e.. 2022. 8. 11. 이전 1 다음 반응형