개발일기장 개발일기장

ElasticSearch Docker 이미지를 OS, JDK 및 ElasticSearch의 사용자 Config 로 셋팅 하는 방법과 Docker Hub에 Public 하게 업로드 하는 방법입니다. ( 저는 ubuntu 장비에서 Docker 설치 후에 작업하였고, 다음 포스팅에서 해당 업로드된 도커 이미지를 Kubernetes의 StatefulSet 을 통해 Cluster 환경 구축하는 내용 업로드 예정이에요. ) #이미지 runtime 환경 ubuntu-18.04 jdk-8u191 elasticsearch-6.4.3 1. 작업 디렉토리 및 파일 셋팅 기본적으로 jdk와 elasticsearch 그리고 config는 미리 디렉토리에 옮겨 놓습니다. 2. 도커 파일 생성 Dockerfile 내에 아래와 같이..

Logstash에서 json 포맷의 로그파일 input으로, Elasticsearch에 ouput 시키기 0. log 파일 내용{"id":"1", "hashtag" : "해시테그1"}{"id":"2", "hashtag" : "해시테그2"}{"id":"3", "hashtag" : "해시테그3"},,,,, 1. Logstash 설정 파일 (eg, logstash-backpack-hashtag.conf) input { file { path => "/usr/local/nodejs/backpack/logs/backpack-api-posting.log" // 로그 파일 경오 start_position => "beginning" // 시작점 부터 읽어 드리는 옵션 }} filter{ json { source => "..

Logstash 6.x Multi instance Logstash 2개 이상의 instance를 실행하려 하면 다음과 같은 익셉션이 나온다. Logstash could not be started because there is already another instance using the configured data directory. If you wish to run multiple instances, you must change the "path.data" setting. 이에 대한 해결법은 1. 기존 폴더 (logstash-hashtag) 복사>> cp -R logstash-hashtag logstash-posting 2. 각각 폴더 별로 /conf/logstash.yml 내의 path 데이터에 폴더..