logstash multi output(elasticseach, exec)

안녕하세요!오늘은 logstash multi output 대하여 알아보겠습니다.  Logstash를 활용한 Multi Output 구성Logstash는 데이터를 수집, 처리, 전송하는 데 최적화된 도구로, 다양한 출력(output)을 지원합니다.Multi Output 기능을 사용하여 데이터를 동시에 여러 출력 대상으로 전송하는 방법을 설명합니다.Elasticsearch와 CSV 파일로 데이터를 전송해 보도록 하겠습니다. 1. Multi Output의 필요성하나의 데이터 소스를 여러 대상으로 전송해야 하는 경우 Multi Output 설정은 필수적입니다.데이터를 Elasticsearch로 전송해 실시간 분석.동시에 데이터를 CSV 파일로 저장해 별도 보고서 작성 또는 장기 보관.Logstash는 조건문을 ..

• format_list_bulleted Elastic Search AI Platform
• · 2024. 11. 19.
• textsms

Logstash exec output으로 파일 이동하기

안녕하세요!오늘은 Logstash exec에 대하여 알아보겠습니다.   Logstash output execlogstash output exec 플러그인은 Logstash에서 외부 스크립트를 실행할 수 있도록 지원합니다.CSV 파일로 저장된 파일을 원격 서버로 자동 전송해보겠습니다.SSH 키 설정, Logstash의 exec 플러그인 활용, 파일 전송 스크립트를 사용하였습니다   구성 요소SSH 키 기반 인증: 원격 서버에 비밀번호 없이 접속 설정.Logstash Exec Output: 조건 충족 시 외부 스크립트를 실행.SCP 스크립트: CSV 데이터를 원격 서버로 전송.   1. SSH 키 생성 및 설정1.1 SSH란?SSH(Secure Shell)는 네트워크를 통해 원격 서버와 안전하게 통신할 수 ..

• format_list_bulleted Elastic Search AI Platform
• · 2024. 11. 18.
• textsms

Logstash Range Filter

안녕하세요!오늘은 로그스태시 Range 필터에 대하여 알아보겠습니다. 1. Range Filterrange 필터는 특정 필드가 예상 크기/길이 범위 내에 있는지 확인하는 데 사용됩니다. 숫자와 문자열이 지원되며, 숫자는 숫자 값 범위 내에 있는지 문자는 문자열의 길이 범위 내에 있는지 확인합니다. 동일한 필드에 두 개 이상의 범위를 지정할 수 있습니다. 필드 값이 지정된 범위 내에 있으면 이벤트 삭제, 태그 추가, 필드 추가 등의 작업이 수행됩니다.   1. range filter install /usr/share/logstash/bin/logstash-plugin install logstash-filter-range  2. optionsnegate기본값은 false이며 유형은 bool 범위 일치 논리를..

• format_list_bulleted Elastic Search AI Platform
• · 2024. 11. 17.
• textsms

Elasticsearch fingerprint 확인 하기

안녕하세요!오늘은 Elasticsearch 설치시 서버 신뢰성 검증에 사용되는 fingerprint에 대하여 알아보겠습니다.  Elasticsearch fingerprintElasticsearch를 처음 설치할 때, 보안을 위해 생성된 HTTP 계층의 CA(Certificate Authority) 인증서의 SHA-256 fingerprint가 출력됨Elasticsearch 클러스터와 클라이언트 간의 보안 통신을 위해 사용되며, 서버의 신뢰성 검증을 하는 역할.  1. 최초 설치 시 확인처음 엘라스틱서치를 설치할 때 콘솔에 나오는 fingerprint 확인하기  2 kibana.yml 에서 확인vi /etc/kibana/kibana.ymlxpack.fleet.outputs: [{id: fleet-defau..

• format_list_bulleted Elastic Search AI Platform
• · 2024. 11. 12.
• textsms

Logstash Input http_poller vs http 비교

안녕하세요!오늘은 logstash input plugin 중 http_poller과 http 대하여 알아보겠습니다.  http_poller vs http  HTTPlogstash가 HTTP 서버처럼 동작하여 외부 시스템에서 POST/GET 요청을 수신하는 구조주로 실시간 이벤트를 수집하는 데 사용, (예: Webhook 이벤트, IoT 기기 실시간 데이터)logstash가 대기 상태에서 지정된 포트(http 포트 : 5044)를 열고, 외부 시스템이 데이터를 보낼 때 마다 이를 수신해 처리주의 사항대규모 데이터가 동시에 몰리면 Logstash 큐가 가득 차 429 오류(Too many Reuqests)를 반환네트워크 장애가 발생할 경우, 데이터 유실 위 험# HTTP Input plugin Http in..

• format_list_bulleted Elastic Search AI Platform
• · 2024. 11. 8.
• textsms

Elastic Certified Engineer exan (엘라스틱 엔지니어 자격 시험) 후기

안녕하세요!오늘은 엘라스틱 엔지니어 자격시험 후기를 남겨보고자 합니다. 시험에 대한 정보가 많지 않아 후기를 남기고자 하며 일부라도 도움이 되었으면 좋겠습니다.  시험 정보시험에 사용된 엘라스틱 버전 : 8.1시험 비용 : $500 $400 에서 $100 인상 되었습니다.시험 항목 : 주제는 아래 링크에서 확인하시기 바랍니다.https://www.elastic.co/training/elastic-certified-engineer-exam시험은 결제일 이후 부터 원하는 시간을 설정하여 진행 할 수 있습니다.구매를 하게되면 메일로 시험 등록과 주의사항 관련된 메일을 받을 수 있습니다.시험 시간 : 3시간시험 문제 : 10문제시험 환경 : vm 환경에 2개의 엘라스틱 클러스터공식문서, Deepl 번역기 사용 ..

• format_list_bulleted Elastic Search AI Platform
• · 2024. 10. 24.
• textsms

[Elasticsearch] curl 인증 및 명령어 user 사용

Elasticsearch curl 인증 및 명령어 user 사용 Elasticsearch에서 curl 명령어를 사용할 때 최신 8 버전 이상은 인증이 안 되는 경우가 있습니다. 이럴 경우 ID와 PW를 입력합니다. > curl -u [ID:PW] -XGET "http://localhost:9200/_cat/indices?v" 하지만 명령어를 사용하면 curl: (52) Empty reply from server라는 메시지만 반복됩니다. curl: (52) Empty reply from server 하지만 또 Empty reply from server입니다. https로 시도합니다. > curl -u [ID:PW] -XGET "https://localhost:9200/_cat/indices?v" 새로운 오..

• format_list_bulleted Elastic Search AI Platform
• · 2024. 3. 19.
• textsms