괴물 클럽

테스트 데이터 준비 먼저 페이징 테스트에 사용할 샘플 데이터를 Bulk API로 입력합니다. POST /_bulk { "create": { "_index": "us", "_type": "user", "_id": "1" }} { "email" : "john@smith.com", "name" : "John Smith", "username" : "@john" } { "create": { "_index": "us", "_type": "user", "_id": "2" }} { "email" : "mary@jones.com", "name" : "Mary Jones" ...

Elasticsearch 서비스 관리 프로세스 확인 실행 중인 Elasticsearch 인스턴스를 확인하려면 다음 명령어를 사용합니다. ps -ef | grep elasticsearch 버전 정보 조회 노드의 상태와 버전을 확인하기 위해 REST API를 호출합니다. curl -X GET "localhost:9200/" 서비스 시작 (비루트 사용 권장) 보안상의 이유로, Elasticsearch는 root 계정으로 실행하지 않는 것이 원칙 ...

5.7.1: 전체 문서 업데이트 방식 Elasticsearch에는 전통적인 의미의 업데이트 연산이 존재하지 않습니다. 대신 새 문서로 기존 문서를 대체하는 방식을 사용합니다. 내부적으로 Elasticsearch는 이전 문서를 삭제 대상으로 표시하고, 완전히 새로운 문서를 추가하여 인덱싱합니다. 이전 버전의 문서는 즉시 사라지지 않지만, 접근할 수 없게 됩니다. PUT /website/ ...

Rsyslog을 통한 Cisco 네트워크 장비 로그 수집 설정 1. Rsyslog 서비스 설치 및 구성 Cisco 장비에서 발생하는 시스템 로그를 중앙에서 수집하기 위해 Linux 서버에 rsyslog를 설치하고, UDP/TCP 기반의 syslog 수신 환경을 구성한다. yum install -y rsyslog 다음은 /etc/rsyslog.conf 파일의 핵심 설정 내용이다: $ModLoad imudp $UDPServerRun 514 $ModLoad imtcp ...

Elasticsearch 9.x를 활용한 로컬 배포 많은 개발자들이 AI 에이전트를 처음 시작할 때 직면하는 문제 중 하나는 에이전트가 대화를 기억하지 못한다는 것입니다. 이 문제를 해결하기 위해 Elasticsearch(ES)를 사용하여 "메모리 저장소"를 구축할 수 있습니다. 1.1 LLM이 왜 기억하지 못하는지 이해하기 대형 언어 모델(LLM)은 본질적으로 상태가 없기 때문에 ...

애플리케이션이 성장함에 따라 검색 품질 향상에 대한 요구가 점점 커집니다. 이를 검색 경험이라고 부릅니다. 사용자에게 무엇이 중요한지, 사용자가 검색 기능을 어떻게 활용하는지 이해하는 것이 필요합니다. 이로 인해 특정 문서가 다른 문서보다 더 중요하거나, 특정 쿼리에서 특정 필드를 강조하고 다른 필드는 약화시켜야 한다는 결론에 도달합니다. 이때 가중치(bo ...

위협 인텔리전스의 효과적인 가시화는 현대 보안 운영 센터에서 중요한 역할을 합니다. MISP에 저장된 대량의 IOC 데이터와 Elasticsearch의 강력한 검색 및 분석 기능을 결합하면, Kibana의 유연한 대시보드 설계를 통해 위협 탐지부터 대응까지 완전한 루프를 구축할 수 있습니다. 이 문서에서는 이러한 기술 스택을 실제로 통합하는 방법을 자세히 설명합니다. 1. 환경 ...

Kafka와 NLog를 활용한 로그 수집 및 Kibana 시각화 NuGet 패키지 참조 <PackageReference Include="NLog.Kafka" Version="0.2.1" /> <PackageReference Include="NLog.Web.AspNetCore" Version="4.14.0" /> Logstash 구성 input { kafka { bootstrap_servers => "127.0.0.1:9092" g ...

핵심 개념 인덱스 ↔ 테이블: Elasticsearch 인덱스는 SQL에서 데이터베이스 테이블과 동일합니다. 문서 ↔ 행: 인덱스 내 문서는 테이블의 한 행(row)에 해당합니다. 필드 ↔ 열: 문서의 필드는 테이블의 열(column)과 같습니다. 매핑 ↔ 스키마: text, keyword, long, date 등 필드 데이터 타입은 매핑으로 정의되며, 이는 데이터베이스 스키마에 대응됩니다. 방 ...

Elasticsearch 기본 분석기의 한계와 해결 방안ELK 스택의 핵심 구성 요소인 Elasticsearch 는 기본적으로 제공되는 standard 또는 simple 분석기를 사용합니다. 이 방식은 영문 기반 텍스트에는 효과적이지만, 한글이나 중국어 등 비공백 분리가 어려운 언어를 처리할 때 한계가 존재합니다.기본 분석기를 사용하여 텍스트를 토큰화해 보면 다음과 같이 글자 단위까지 세 ...