Kafka와 NLog를 활용한 로그 수집 및 Kibana 시각화
Kafka와 NLog를 활용한 로그 수집 및 Kibana 시각화
NuGet 패키지 참조
<PackageReference Include="NLog.Kafka" Version="0.2.1" />
<PackageReference Include="NLog.Web.AspNetCore" Version="4.14.0" />
Logstash 구성
input {
kafka {
bootstrap_servers => "127.0.0.1:9092"
g ...
5월 29일 05:43에 게시됨
Elasticsearch SQL 쿼리 완벽 가이드
핵심 개념
인덱스 ↔ 테이블: Elasticsearch 인덱스는 SQL에서 데이터베이스 테이블과 동일합니다.
문서 ↔ 행: 인덱스 내 문서는 테이블의 한 행(row)에 해당합니다.
필드 ↔ 열: 문서의 필드는 테이블의 열(column)과 같습니다.
매핑 ↔ 스키마: text, keyword, long, date 등 필드 데이터 타입은 매핑으로 정의되며, 이는 데이터베이스 스키마에 대응됩니다.
방 ...
5월 27일 11:00에 게시됨
Elasticsearch 에서 자연어 처리 성능 향상을 위한 IK 분석기 구현 가이드
Elasticsearch 기본 분석기의 한계와 해결 방안ELK 스택의 핵심 구성 요소인 Elasticsearch 는 기본적으로 제공되는 standard 또는 simple 분석기를 사용합니다. 이 방식은 영문 기반 텍스트에는 효과적이지만, 한글이나 중국어 등 비공백 분리가 어려운 언어를 처리할 때 한계가 존재합니다.기본 분석기를 사용하여 텍스트를 토큰화해 보면 다음과 같이 글자 단위까지 세 ...
5월 26일 08:24에 게시됨
Fluentd 설치 및 배포 가이드
1. Fluentd란?
Fluentd는 Ruby로 구현된 오픈소스 데이터 수집 프레임워크입니다. 다양한 입력(Input), 필터(Filter), 출력(Output) 플러그인을 지원하며, 로그 수집, 처리, 전송 파이프라인 구축에广泛적으로 활용됩니다.
2. 설치 방법
2.1 Ruby Gem을 통한 설치
가장 일반적인 설치 방식으로, Ruby 런타임이 필수적으로 요구됩니다.
Ruby 환경 구성
Ubuntu/Debian ...
5월 21일 23:05에 게시됨