불용어 처리: 자연어 처리(NLP) 성능을 최적화하는 핵심 기술
불용어의 개념과 역할
불용어(Stop Words)는 자연어 처리(NLP) 및 텍스트 분석에서 일반적으로 무시되는 빈도가 높지만 정보량이 낮은 단어들을 의미합니다. 주로 전치사, 접속사, 대명사 등이 포함되며 예를 들어 "에", "하고", "그"와 같은 단어들이 해당됩니다. 이들의 주요 목적은 데이터 노이즈를 줄이고 텍스트 처리 효율성을 증대시 ...
6월 24일 01:20에 게시됨
Elasticsearch 검색 점수 가중치 조정 기법
애플리케이션이 성장함에 따라 검색 품질 향상에 대한 요구가 점점 커집니다. 이를 검색 경험이라고 부릅니다. 사용자에게 무엇이 중요한지, 사용자가 검색 기능을 어떻게 활용하는지 이해하는 것이 필요합니다. 이로 인해 특정 문서가 다른 문서보다 더 중요하거나, 특정 쿼리에서 특정 필드를 강조하고 다른 필드는 약화시켜야 한다는 결론에 도달합니다. 이때 가중치(bo ...
6월 5일 22:33에 게시됨