딥러닝에서의 단어 벡터 처리
단어 벡터 처리
1、코사인 유사도
2、단어 비교 작업
3、편향된 단어 벡터 제거
제5강: 시퀀스 모델
제2주: 자연어 처리와 단어 임베딩
단어 임베딩을 학습하는 데 드는 비용이 매우 크기 때문에, 대부분의 머신러닝 엔지니어들은 미리 학습된 임베딩 집합을 로드하여 사용합니다.
이 과제를 완료하면 다음을 수행할 수 있습니다:
1、미리 학습된 단어 벡터를 로드하고 코 ...
8월 13일 14:24에 게시됨
장문 텍스트 표절 탐지 알고리즘 구현
모듈 인터페이스 설계 및 구현 과정
설계 개요
문서 유사도 측정 및 표절 탐지 기능을 구현하기 위한 시스템을 설계했습니다. 이 시스템은 긴 텍스트 문서를 처리하는 데 중점을 두며, 코사인 유사도 알고리즘과 BoW(Bag-of-Words) 모델을 핵심 기술로 사용합니다. 구현은 Python 3.11 환경에서 진행되었습니다. 전체 표절 탐지 알고리즘은 DocumentAnalyzer 클래스 내에 ...
8월 1일 06:04에 게시됨
vLLM 엔진의 자율주행 차량 NLP 모듈 적용 가능성과 차량용 인증 과제
vLLM 기술 개요 및 자율주행 적용 배경
고성능 추론 엔진 vLLM은 대규모 언어모델(LLM) 실행을 최적화하는 오픈소스 도구로, PagedAttention 메모리 관리 기법이 핵심입니다. 기존 방식은 고정 크기 메모리 블록을 사용해 단편화 문제가 발생했으나, vLLM은 운영체제의 가상 메모리 개념을 도입하여 동적 메모리 할당이 가능합니다.
주요 기술적 이점:
GPU 메모리 효율성 ...
6월 25일 17:26에 게시됨
PyTorch를 활용한 피드포워드 신경망 챗봇 분류기 구현
영어 대화 의도 분류를 위한 피드포워드 신경망 챗봇을 PyTorch로 구현합니다. 의도 태그, 패턴 문장, 응답 메시지로 구성된 JSON 데이터를 사용합니다.
데이터 구조
{'intents': [
{'tag': '인사', 'patterns': ['안녕', '반가워', '하이'], 'responses': ['안녕하세요']},
{'tag': '병원검색', 'patterns': ['병원 찾아줘'], 'responses': ['지역을 알려주세요']}
] ...
6월 22일 23:36에 게시됨
바이촨2-13B 챗봇 실전 가이드: 코드 생성부터 글쓰기 보조까지, AI 완벽 정복
바이촨2-13B 챗봇 실전 가이드: 코드 생성부터 글쓰기 보조까지, AI 완벽 정복
코드 작성을 도와주고, 글쓰기에 도움을 주며, 다양한 질문에 답변해주는 AI 어시스턴트를 찾고 계신가요? 그렇다면 바이촨2-13B 챗봇은 10분만 투자해볼 가치가 있습니다. 이 모델의 가장 큰 특징은 '실용성'입니다. 복잡한 AI 기술에 대한 지식이 필요하지 않고, ...
5월 28일 05:25에 게시됨