웹사이트의 robots.txt 설정 가이드
robots.txt 파일은 웹사이트 운영자가 검색 엔진 크롤러(봇 또는 스파이더라고도 함)에게 어떤 페이지를 수집하도록 허용하고, 어떤 페이지는 제외할지를 명시하는 일반 텍스트 파일입니다. 이 파일은 반드시 도메인 루트 경로에 위치해야 하며, 파일 이름은 소문자만 사용하여 작성되어야 합니다. SEO(Search Engine Optimization) 관점에서 매우 중요한 역할을 하며, 검 ...
5월 24일 03:19에 게시됨