robots.txt는 검색엔진 로봇이 사이트의 어떤 경로를 수집해도 되는지 알려주는 기본 제어 파일입니다. 공개할 필요가 없는 영역을 구분할 때 주로 사용합니다.
사이트 전체를 무조건 열어두는 것보다, 관리자 화면이나 테스트 경로처럼 검색에 노출할 필요가 없는 영역을 정리하는 데 도움이 됩니다.
robots.txt는 검색엔진에 어떤 역할을 하나요?
robots.txt는 검색엔진 로봇에게 어떤 경로를 수집해도 되는지, 어떤 경로는 제외해야 하는지를 알려주는 기본 제어 파일입니다. 사이트 전체를 다 열어두기보다 필요한 경로를 구분하는 데 쓰입니다.
이 질문은 아래 메인 FAQ의 세부 항목입니다.
robots.txt 설정은 꼭 해야 하나요?추가 질문이 있으신가요?
아래에 남겨 주시면 확인 후 답변드립니다.