robots.txt는 검색엔진 로봇이 사이트의 어떤 경로를 수집해도 되는지 알려주는 기본 제어 파일입니다. 공개할 필요가 없는 영역을 구분할 때 주로 사용합니다.
사이트 전체를 무조건 열어두는 것보다, 관리자 화면이나 테스트 경로처럼 검색에 노출할 필요가 없는 영역을 정리하는 데 도움이 됩니다.
robots.txt는 검색엔진에 어떤 역할을 하나요?
robots.txt는 검색엔진 로봇에게 어떤 경로를 수집해도 되는지, 어떤 경로는 제외해야 하는지를 알려주는 기본 제어 파일입니다. 사이트 전체를 다 열어두기보다 필요한 경로를 구분하는 데 쓰입니다.