robots.txt는 검색엔진 크롤러가 사이트의 어떤 영역을 수집해도 되는지 알려주는 파일입니다. 검색 수집을 제어하는 역할이 있어서 잘못 설정하면 중요한 페이지가 노출되지 않을 수 있습니다.
관리 페이지나 불필요한 경로만 제한하고, 실제로 노출되어야 하는 페이지는 막지 않는 것이 기본입니다. 설정 전에는 어떤 주소를 검색에 보여줄지 먼저 정리해 두는 것이 좋습니다.
robots.txt 설정은 꼭 해야 하나요?
robots.txt는 검색엔진 크롤러의 접근 범위를 정하는 파일입니다. 잘못 설정하면 중요한 페이지가 검색에서 빠질 수 있어 기본 구성부터 신중하게 확인해야 합니다.