검색엔진 최적화를 고려할 때 robots.txt는 기본이 되는 설정 중 하나입니다.
검색엔진이 웹사이트를 어떻게 탐색(크롤링)하고 어떤 페이지를 수집할지를 지시하는 역할을 합니다.
잘못된 설정은 검색 누락이나, 의도치 않은 페이지 노출로 이어질 수 있습니다.
robots.txt란?
robots.txt는 웹사이트 루트 경로에 위치한 텍스트 파일입니다.
이 파일을 통해 검색엔진 로봇(bot)에게 어떤 페이지는 크롤링 허용하고, 어떤 경로는 차단할지를 지정할 수 있습니다.
예를 들어 내부관리 페이지, 테스트 페이지 등은 검색엔진에 노출하지 않도록 제외할 수 있습니다.
왜 설정이 필요한가요?
사이트 전체를 크롤링하게 두는 것도 가능하지만, 불필요한 페이지까지 검색에 노출될 수 있습니다.
검색엔진이 페이지를 수집할 때 우선순위와 효율성을 고려하므로, robots.txt 설정은 사이트 품질에도 영향을 줍니다.
특히 다음과 같은 경우 설정이 필요합니다:
- 관리자 페이지, 로그인 화면 등 외부 노출이 불필요한 경로
- 중복 콘텐츠 또는 테스트용 페이지
- 검색엔진 크롤링 트래픽을 줄이고 싶을 때
robots.txt 기본 구성 예시
모든 검색엔진에 모든 페이지를 허용하는 기본 설정:
User-agent: *
Disallow:
/admin 경로는 차단하고 나머지는 허용하는 예:
User-agent: *
Disallow: /admin/
사이트맵 경로를 명시할 수도 있습니다:
Sitemap: https://www.example.com/sitemap.xml설정 방법
1. 텍스트 파일로 robots.txt 작성
2. 웹사이트 루트 디렉터리(ex. https://www.example.com/robots.txt)에 업로드
3. 구글 서치콘솔의 ‘robots.txt 테스터’ 도구를 활용해 오류 여부 확인
주의할 점
- robots.txt는 검색엔진이 페이지를 수집하지 않도록 지시할 뿐, 해당 페이지가 완전히 비공개 처리되는 것은 아닙니다.
- 민감한 정보(예: 개인정보 페이지)는 robots.txt가 아닌 서버 인증, 비밀번호 보호 등을 활용해야 합니다.
- Disallow 설정을 잘못하면 전체 사이트가 검색 누락될 수도 있으므로 주의가 필요합니다.
robots.txt는 간단한 텍스트 파일이지만, 사이트 전체의 검색 노출 전략에 큰 영향을 줍니다.
검색엔진에 보여줄 페이지와 숨길 페이지를 명확히 구분하고 싶다면, 적절한 설정이 반드시 필요합니다.
알아두면 좋은 Q&A
1. robots.txt는 어떤 검색엔진에 적용되나요?
Google, Bing, Naver, Yahoo 등 주요 검색엔진은 robots.txt를 따릅니다. 다만 악성 봇이나 일부 자동화 크롤러는 무시할 수 있습니다.
2. Disallow와 Noindex의 차이점은?
Disallow는 검색엔진이 페이지를 '크롤링하지 않게' 요청하는 것이고, Noindex는 '검색 결과에 노출되지 않게' 설정하는 것입니다. 두 설정은 목적이 다르므로 상황에 따라 병행 사용해야 합니다.
3. 로그인 페이지는 robots.txt로 차단해도 안전한가요?
아니요. robots.txt는 단순히 검색엔진에 대한 요청일 뿐, 보안 기능이 아닙니다. 민감 정보는 반드시 서버 인증이나 비밀번호 보호 등 추가 보안 조치를 적용해야 합니다.
4. sitemap.xml을 robots.txt에 꼭 명시해야 하나요?
필수는 아니지만 명시하면 검색엔진이 사이트 구조를 더 빠르게 파악하고 크롤링 효율도 높일 수 있어 SEO에 유리합니다.
5. robots.txt 설정이 잘못되면 어떤 문제가 생기나요?
예를 들어 Disallow: / 로 설정하면 사이트 전체가 검색 결과에서 제외될 수 있습니다. 업로드 전 반드시 테스트 툴을 사용해 확인하세요.
6. 테스트 서버도 robots.txt로 차단하면 되나요?
가능하지만 URL이 외부에 노출될 수 있으므로 IP 차단, 인증 로그인 등 강력한 접근 제한을 함께 설정하는 것이 좋습니다.
7. robots.txt는 어디에 위치해야 하나요?
도메인 루트 경로에 위치해야 하며, 주소는 반드시 https://yourdomain.com/robots.txt 형식을 따라야 합니다.
8. robots.txt에도 주석을 달 수 있나요?
네, # 기호를 이용하면 주석을 달 수 있습니다. 검색엔진은 주석 내용을 무시합니다.
9. 이미지, CSS, JS도 robots.txt로 차단해도 되나요?
가능은 하지만, 시각적 렌더링이나 페이지 평가에 영향을 줄 수 있으므로 Google은 CSS/JS 파일의 차단을 권장하지 않습니다.
10. CMS 사용 시(예: 워드프레스) robots.txt는 어떻게 관리하나요?
워드프레스는 기본적으로 가상 robots.txt를 제공합니다. Yoast SEO 플러그인을 통해 쉽게 수정할 수 있으며, 서버에 직접 robots.txt를 업로드해도 됩니다.
