Home / Webmaster / Robots.txt Generator

Robots.txt 생성기

크롤러 접근을 용이하게 하고 SEO를 개선하기 위해 robots.txt 파일을 만드세요.

android 설정

사용자 에이전트 (User Agent)

face

info 모든 로봇에는 *를 사용하거나, 예: Googlebot을 지정하세요.

Directives

block 차단할 경로 (Disallow) (한 줄에 하나씩)

check_circle 허용할 경로 (Allow) (한 줄에 하나씩)

사이트맵 URL

map

code 생성된 코드

Robots.txt란 무엇인가요?

face

User-agent

기록이 적용되는 특정 로봇입니다. *는 모든 로봇에 대한 와일드카드입니다.

block

Disallow

사용자 에이전트에게 특정 URL이나 디렉토리를 탐색하지 말라고 지시하는 명령입니다.

check_circle

Allow

부모 페이지나 폴더가 차단된 경우에도 로봇이 페이지나 하위 폴더에 액세스할 수 있음을 Googlebot에 알리는 데 사용됩니다.

map

Sitemap

사이트의 Sitemap XML 파일 위치입니다.

Robots.txt는 웹마스터가 웹 로봇(주로 검색 엔진 로봇)에게 웹사이트의 페이지를 크롤링하는 방법을 지시하기 위해 만드는 텍스트 파일입니다. robots.txt 파일은 로봇이 웹을 크롤링하고, 콘텐츠에 액세스 및 인덱싱하고, 해당 콘텐츠를 사용자에게 제공하는 방법을 규제하는 웹 표준 그룹인 로봇 배제 표준(REP)의 일부입니다.