robots.txt 저장 방법 안내 1. 홈페이지 전체가 모든 검색엔진에 노출되는 것을 원하지 않을 때 코드: User-agent: * Disallow: / 2. 홈페이지 전체가 모든 검색엔진에 노출되기를 원할 때 코드: User-agent: * Disallow: (Ex1과 비교했을 때 “/”가 빠져 있습니다. robots.txt를 작성하지 않으면 모두 검색허용으로 간주됩니다.) 3. 홈페이지 디렉토리의 일부만 검색엔진에 노출하고 싶을 때 코드: User-agent: * Disallow: /my_photo/ Disallow: /my_diary/ (이렇게 작성하면 로봇은 my_photo, my_diary라는 폴더에 속한 웹문서에 접근할 수 없습니다.) 4. 홈페이지 전체가 검색되길 원하지만 특정 검색엔진을..