특정 AI 모델을 포함하여 웹사이트 데이터가 사용되는 방식을 요청합니다.

인터넷의 모든 공개 페이지는 사람과 기계(크롤러) 모두가 접근할 수 있습니다. 이러한 크롤러는 크롤링을 수행하는 회사에 따라 다양한 이유로 사이트를 색인할 수 있습니다(예: Google이 내 사이트를 검색 결과에 포함시키는 경우). Squarespace는 사이트에 액세스할 수 있는 크롤러와 관련하여 데이터 사용 방식을 다르게 요청할 수 있는 두 가지 옵션을 제공합니다. 이 작업은 요청된 제외 항목을 웹사이트 robots.txt 파일에 넣어 수행됩니다. 이 가이드는 AI 크롤러와 관련된 요청을 추가하는 방법을 설명합니다.

명심할 사항:

• 알려진 AI 크롤러가 사이트를 제외하도록 요청한다고 해서 반드시 제외된다는 보장은 없지만, 현재로서는 가장 좋은 방법입니다.
• AI 크롤러가 사이트를 제외하면 사이트 트래픽에 부정적인 영향을 미칠 수 있습니다.
• Squarespace는 타사(서드파티) 검색 또는 AI 회사의 웹사이트 크롤링으로부터 수익을 얻지 않습니다.

검색 엔진 결과에서 본인의 사이트를 제외하려면 검색 결과에서 사이트 숨기기를 방문하세요. 사이트의 콘텐츠를 숨기기 위한 모든 옵션을 검토하려면 사이트 페이지 액세스 제어하기를 방문하세요.

알려진 AI 크롤러 스캔에서 사이트 제외하기

AI 크롤러가 사이트를 스캔하지 않도록 요청하는 방법:

1. 설정 패널을 엽니다.
2. 크롤러를 클릭합니다.
3. "알려진 인공 지능 크롤러 차단" 옆의 확인란을 선택합니다.

알려진 인공지능 크롤러를 차단하기 위해 확인란을 선택하면 robots.txt 파일이 업데이트되어 다음 봇들이 사이트를 크롤링하지 않도록 설정됩니다.

• Amazonbot
• Anthropic AI
• Applebot-Extended
• CCBot
• Claude-Web
• ClaudeBot
• cohere-ai
• DuckAssistBot
• FacebookBot
• Google-CloudVertexBot
• Google Extended
• GPTBot 및 ChatGPT-User
• Meta-ExternalAgent
• PerplexityBot
• Quora-Bot

AI 기술이 계속 발전함에 따라 이 목록에 더 많은 봇이 추가될 수 있습니다. 여기에 나열되지 않은 특정 봇을 차단하라고 제안하고 싶으시다면, Squarespace에 연락하여 기능 요청을 제출해 주세요.

참고: 알려진 인공지능 크롤러를 차단하는 확인란을 선택해도 이전에 사이트에서 수집된 콘텐츠가 인공지능 모델 학습 데이터에서 제거되지는 않습니다.

이건 어떻게 작동하나요? robots.txt란 무엇인가요?

Robots.txt는 웹사이트에 게시된 파일로, 친절한 크롤러가 읽고 따르도록 제안된 파일입니다. 과거에는 이 파일을 수정하는 가장 일반적인 이유가 검색 결과에서 포함하거나 제외하는 것을 통제하기 위해서였습니다. 그러나 이러한 방식으로 robots.txt를 업데이트하는 것은 요청에 불과하며, 악성 크롤러는 여전히 콘텐츠를 악용할 수 있습니다.

공개 인터넷에서 크롤러가 콘텐츠를 절대 조회하지 않도록 보장하는 유일한 방법은 비공개로 설정하는 것입니다.

알려진 인공지능 크롤러를 차단하는 확인란이 기본적으로 선택되어 있지 않은 이유는 무엇인가요?

인터넷의 모든 웹사이트는 특정 제외 사항을 요청하지 않는 한 기본적으로 모든 크롤러가 방문하며, Google, Yahoo, SEO 회사, AI 회사 등은 수십 년 동안 그렇게 해왔습니다. 전 세계에는 수만 개의 크롤러가 다양한 작업을 수행하고 있으며, 그중 많은 크롤러(AI 포함)가 사이트에 트래픽과 가시성을 제공합니다. 많은 크롤러는 긍정적이고 유용합니다.

기본적으로 이 확인란을 선택하지 않은 상태(즉, robots.txt 파일에 'AI 크롤링 금지' 요청을 추가하지 않았음을 의미)로 두는 이유는 채팅 답변 및 소스에서 제외하여 사이트 트래픽에 잠재적인 영향을 미치지 않게 하기 위해서입니다. 그러나 이 확인란은 AI 크롤러가 사이트를 제외하도록 요청할 수 있습니다. 이것은 각 사이트 소유자가 스스로 결정해야 할 문제입니다. 현재로서는 이미지 또는 텍스트 학습 모델에서 제외를 요청하면서도 동일한 AI 회사의 챗봇이 잠재 고객 트래픽을 사이트로 전송하는 답변에 포함되게 하는 보편적인 방법은 없습니다.

이 상자를 선택하지 않은 상태로 두는 이유는 무엇인가요?

사이트를 최대한 개방해 두면 더 많은 트래픽을 얻을 수 있는 이점이 있습니다. 대부분의 사이트는 Google에서의 트래픽을 원하며, 이를 위해 최적화합니다. 마찬가지로, 최신 AI 회사들은 일반적으로 소스 사이트에 백링크를 제공하고, 답변에 사이트 정보를 포함하여 콘텐츠의 가시성을 높입니다.

챗봇 답변에 포함되는 것은 추가적인 트래픽 소스입니다. 예를 들어, 레스토랑을 운영하고 있고 잠재 고객이 "뉴욕 최고의 레스토랑은 어디인가요?"라는 질문을 입력했다면, 답변에 언급되어 사이트와 레스토랑을 더 많은 사람들이 알 수 있기를 원할 것입니다.

AI 기반 검색 엔진 및 챗봇에서 콘텐츠의 도달 범위와 가시성을 개선하는 방법에 대해 자세히 알아보세요.

참고: 현재 AI 크롤러가 특정 페이지만 스캔하도록 요청하는 것은 불가능합니다.

설정이 '알려진 인공지능 크롤러'라고 불리는 이유는 무엇인가요?

AI 회사가 사이트를 크롤링하지 않도록 요청할 수 있는 보편적인 방법은 없습니다. 대신, 각 AI 회사에 구체적으로 요청해야 합니다. 위의 목록은 현재 Squarespace가 알고 있으며 포함된 회사 중 특정 robots.txt 지시를 따르겠다고 제안한 회사를 보여줍니다.