AI クローラーに、AI モデルをトレーニングするためにサイトをスキャンしないよう指示します。

訪問者がアクセスできる状態を維持しながら、お客様のサイトをスキャンから除外するよう、AI Web クローラーにリクエストできます。

検索エンジンの結果からサイトを除外するには、「検索結果からサイトを非表示にする」を参照してください。 サイト上のコンテンツを非表示にするすべてのオプションを確認するには、「サイトのページにアクセスできるユーザーの制御」を参照してください。

AI クローラーとは何ですか？

AI クローラーは、AI を使用する企業が大規模言語モデル (LLM) を訓練するために使用されます。 これらのモデルは、スキャンしたWebサイトのコンテンツから学習し、そのデータを活用して自社 AI モデルの精度と一般的な機能を向上させます。

AI クローラーのスキャン対象からサイトを除外する

デフォルトでは、AI クローラーはSquarespaceのWebサイトで公開されているかどうかにかかわらず、インターネット上で公開されているすべてのコンテンツをスキャンします。ただし、Webサイトがスキャンされたくないと希望する場合は、これを特定の AI クローラーにサイトをクロールしないよう指示することができます。

AI クローラーがサイトをスキャンしないようにリクエストするには、次の手順を実行します。

1. 「設定」パネルを開きます。
2. [クローラー] をクリックします。
3. [人工知能クローラー] トグルをオフに切り替えます。

人工知能クローラーのトグルをオフに切り替えると、「robots.txt」ファイルが更新され、次のボットにサイトをクロールしないように指示します。

• Anthropic AI
• CCBot
• Google 拡張
• GPTBot と ChatGPT-User

備考: 現在、AI クローラーが特定のページのみをスキャンするようにリクエストすることはできません。 人工知能クローラーのトグルをオフにしても、以前にサイトからスクレイピングされたコンテンツが AI モデルトレーニング データから遡って削除されることはありません。