Frage an, wie Daten von deiner Website verwendet werden, einschließlich in bestimmten KI-Modellen

Alle öffentlichen Seiten im Internet sind sowohl für Menschen als auch für Maschinen (Web-Crawler) zugänglich. Diese Crawler können deine Website aus verschiedenen Gründen indizieren, je nachdem, welches Unternehmen das Crawling durchführt (z. B. nimmt Google deine Website in die Suchergebnisse auf). Squarespace bietet dir zwei Optionen im Zusammenhang mit Crawlern, die möglicherweise auf deine Website zugreifen, um eine andere Verwendung deiner Daten anzufordern. Dazu fügst du die geforderten Ausschlüsse in die robots.txt-Datei deiner Website ein. In dieser Anleitung wird erläutert, wie du die Aufforderung in Bezug auf KI-Crawler hinzufügen kannst.

Bitte beachte:

• Zu verlangen, dass bekannte KI-Crawler deine Website ausschließen, garantiert nicht, dass dies der Fall sein wird, aber es ist die beste derzeit verfügbare Option
• Wenn KI-Crawler deine Website ausschließen, kann dies negative Auswirkungen auf den Traffic auf deiner Website haben
• Squarespace erzielt keine Einnahmen mit dem Website-Crawling durch die Suche von Drittanbietern oder KI-Unternehmen

Um deine Website vor Suchmaschinenergebnissen zu verbergen, besuche Deine Website vor Suchergebnissen verbergen. Um alle Optionen zum Ausblenden von Inhalten auf deiner Website anzuzeigen, gehe zu Kontrollieren, wer auf die Seiten deiner Website zugreifen kann.

Deine Website von bekannten KI-Crawler-Scans ausschließen

So beantragst du, dass KI-Crawler deine Website nicht scannen:

1. Öffne das Menü „Einstellungen“.
2. Klicke auf Crawlers.
3. Aktiviere das Kästchen neben „Bekannte KI-Crawler blockieren“.

Wenn du das Kästchen zum Blockieren bekannter KI-Crawler anklickst, wird deine robots.txt-Datei aktualisiert, um die folgenden Bots daran zu hindern, deine Website zu crawlen:

• Anthropic AI
• Applebot-Extended
• CCBot
• Claude-Web
• cohere-ai
• FacebookBot
• Google Extended
• GPTBot und ChatGPT-User
• PerplexityBot

Da sich die KI-Technologie ständig weiterentwickelt, können wir dieser Liste weitere Bots hinzufügen. Wenn du das Blockieren eines bestimmten Bots vorschlagen möchtest, der hier nicht aufgeführt ist, kannst du uns kontaktieren, um eine Feature-Anfrage zu stellen.

Hinweis: Wenn du das Kästchen zum Blockieren bekannter KI-Crawler anklickst, werden Inhalte, die zuvor von einer Website gescrapt wurden, nicht rückwirkend aus den Trainingsdaten des KI-Modells entfernt.

Wie funktioniert das? Was ist robots.txt?

Robots.txt ist eine Datei, die auf deiner Website veröffentlicht wird und die von freundlichen Crawlern gelesen und befolgt wird. In der Vergangenheit bestand der häufigste Grund für das Ändern dieser Datei darin, den Einschluss/Ausschluss in Suchergebnissen zu steuern. Die Aktualisierung der robots.txt-Datei auf diese Weise ist jedoch nur eine Aufforderung, und böswillige Crawler können deine Inhalte dennoch missbrauchen.

Die einzige Möglichkeit, sicherzustellen, dass deine Inhalte im öffentlichen Internet niemals von einem Crawler angezeigt werden, besteht darin, sie privat zu machen.

Warum ist das Kontrollkästchen zum Blockieren bekannter KI-Crawler nicht standardmäßig aktiviert?

Alle Websites im Internet werden standardmäßig von allen Crawlern besucht, sofern sie nicht einen bestimmten Ausschluss gefordert haben, und das seit Jahrzehnten (von Unternehmen wie Google, Yahoo, SEO-Unternehmen, KI-Unternehmen usw.). Es gibt Zehntausende von Crawlern auf der Welt, die verschiedene Dinge tun. Viele davon sind positiv und nützlich und viele (einschließlich KI) sorgen für Traffic und Sichtbarkeit für deine Website.

Standardmäßig ist das Kontrollkästchen deaktiviert (d. h., wir haben keine „KI, nicht crawlen“-Aufforderung zu deiner robots.txt-Datei hinzugefügt), da wir den Traffic auf deiner Website nicht potenziell beeinträchtigen möchten, indem wir sie von Chat-Antworten und Quellen ausschließen. Das Kontrollkästchen ist jedoch vorhanden, damit du festlegen kannst, dass KI-Crawler deine Website ausschließen. Es ist eine Entscheidung, die jeder Website-Inhaber für sich selbst treffen muss. Es gibt derzeit keine universelle Möglichkeit, zu beantragen, nur von Bild- oder Text-Trainingsmodellen ausgeschlossen zu werden, aber weiterhin in den Antworten der Chatbots desselben KI-Unternehmens angezeigt zu werden, um potenziellen Kunden-Traffic auf deine Website zu senden.

Warum sollte ich dieses Kontrollkästchen deaktiviert lassen?

Der Vorteil, deine Website so offen wie möglich zu lassen, besteht darin, dass du wahrscheinlich mehr Traffic bekommst. Die meisten Websites möchten Traffic von Google und optimieren dafür. In ähnlicher Weise stellen neuere KI-Unternehmen in der Regel Backlinks zu Quellen-Websites bereit und binden Informationen von deiner Website in Antworten ein, um die Sichtbarkeit deiner Inhalte zu erhöhen.

In Chatbot-Antworten präsent zu sein, ist eine zusätzliche Quelle für Traffic. Wenn du beispielsweise ein Restaurant betreibst und ein potenzieller Kunde Folgendes in einer Eingabeaufforderung eintippt: „Welches Restaurant ist das beste in Berlin?“, möchtest du wahrscheinlich in der Antwort erwähnt werden, damit mehr Menschen von deiner Website und deinem Restaurant erfahren.

Hinweis: Es ist derzeit nicht möglich, zu beantragen, dass KI-Crawler nur bestimmte Seiten scannen.

Warum heißt die Einstellung „bekannte KI-Crawler“?

Es gibt keine universelle Möglichkeit, KI-Unternehmen aufzufordern, eine Website nicht zu crawlen. Stattdessen müssen wir für jedes KI-Unternehmen eine spezifische Anforderung erstellen. Die obige Liste zeigt die Unternehmen, die uns derzeit bekannt sind und die wir einbeziehen. Diese haben angeboten, eine bestimmte robots.txt-Anweisung zu befolgen.