Deine Website vor Suchmaschinen und KI-Crawlern verbergen

Verstecke deine Website vor Suchmaschinen und KI-Crawlern, während die Website für Besucher zugänglich bleibt.

Du kannst deine Website vor Suchmaschinen und KI-Webcrawlern verbergen, während sie für Besucher zugänglich bleibt.

Änderungen an deiner Website werden bei Google erst angezeigt, wenn sie deine Website erneut indexieren oder crawlen, was normalerweise einige Zeit in Anspruch nimmt. Mehr dazu erfährst du unter Die falschen Informationen werden in Google-Suchergebnissen angezeigt oder in der Dokumentation von Google zum Entfernen von Ergebnissen aus der Suche.

Um alle Optionen zum Ausblenden von Inhalten auf deiner Website anzuzeigen, gehe zu Kontrollieren, wer auf die Seiten deiner Website zugreifen kann.

Video ansehen

Was sind Crawler?

Ein Webcrawler ist eine Art Bot, der normalerweise von Suchmaschinen betrieben wird und automatisch den Inhalt von Websites im gesamten Internet scannt, damit deren Inhalt in Suchergebnissen angezeigt werden kann.

Webcrawler werden auch von KI-Unternehmen verwendet, um ihre großen Sprachmodelle (Large Language Models, kurz LLMs) zu trainieren. Diese Modelle lernen aus den Inhalten von Websites, die sie scannen, und verwenden die Daten, um die Genauigkeit und die allgemeinen Funktionen ihrer KI-Modelle zu verbessern.

Deine Website vor Suchmaschinen oder KI-Crawlern verbergen

So verbirgst du deine gesamte Website vor Suchmaschinen oder KI-Crawlern:

1. Öffne das Menü „Einstellungen“.
2. Klicke auf Crawler
3. Um deine Website vor Suchmaschinen-Crawlern zu verbergen, deaktiviere den Schalter Suchmaschinen-Crawler.
4. Um deine Website vor KI-Crawlern zu verbergen, deaktiviere den Schalter Künstliche Intelligenz-Crawler.

Wenn du den Schalter Künstliche Intelligenz-Crawler deaktivierst, wird deine robots.txt-Datei geändert, um die folgenden Bots daran zu hindern, deine Website zu crawlen:

• Anthropic AI
• CCBot
• Google Extended
• GPTBot und ChatGPT-User

Hinweis: Es ist derzeit nicht möglich, bestimmte Seiten vor KI-Crawlern oder deine Website vor allen KI-Crawlern auszublenden. Wenn du deine Website vor KI-Crawlern verbirgst, werden Inhalte, die zuvor von einer Website gescrapt wurden, nicht rückwirkend aus den Trainingsdaten des KI-Modells entfernt.

Eine bestimmte Seite vor Suchmaschinen verbergen

Das Hinzufügen eines „noindex“-Tags zu einer Seite verbirgt diese vor Suchmaschinen, wobei sie jedoch öffentlich und für Besucher zugänglich bleibt.

Es gibt zwei Möglichkeiten, ein noindex-Tag hinzuzufügen:

• Seiteneinstellungen – Aktiviere „Diese Seite aus den Suchergebnissen ausblenden“ im SEO-Tab der Seiteneinstellungen.
• Code einfügen – Füge den Code manuell mit „Code einfügen“ hinzu.

Seiteneinstellungen vs. Code einfügen

Das Hinzufügen eines noindex-Tags durch Aktivieren der Option Diese Seite vor Suchmaschinen verbergen in den Seiteneinstellungen im Vergleich zum Hinzufügen eines noindex-Tags durch Code einfügen erzeugt ähnliche Effekte. In der Regel kannst du die Option Seiteneinstellungen verwenden.

Mit beiden Methoden:

• Verbirgt das Hinzufügen des Tags zu einer Sammlungs-Seite auch die Sammlungsinhalte. Dies schließt die einzelnen Produkte auf einer Produkt-Seite ein.
• Du kannst einzelne Sammlungsinhalte oder Portfolio-Unterseiten nicht ausblenden.
• Das Hinzufügen des Tags zu einer Index-Seite (Version 7.0) blendet deren Unterseiten nicht aus. Um alle Seiten auszublenden, füge das Tag zum Hauptindex und jeder Unterseite hinzu.
• Das Hinzufügen des Tags verbirgt keine Seiten vor der Website-Suche, sondern nur vor externen Suchmaschinen.

Die Unterschiede sind in der folgenden Tabelle aufgeführt.

Den Tag in den Seiteneinstellungen aktivieren

So aktivierst du das noindex-Tag für eine Seite:

1. Öffne das Menü „Seiten“.
2. Fahren Sie mit der Maus über die Seite und klicken Sie auf das .
3. Klicken Sie auf den Tab SEO.
4. Aktiviere den Schalter Von Suchmaschinen verbergen. Blog-Seiten haben weitere Optionen.

Tipp: Startseiten und einzelne Sammlungsinhalte haben keine Umschaltmöglichkeit für Vor Suchmaschinen verbergen.

Das Tag mit „Code einfügen“ hinzufügen

„Code einfügen“ ist eine Premium-Funktion, die im Rahmen von Business- und E-Commerce-Abos verfügbar ist.

Du kannst ein noindex-Tag mit dem folgenden Code-Schnipsel manuell zu „Code einfügen“ hinzufügen:

<meta name="robots" content="noindex">

Füge das Code-Schnipsel in den Seiteneinstellungen zu „Code im Header einfügen“ hinzu. Wenn du dies zu einer Sammlungs-Seite (z. B. eine Blog-Seite) hinzufügst, werden auch die Sammlungsinhalte (z. B. Blogeinträge) verborgen.

Tipp: Wenn du zu einem Tarif wechselst, der keine Premium-Funktionen unterstützt, ist „Code einfügen“ automatisch deaktiviert.

Note: Custom code modifications fall outside the scope of our support. This means that we’re unable to help further with setup or troubleshooting. Additionally, with a code-based solution, we can’t guarantee its functionality or full compatibility with Squarespace. This includes how it functions with our responsive design, particularly its appearance on mobile devices, and if it functions on all templates. Custom code can also cause display issues with future updates to our platform. While we can't help further, there are many resources that can point you in the right direction:

• Mach dich mit den bewährten Verfahrensweisen zum Hinzufügen von benutzerdefiniertem Code vertraut.
• Lesen Sie unsere allgemeine Anleitung für externe Anpassungen.
• Besuche das Squarespace-Forum, unsere Community für Kunden- und Entwickler.
• Beauftrage Squarespace-Experten mit der Erstellung eines benutzerdefinierten Codes für deine Website.