Entsprechend dem Industriestandard verwendet Anthropic verschiedene Roboter, um Daten aus dem öffentlichen Web für die Modellentwicklung zu sammeln, das Web zu durchsuchen und Webinhalte auf Anweisung der Nutzer abzurufen. Anthropic verwendet verschiedene Roboter, um Website-Besitzern Transparenz und Wahlmöglichkeiten zu bieten. Nachfolgend finden Sie Informationen zu den drei Robotern, die Anthropic verwendet, und wie Sie Ihre Website-Einstellungen festlegen können, um diejenigen zu aktivieren, die Sie auf Ihre Inhalte zugreifen lassen möchten, und diejenigen zu begrenzen, die Sie nicht möchten.
Bot
|
Verwendung
|
Was passiert, wenn Sie ihn deaktivieren
|
ClaudeBot
|
ClaudeBot hilft dabei, die Nützlichkeit und Sicherheit unserer generativen KI-Modelle zu verbessern, indem er Webinhalte sammelt, die möglicherweise zu deren Training beitragen könnten.
|
Wenn eine Website den ClaudeBot-Zugang einschränkt, signalisiert dies, dass die zukünftigen Materialien der Website von unseren KI-Modell-Trainingsdatensätzen ausgeschlossen werden sollten.
|
Claude-User
|
Claude-User unterstützt Claude AI-Nutzer. Wenn Personen Fragen an Claude stellen, kann es über einen Claude-User-Agent auf Websites zugreifen.
|
Claude-User ermöglicht es Website-Besitzern zu kontrollieren, auf welche Websites über diese nutzerinitiierte Anfragen zugegriffen werden kann. Die Deaktivierung von Claude-User auf Ihrer Website verhindert, dass unser System Ihre Inhalte als Antwort auf eine Nutzeranfrage abruft, was die Sichtbarkeit Ihrer Website für nutzergesteuerte Websuchen reduzieren kann.
|
Claude-SearchBot
|
Claude-SearchBot navigiert durch das Web, um die Qualität der Suchergebnisse für Nutzer zu verbessern. Er analysiert Online-Inhalte speziell, um die Relevanz und Genauigkeit von Suchantworten zu verbessern.
|
Die Deaktivierung von Claude-SearchBot auf Ihrer Website verhindert, dass unser System Ihre Inhalte für die Suchoptimierung indiziert, was die Sichtbarkeit und Genauigkeit Ihrer Website in den Suchergebnissen der Nutzer reduzieren kann.
|
Als Teil unserer Mission, sichere und zuverlässige Spitzensysteme zu entwickeln und das Feld der verantwortlichen KI-Entwicklung voranzubringen, teilen wir die Prinzipien mit, nach denen wir Daten sammeln, sowie Anweisungen, wie Sie sich zukünftig von unserem Crawling abmelden können:
Unsere Datensammlung sollte transparent sein. Anthropic verwendet die oben beschriebenen Bots, um auf Webinhalte zuzugreifen.
Unser Crawling sollte nicht aufdringlich oder störend sein. Wir streben minimale Störungen an, indem wir durchdacht vorgehen, wie schnell wir dieselben Domains crawlen und Crawl-delay respektieren, wo angemessen.
Anthropics Bots respektieren "nicht crawlen"-Signale, indem sie branchenübliche Direktiven in robots.txt befolgen.
Anthropics Bots respektieren Anti-Umgehungstechnologien (z.B. werden wir nicht versuchen, CAPTCHAs für die Websites zu umgehen, die wir crawlen.)
Um Crawling-Aktivitäten zu begrenzen, unterstützen wir die nicht-standardmäßige Crawl-delay-Erweiterung für robots.txt. Ein Beispiel hierfür könnte sein:
User-agent: ClaudeBot
Crawl-delay: 1
Um einen Bot von Ihrer gesamten Website zu blockieren, fügen Sie dies zur robots.txt-Datei in Ihrem obersten Verzeichnis hinzu. Bitte tun Sie dies für jede Subdomain, von der Sie sich abmelden möchten. Ein Beispiel hierfür ist:
User-agent: ClaudeBot
Disallow: /
Die Abmeldung vom Crawling durch Anthropic Bots erfordert die Änderung der robots.txt-Datei in der oben beschriebenen Weise. Alternative Methoden wie das Blockieren von IP-Adresse(n), von denen aus Anthropic Bots operieren, funktionieren möglicherweise nicht korrekt oder garantieren nicht dauerhaft eine Abmeldung, da dies unsere Fähigkeit beeinträchtigt, Ihre robots.txt-Datei zu lesen. Zusätzlich veröffentlichen wir derzeit keine IP-Bereiche, da wir öffentliche IPs von Dienstanbietern verwenden. Dies könnte sich in Zukunft ändern.
Sie können mehr über unsere Datenverarbeitungspraktiken und -verpflichtungen in unserem Hilfezentrum erfahren. Wenn Sie weitere Fragen haben oder glauben, dass unsere Bots möglicherweise nicht ordnungsgemäß funktionieren, wenden Sie sich bitte an claudebot@anthropic.com. Bitte wenden Sie sich von einer E-Mail-Adresse aus, die die Domain enthält, bezüglich der Sie uns kontaktieren, da es andernfalls schwierig ist, Berichte zu verifizieren.