Gemäß den Branchenstandards verwendet Anthropic eine Vielzahl von Datenquellen für die Modellentwicklung, wie z. B. öffentlich zugängliche Daten aus dem Internet, die über einen Webcrawler gesammelt werden. Als Teil unserer Mission, sichere und zuverlässige Spitzensysteme sowie eine verantwortungsvolle KI-Entwicklung aufzubauen, teilen wir die Prinzipien, nach denen wir Daten sammeln, sowie Anweisungen, wie Sie zukünftig aus unserem Crawling aussteigen können:
Unsere Datensammlung sollte transparent sein. Anthropics Crawler wird immer den User-Agent: "ClaudeBot" verwenden.
Unser Crawling sollte nicht aufdringlich oder störend sein. Wir streben eine minimale Störung an, indem wir uns selbst auf maximal 1 Anfrage pro Sekunde pro TLD begrenzen.
Wir respektieren "Do not crawl"-Signale, indem wir robots.txt befolgen, einschließlich aller Sperren für den CCBot-User-Agent.
Wir respektieren Anti-Umgehungstechnologien und werden nicht versuchen, CAPTCHAs zu umgehen oder uns auf irgendwelchen Sites anzumelden.
Um den Crawler für die gesamte Website zu blockieren, fügen Sie dies in die robots.txt-Datei in Ihrem Top-Level-Verzeichnis ein.
User-agent: ClaudeBot
Disallow: /
Sie können mehr über unsere Datenverarbeitungspraktiken und Verpflichtungen in unserem Hilfe-Center erfahren.