Outil gratuit

Robots d'IA : que laissez-vous passer ?

Les entreprises d'IA envoient des robots lire le Web : certains recueillent des textes pour entraîner leurs modèles, d'autres consultent des pages pour répondre à leurs utilisateurs. Nous lisons votre robots.txt et vous disons, robot par robot, ce qu'il permet. Ensuite, c'est vous qui choisissez.

Essayer avec physalisdesign.com, lapresse.ca, nytimes.com

Générateur : votre choix, en robots.txt

Cochez ce que vous voulez bloquer. Le bloc se met à jour ; collez-le à la fin de votre robots.txt. Tout se passe dans votre navigateur.

Vos textes ne servent pas à entraîner les IA. N'a aucun effet sur Google ou Bing.

Robot par robot (14)

Votre site ne sera plus cité dans ChatGPT Search, Perplexity, Claude, etc.

Robot par robot (4)

Quand quelqu'un demande à une IA de lire votre page, elle devra refuser.

Robot par robot (6)
robots.txt

Rien d'autre à changer : Googlebot et Bingbot ne sont pas touchés, votre référencement reste le même. Sur WordPress, une extension SEO (Yoast, Rank Math) permet de modifier le robots.txt sans accès aux fichiers.

Trois sortes de robots d'IA

Bloquer « l'IA » d'un bloc n'a pas beaucoup de sens : chaque entreprise a plusieurs robots, pour des usages différents. Il n'y a pas de bonne réponse ; tout dépend de ce que vous publiez et de ce que vous en attendez.

01

Entraînement

GPTBot, ClaudeBot, Google-Extended, CCBot… Ils recueillent des textes pour entraîner les prochains modèles. Les bloquer tient votre contenu à l'écart des futurs modèles, sans effet sur votre place dans Google.

02

Recherche IA

OAI-SearchBot, Claude-SearchBot, PerplexityBot… Ils bâtissent l'index dont un outil d'IA se sert pour répondre et citer ses sources. Les bloquer peut retirer votre site de ces réponses.

03

À la demande

ChatGPT-User, Claude-User, Perplexity-User… Ils visitent une page parce qu'un utilisateur l'a demandé. C'est proche d'une visite humaine.

Bon à savoir

Google-Extended et Applebot-Extended ne sont pas des robots qui visitent : ce sont des noms que Googlebot et Applebot consultent pour savoir si vos pages peuvent servir à leur IA. Les bloquer ne change rien à votre présence dans la recherche Google. Les aperçus IA de Google, eux, dépendent de Googlebot lui-même.

Le robots.txt est une politesse : les entreprises connues le respectent, les robots moins scrupuleux l'ignorent. Pour bloquer vraiment un robot, il faut une règle de pare-feu (Cloudflare, par exemple, propose un blocage des robots d'IA en un clic).