Générateur robots.txt

Créez votre fichier robots.txt en quelques clics. À placer à la racine de votre site (yoursite.com/robots.txt).

URL du sitemap

Chemins à bloquer (Disallow, un par ligne)

Chemins à autoriser (Allow, un par ligne)

Délai de crawl optionnel (Crawl-delay, secondes)

Bloquer les bots IA (GPT, Claude, Perplexity, Google-Extended…)

Empêche l'utilisation de votre contenu pour entraîner les LLM.

Fichier robots.txt généré

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /*.pdf$
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.mon-site.fr/sitemap.xml

Cet outil est un aperçu. Pour un diagnostic multi-pipelines avec estimation avant lancement :