robots.txt bloque Googlebot après un piratage
`Disallow: /` sur tout le site après un piratage n'est pas une défense : c'est une panique, ou un geste d'attaquant. Ça n'enlève pas l'infection. Ça enterre vos vraies pages. Rétablissez un robots.txt raisonnable, puis nettoyez.
Disallow: / sur tout le site est une « défense » d'attaquant ou une panique. Rétablissez un robots raisonnable : bloquer Google n'enlève pas l'infection.
Lire le fichier, pas le mythe
`robots.txt` est public : `https://votre-domaine.fr/robots.txt`. Ouvrez-le. Un `Disallow: /` unique, un `User-agent: Googlebot` interdit, ou 40 lignes de `Disallow` sur `/wp-admin/` plus une ligne finale qui interdit tout : trois fichiers différents, trois intentions.
WordPress légitime disallows `/wp-admin/` et laisse `Allow: /wp-admin/admin-ajax.php`. Si cette nuance a disparu, quelqu'un a écrasé le fichier. Comparez à une install saine ou au fichier que Yoast / Rank Math généraient.
Un robots trop large n'est pas un antivirus. Les attaquants s'en servent pour cacher un dossier tout en indexant un autre, ou pour faire « disparaître » le site de Google pendant qu'ils spamment ailleurs. Vous, vous perdez le crawl utile.
Archivez le robots pirate (copie + date). C'est une pièce : soit vous avez paniqué, soit quelqu'un d'autre a écrit. La date FTP tranche plus vite qu'un débat d'équipe. Si le fichier fait 2 Ko de Disallow sur des chemins `/jp/` et `/rx/` seulement, ce n'est pas une panique : c'est un attaquant qui cache son dossier tout en laissant vos pages. Inversez : 410 sur ces préfixes, crawl ouvert ailleurs.
Un Disallow: / n'est ni un antivirus ni une levée Safe Browsing. Ads et Merchant voient une destination morte. Bing lit le même fichier. Archivez le pirate, remettez un robots court, testez l'outil GSC.
Qui a écrit Disallow: /
Trois auteurs. Vous, à 23 h, « pour que Google n'indexe plus le spam ». L'hébergeur, via un plugin de « sécurité » mal compris. L'attaquant, pour bloquer le recrawl de vos pages légitimes tout en laissant un sitemap pirate dans la ligne `Sitemap:`.
La date du fichier à la racine tranche. Un `robots.txt` modifié le même jour qu'un `wp-config.php` et qu'un mu-plugin : ce n'est pas vous. Un File Manager resté en ligne permet d'éditer ce fichier depuis wp-admin. File Manager.
Certains thèmes nulled écrivent un robots à l'activation. Changer de thème sans relire la racine laisse le fichier. Thème nulled.
Ce que Google fait vraiment
Googlebot respecte généralement un Disallow, mais il peut quand même indexer une URL à partir de liens, sans la crawler — résultat pauvre, titre repris ailleurs. Vous n'avez donc pas « caché le malware ». Vous avez parfois laissé l'index pourrir avec moins de passages pour le corriger.
Safe Browsing n'a pas besoin de robots.txt pour classer une URL dangereuse. Bloquer Googlebot n'enlève pas l'écran rouge Chrome. Blacklist.
Ads et Merchant crawlent aussi. Un Disallow: / leur fait voir une destination « qui ne fonctionne pas » ou un refus de contenu. Ads suspendu.
- robots.txt ≠ nettoyage.
- robots.txt ≠ levée Safe Browsing.
- Disallow: / ≈ arrêt du crawl utile.
Sitemap: ajouté dans le même fichier
Une ligne `Sitemap: https://votre-domaine/spam.xml` au milieu d'un Disallow est un classique. Google suit encore la directive Sitemap. Retirez-la. Traitez le plan dans GSC. Sitemap pirate.
Deux lignes Sitemap, une légitime, une non : gardez la vôtre. Vérifiez que l'URL légitime n'est pas réécrite vers un PHP.
User-agent * vs Googlebot
Un bloc `User-agent: Googlebot` / `Disallow: /` et un `User-agent: *` permissif : vous parlez à Google autrement qu'aux autres. C'est suspect. L'inverse (bloquer tout le monde sauf un bot inconnu) aussi.
Des `Crawl-delay` absurdes, des `Clean-param` obsolètes : bruit. On remet un fichier court, connu, versionné avec le CMS.
Remettre un robots légitime
Après copie du fichier pirate (preuve), replacez un robots WordPress standard ou celui de votre plugin SEO, sans Disallow global. Testez l'URL robots dans Search Console (outil robots.txt). Demandez ensuite des inspections sur la home et deux templates.
Ne « rouvrez » pas le crawl tant que des URL pharmacies répondent 200. D'abord générateur coupé et 410. Sinon vous invitez Google à réindexer le spam plus vite. Ordre : site propre sur les URL sales, robots raisonnable, sitemap légitime.
Si un plugin de sécurité réécrit robots à chaque sauvegarde de réglages, désactivez cette option. iThemes / Solid aime ça. iThemes après hack.
Après rétablissement, lancez l'outil robots.txt de Search Console et une inspection home. Si l'inspection échoue encore, le blocage n'est plus robots : firewall, Deny IP Google, ou page 500. Ne « rouvrez » pas le crawl tant que des URL pharmacies sont en 200 : vous accéléreriez le spam. Ordre : générateur coupé, puis robots raisonnable.
Firewall et « bloquer les bots »
Cloudflare, BitNinja, un `.htaccess` `RewriteCond` User-Agent Googlebot → 403 : même effet qu'un Disallow, plus brutal. L'inspection d'URL échoue. On croit à un bug GSC. Autorisez les IP / UA officiels Google après le nettoyage, pas un Allow all mondial.
Pendant l'incident, bloquer les scannateurs d'exploits est utile. Bloquer Googlebot ne l'est pas, sauf phishing encore en 200 et besoin de limiter la casse — même là, préférez le 410 ciblé.
Après : index et Safe Browsing
Les impressions Search Console peuvent remonter quand le crawl reprend, sans que les positions reviennent tout de suite. C'est normal. Trafic effondré.
Le fond reste le CMS. Guide WordPress, backdoor. Pour rétablir robots + fichiers, créer un espace.
Les impressions peuvent remonter d'un coup quand Googlebot est à nouveau autorisé, sans que les positions reviennent. Ce n'est pas une reprise SEO, c'est le crawl qui redémarre. Trafic effondré.
Le cas du Disallow partiel, plus retors
Un `Disallow: /wp-content/uploads/` trop large cache aussi vos images à Google (perte de sitelinks visuels) sans enlever un PHP exécutable : les visiteurs humains frappent encore le fichier. Interdire l'exécution PHP n'est pas le travail de robots.txt. PHP dans uploads.
Un `Disallow: /?` ou des `Clean-param` bricolés cassent le crawl des facettes Woo sans toucher au générateur. Remettez un fichier court. Les expériences « bloquer les paramètres » se font dans Search Console (paramètres d'URL, souvent obsolètes), pas en interdisant tout.
Si un plugin de sécurité réécrit robots à chaque sauvegarde, notez-le dans le runbook post-incident : une personne bien intentionnée recréera le Disallow: / la semaine suivante. iThemes.