Come ottimizzare il file robots.txt su WordPress per migliorare SEO e velocità di scansione

Il file robots.txt è uno degli strumenti più sottovalutati nel mondo WordPress, ma può fare la differenza tra un sito ben indicizzato e uno che spreca risorse preziose. Spesso lasciato nella sua versione predefinita, questo file può invece essere personalizzato per ottimizzare la scansione da parte dei motori di ricerca, evitare errori di indicizzazione e migliorare le prestazioni SEO complessive.

Vediamo cosa includere, escludere e non bloccare mai nel tuo robots.txt.

Cos’è il file robots.txt e dove si trova in WordPress?

WordPress genera un file robots.txt virtuale accessibile visitando https://iltuosito.com/robots.txt. Questo file non esiste fisicamente sul server, ma è creato dinamicamente.

Se desideri personalizzarlo, puoi caricarne uno manualmente nella root del sito tramite FTP o utilizzare plugin come Yoast SEO (da SEO → Strumenti → Editor file), che ti consente di modificare il file direttamente dal pannello di controllo.

Esempio di base: la configurazione di default

txtCopiaModificaUser-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sebbene sicura, questa configurazione non è ottimizzata. Vediamo come migliorarla.

Cosa dovresti includere nel tuo file robots.txt

1. Sitemap XML

Aggiungi sempre i riferimenti alla tua sitemap:

txtCopiaModificaSitemap: https://iltuosito.com/sitemap_index.xml
Sitemap: https://iltuosito.com/sitemap2.xml

2. Blocca percorsi tecnici e inutili per SEO

Bloccare URL che non offrono valore SEO può aiutare a risparmiare crawl budget:

txtCopiaModificaDisallow: /trackback/
Disallow: /comments/feed/
Disallow: */embed/
Disallow: /cgi-bin/
Disallow: /wp-login.php

3. Parametri di query irrilevanti

Evita l’indicizzazione di URL con parametri inutili o duplicati:

txtCopiaModificaDisallow: /*?*replytocom=
Disallow: /*?*print=

4. Pagine interne di basso valore

Blocca archivi e pagine che non aggiungono valore, solo se non fanno parte della tua strategia:

txtCopiaModificaDisallow: /tag/
Disallow: /page/
Disallow: /?s=

Cosa NON dovresti bloccare mai

Evita di impedire l’accesso a directory come:

txtCopiaModifica/wp-includes/
/wp-content/plugins/
/wp-content/uploads/

Perché?
Bloccare queste directory può impedire il caricamento di CSS, JavaScript e contenuti multimediali, ostacolando il rendering corretto da parte di Google e riducendo la qualità dell’indicizzazione.

Evita la scansione dei siti di staging

Per ambienti di staging o test, disabilita completamente l’indicizzazione:

txtCopiaModificaUser-agent: *
Disallow: /

E attiva anche il meta tag noindex per sicurezza aggiuntiva.

Attenzione: quando il sito va online, ricordati di rimuovere queste restrizioni!

Monitora e testa il file robots.txt

Dopo aver aggiornato il file, controlla:

• Google Search Console → Impostazioni → Statistiche di scansione
• Strumento di controllo URL per verificare se gli URL bloccati sono comunque indicizzati
• Sitemap per accertarti che includano solo pagine utili

In alternativa, puoi usare strumenti avanzati come Screaming Frog SEO Spider per simulare l’effetto del tuo robots.txt e capire come i bot vedono il tuo sito.

Conclusione: un piccolo file, un grande impatto SEO

Ottimizzare il tuo robots.txt su WordPress è un passaggio semplice ma strategico per migliorare l’efficienza di scansione, evitare sprechi di risorse e garantire una migliore indicizzazione dei contenuti di valore.