Risolvere l’errore ‘Indicizzata ma bloccata da robots.txt’ su WordPress

Sei mai incappato nella fastidiosa segnalazione “Indicizzata ma bloccata da robots.txt” su Google Search Console mentre gestisci il tuo sito WordPress? Ti assicuro che non sei il solo. Questo messaggio appare quando una pagina viene comunque inserita nell’indice di Google ma, a causa del file robots.txt, i bot non possono accedere ai suoi contenuti. Il risultato? Un grosso limite alla visibilità SEO e potenziali problemi di autorevolezza per il tuo sito.

Capire e risolvere questo errore è fondamentale per evitare che i tuoi contenuti più importanti rimangano nascosti ai motori di ricerca, vanificando sforzi di posizionamento e strategia SEO. In questa guida, ti spiegherò con un linguaggio pratico e accessibile cos’è il file robots.txt, come si genera l’errore “Indicizzata ma bloccata da robots.txt” e soprattutto come intervenire passo dopo passo sul tuo sito WordPress per eliminare definitivamente il problema. Dopo aver seguito le istruzioni, avrai la certezza che i tuoi contenuti saranno pienamente accessibili a Google e agli altri motori di ricerca, recuperando visibilità e ranking.

Pronti a sbloccare il tuo sito WordPress e sfruttarne tutto il potenziale SEO? Ecco tutto quello che devi sapere.

Perché compare l’errore ‘Indicizzata ma bloccata da robots.txt’

Prima di passare alla soluzione, è importante capire perché Google Search Console mostra la dicitura “Indicizzata ma bloccata da robots.txt”. Questo avviso significa che Google ha trovato e inserito la pagina nell’indice tramite link esterni o sitemap, ma non può esplorarne il contenuto perché il tuo file robots.txt glielo impedisce.

Il file robots.txt è un semplice file di testo, salvato nella root del sito (ad esempio, https://tuodominio.it/robots.txt). Serve a comunicare ai crawler (i robot dei motori di ricerca) quali parti del sito possono o non possono essere scansionate. Se blocchi determinate directory o pagine, Google ne prende atto e rispetta queste direttive. Tuttavia, se una pagina viene comunque scoperta tramite altri canali (link da altri siti, sitemap inviate), può essere inserita nell’indice senza che Google abbia potuto leggerne il contenuto reale.

Risultato? Una presenza “fantasma” nell’indice: la pagina esiste per Google, ma senza alcuna informazione utile. Questo può danneggiare sia la SEO tecnica che l’esperienza utente, soprattutto se riguarda contenuti importanti o pagine di conversione.

Le cause principali dell’errore su WordPress

Chi usa WordPress spesso si trova alle prese con errori di configurazione del file robots.txt senza nemmeno rendersene conto. Ecco le cause più comuni che provocano l’errore ‘Indicizzata ma bloccata da robots.txt’:

1. Direttive troppo restrittive: molti utenti, in fase di impostazione SEO, inseriscono regole generiche come Disallow: /, bloccando di fatto tutto il sito ai bot.
2. Plugin SEO mal configurati: strumenti popolari come Yoast SEO o Rank Math possono generare automaticamente robots.txt virtuali troppo restrittivi se non si presta attenzione alle impostazioni avanzate.
3. Errori nelle espressioni delle direttive: un singolo carattere fuori posto o un percorso errato può estendere il blocco a pagine che invece dovrebbero restare visibili.
4. Modifiche temporanee dimenticate: capita spesso di bloccare i crawler in fase di sviluppo o manutenzione e poi dimenticare di rimuovere la regola una volta online.
5. Pagine duplicate o script interni bloccati: alcune regole pensate per evitare l’indicizzazione di script o pagine tecniche finiscono col bloccare sezioni importanti del sito.

Capire la causa ti permette di agire in modo mirato e sicuro, evitando modifiche inutili o dannose ad altre parti del sito.

Come individuare le pagine interessate e leggere il file robots.txt

Prima di poter intervenire, devi capire quali pagine sono effettivamente coinvolte e leggere con precisione quali regole sono attualmente nella tua configurazione robots.txt. Ecco come procedere:

1. Accedi a Google Search Console: entra nella sezione Copertura e verifica il report “Escluse”. Qui troverai un elenco delle URL segnalate come “Indicizzata ma bloccata da robots.txt”.
2. Analizza le URL: annota quali pagine sono state bloccate. Focalizzati su quelle che dovrebbero essere indicizzate (home, pagine istituzionali, blog, landing page).
3. Visualizza il tuo robots.txt: per farlo, visita l’indirizzo https://tuodominio.it/robots.txt. Qui vedrai tutte le direttive attualmente attive.
4. Usa uno strumento di analisi dei robots: servizi come lo strumento di test robots.txt di Google ti aiutano a simulare come i crawler leggono il file e capire quali URL sono realmente bloccate.
5. Cerca righe Disallow sospette: controlla se ci sono regole generiche (ad esempio Disallow: /wp-content/) che possono coinvolgere aree importanti del sito.

Questa analisi preliminare è fondamentale per evitare modifiche alla cieca. Solo così puoi intervenire in modo davvero efficace e sicuro sul tuo WordPress.

Come correggere il file robots.txt su WordPress (metodo manuale e tramite plugin)

A questo punto è arrivato il momento di mettere mano al tuo robots.txt. Puoi farlo in due modi: modificando il file manualmente via FTP o utilizzando le opzioni offerte dai plugin SEO più diffusi. Vediamo entrambe le vie in modo pratico.

Metodo 1: Modifica manuale via FTP/File Manager

1. Esegui un backup del sito (fondamentale!): scarica una copia del file robots.txt.
2. Accedi via FTP o tramite File Manager del tuo hosting.
3. Cerca il file robots.txt: deve trovarsi nella root principale (stessa cartella di wp-config.php).
4. Scaricalo e aprilo con un editor di testo semplice (ad esempio Notepad++ o Sublime Text).
5. Cerca e modifica la riga responsabile del blocco: ad esempio, se trovi Disallow: /, significa che stai bloccando tutto. Se hai Disallow: /pagina-importante/, elimina questa riga o correggila in base a ciò che vuoi davvero bloccare.
6. Salva il file e ricaricalo nella root sovrascrivendo il vecchio.
7. Verifica online visitando https://tuodominio.it/robots.txt.

Metodo 2: Modifica tramite plugin SEO (esempio con Yoast SEO)

1. Vai su Dashboard > SEO > Strumenti > Editor dei file: qui puoi modificare direttamente robots.txt.
2. Cerca le direttive Disallow sospette e modificale/eliminale come spiegato sopra.
3. Clicca su “Salva modifiche al robots.txt”.
4. Controlla il risultato visitando nuovamente l’indirizzo del tuo robots.txt pubblico.

• Tieni presente che alcuni plugin generano un robots.txt virtuale; in questo caso, devi agire dalle impostazioni del plugin stesso e non dal file fisico sul server.
• Dopo ogni modifica importante, svuota la cache del sito e verifica che non siano presenti versioni memorizzate dalla CDN o dai plugin di caching!

Aggiornare la sitemap e comunicare i cambiamenti a Google

Dopo aver corretto il file robots.txt, è fondamentale aggiornare anche la sitemap XML e notificare Google delle modifiche. Questo accelera la reindicizzazione delle pagine precedentemente bloccate. Segui questi passaggi chiave:

1. Aggiorna la sitemap XML: se usi plugin come Yoast SEO o Rank Math, vai su Dashboard > SEO > Generale > Funzionalità, assicurati che la generazione della sitemap sia attiva, poi copia l’URL della sitemap aggiornata (/sitemap_index.xml). Se usi altri sistemi, rigenera manualmente la sitemap se serve.
2. Vai su Google Search Console > Sitemap:
3. Aggiungi o aggiorna l’URL della tua sitemap principale;
4. Clicca su “Invia” per forzare Google a riscaricare l’elenco delle tue pagine;
5. Dopo qualche giorno, controlla nella sezione Copertura le segnalazioni relative alle URL prima bloccate;
6. Pazienta qualche giorno prima di vedere i cambiamenti riflessi nei report di Search Console — la propagazione non è immediata!

Suggerimenti per una configurazione ottimale del robots.txt in WordPress

Avere un robots.txt WordPress ben configurato è essenziale non solo per risolvere errori ma anche per prevenire problemi futuri. Ecco alcuni consigli pratici basati sulla mia esperienza diretta con decine di casi reali:

• Mantieni le direttive essenziali: lascia libero accesso ai principali contenuti pubblici (home page, articoli, pagine). Blocca solo aree tecniche come /wp-admin/, lasciando però disponibile /wp-admin/admin-ajax.php.
• Sconsiglio regole troppo generiche;
• Aggiungi sempre User-agent specifico;
• Esempio pratico sicuro:
  User-agent: *
  Disallow: /wp-admin/
  Allow: /wp-admin/admin-ajax.php
  Sitemap: https://tuodominio.it/sitemap_index.xml

  Questo garantisce ai bot l’accesso ai contenuti pubblici senza rischio di bloccare risorse critiche.

• Dopo ogni modifica importante a robots.txt ricorda sempre di:
  ● Aggiornare anche tutte le tue sitemap;
  ● Verificare con lo strumento tester robots.txt di Google se tutto funziona correttamente;
  ● Monitorare Search Console per individuare eventuali nuove segnalazioni;
• Sfrutta i plugin solo se necessario — meno plugin hai attivi, maggiore sarà la stabilità e velocità complessiva del sito.
• Dai priorità alla semplicità: meno regole = meno rischi di errori futuri!

Errori frequenti da evitare lavorando sul file robots.txt WordPress

Anche chi ha esperienza può commettere errori nella gestione del file robots.txt su WordPress. Ecco gli sbagli più comuni che ho riscontrato assistendo clienti dal vivo — così saprai evitarli fin da subito:

1. Dimenticare il backup prima delle modifiche: una piccola disattenzione può rendere invisibile tutto il sito ai motori di ricerca!
2. Sovrapposizione tra regole fisiche e virtuali: avere sia un file robots.txt fisico sia uno generato da plugin crea spesso conflitti imprevedibili — scegli sempre una sola modalità di gestione!
3. Percorsi errati: molti dimenticano lo slash finale dopo una directory — ad esempio, “Disallow: /wp-admin” invece che “Disallow: /wp-admin/”. Sembra banale ma può cambiare radicalmente il comportamento delle regole!
4. Dimenticare la regola Allow per admin-ajax.php: senza questa eccezione alcuni plugin potrebbero smettere di funzionare lato frontend perché i bot non trovano le risorse AJAX necessarie.
5. Svuotare la cache dopo ogni modifica importante: fondamentale soprattutto se usi soluzioni di caching avanzato o CDN come Cloudflare.

• Pensavi fosse impossibile incappare in queste sviste? Ti assicuro che sono tra le principali cause di perdita di traffico improvvisa!

Migliori pratiche per prevenire futuri errori ‘Indicizzata ma bloccata da robots.txt’

Dopo aver sistemato l’errore “Indicizzata ma bloccata da robots.txt”, ti consiglio alcune strategie per prevenire ricadute nel tempo sul tuo WordPress:

1. Pianifica controlli periodici su Search Console: al primo segnalo d’allarme puoi intervenire subito prima che i danni diventino gravi.
2. Tieni aggiornati i plugin SEO: nuove versioni potrebbero migliorare la gestione dei robots o correggere bug critici legati alle direttive virtuali.
3. Dopo ogni aggiornamento importante alla struttura del sito (nuove aree protette, landing page), ricontrolla sempre sia il file robots.txt sia i report in Search Console;
4. Mantieni un backup storico delle versioni precedenti del tuo robots.txt — potrai sempre tornare indietro in caso di errore;

Basta poco per tenere sotto controllo questo aspetto tecnico – ma un errore trascurato può penalizzare mesi o anni di lavoro SEO!

L’errore “Indicizzata ma bloccata da robots.txt” scompare subito?

No, ci vuole qualche giorno (a volte settimane) prima che Search Console aggiorni lo stato dopo una correzione. Nel frattempo monitora regolarmente gli avvisi per assicurarti che non ricompaiano nuove segnalazioni.

Cosa succede se lascio alcune pagine bloccate dal robots.txt?

Pagine volutamente nascoste (ad esempio aree riservate) possono restare bloccate senza problemi. Ma attenzione: se vengono collegate da altri siti potrebbero comunque essere indicizzate come “fantasmi” senza contenuto!

I plugin WordPress possono creare problemi al mio robots.txt?

Sì! Alcuni plugin generano “files virtuali” che sovrascrivono quello fisico sul server oppure aggiungono regole extra senza avvisarti. Controlla sempre la documentazione ufficiale dello strumento che usi oppure chiedi assistenza specializzata se hai dubbi sulle regole applicate automaticamente dai plugin SEO più popolari.

Mantieni WordPress performante e visibile dopo aver risolto l’errore Robots.txt

Dopo aver risolto con successo l’errore “Indicizzata ma bloccata da robots.txt”, puoi finalmente respirare più tranquillo sulle performance SEO del tuo sito WordPress. Ecco cosa hai imparato oggi e cosa fare d’ora in avanti:

• Sai riconoscere subito l’origine dell’errore grazie agli strumenti nativi come Search Console;
• Padroneggi sia la correzione manuale sia quella via plugin — adattabile alle tue esigenze specifiche;
• Padroneggi i trucchi per rendere il tuo robots.txt efficace, sicuro ed essenziale;
• Sai evitare errori comuni e prevenire future penalizzazioni SEO legate a direttive sbagliate.

Hai ancora dubbi tecnici? Contatta subito l’assistenza G Tech Group: possiamo analizzare insieme il tuo caso particolare ed eliminare definitivamente qualsiasi problema legato alla visibilità sui motori!