Come inviare nuovamente un file Robots.txt aggiornato o nuovo

robot txt

La nostra agenzia si occupa di consulenza per la ricerca organica per diversi fornitori SaaS del settore. Un cliente con cui abbiamo iniziato a lavorare di recente aveva eseguito una pratica abbastanza standard, posizionando la propria applicazione in un sottodominio e spostando il sito della brochure nel dominio principale. Questa è una pratica standard poiché consente sia al team di produzione che al team di marketing di apportare aggiornamenti in base alle esigenze senza alcuna dipendenza dall'altro.

Come primo passo nell'analisi dello stato di salute della ricerca organica, abbiamo registrato sia la brochure che i domini dell'applicazione in Webmaster. È stato allora che abbiamo identificato un problema immediato. Tutte le pagine dell'applicazione venivano bloccate dall'indicizzazione da parte dei motori di ricerca. Siamo passati alla loro voce robots.txt in Webmasters e abbiamo identificato immediatamente il problema.

Durante la preparazione per la migrazione, il loro team di sviluppo non ha voluto che il sottodominio dell'applicazione fosse indicizzato dalla ricerca, quindi ha negato l'accesso ai motori di ricerca. Il file robots.txt è un file trovato nella directory principale del tuo sito - tuodominio.com/robots.txt - che consente al motore di ricerca di sapere se deve o meno eseguire la scansione del sito. È possibile scrivere regole per consentire o non consentire l'indicizzazione sull'intero sito o su percorsi specifici. Puoi anche aggiungere una riga per specificare il file della mappa del sito.

I Robots.txt il file aveva la seguente voce che impediva la scansione e l'indicizzazione del sito nelle classifiche dei risultati di ricerca:

User-Agent: * Disallow: /

Avrebbe dovuto essere scritto come segue:

Agente utente: * Consenti: /

Quest'ultimo consente a qualsiasi motore di ricerca che esegue la scansione del sito di accedere a qualsiasi directory o file all'interno del sito.

Fantastico ... quindi ora che il file robots.txt il file è perfetto ma come fa Google a saperlo e quando controlleranno di nuovo il sito? Bene, puoi assolutamente richiedere a Google di controllare il tuo file robots.txt, ma non è troppo intuitivo.

Passare alla Search Console di Google Search Console al Scansiona> Tester robots.txt. Vedrai i contenuti del file robots.txt sottoposto a scansione più di recente all'interno del Tester. Se desideri inviare nuovamente il tuo file robots.txt, fai clic su Invia e verrà visualizzato un popup con alcune opzioni.

reinvia il file robots.txt

L'ultima opzione è Chiedi a Google di aggiornare. Fare clic sul pulsante blu Invia accanto a tale opzione e quindi tornare al file Scansiona> Tester robots.txt opzione di menu per ricaricare la pagina. Ora dovresti vedere il file robots.txt aggiornato insieme a un timbro della data che mostra che è stato nuovamente sottoposto a scansione.

Se non vedi una versione aggiornata, puoi fare clic su Invia e selezionare Visualizza la versione caricata per passare al file robots.txt effettivo. Molti sistemi memorizzeranno questo file nella cache. In effetti, IIS genera questo file dinamicamente in base alle regole immesse tramite la loro interfaccia utente. Molto probabilmente dovrai aggiornare le regole e aggiornare la cache per pubblicare un nuovo file robots.txt.

robot-txt-tester

Cosa ne pensi?

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati dei tuoi commenti.