In che modo i motori di ricerca trovano, scansionano e indicizzano i tuoi contenuti?

Search Engine Optimization

Non consiglio spesso ai clienti di creare i propri sistemi di e-commerce o di gestione dei contenuti a causa di tutte le opzioni di estensibilità invisibili che sono necessarie al giorno d'oggi, principalmente incentrate sulla ricerca e sull'ottimizzazione sociale. Ho scritto un articolo su come selezionare un CMS e continuo a mostrarlo alle aziende con cui lavoro che sono tentate semplicemente di costruire il proprio sistema di gestione dei contenuti.

Tuttavia, ci sono assolutamente situazioni in cui una piattaforma personalizzata è una necessità. Quando questa è la soluzione ottimale, spingo comunque i miei clienti a sviluppare le funzionalità necessarie per ottimizzare i loro siti per la ricerca e i social media, però. Ci sono fondamentalmente tre caratteristiche chiave che sono una necessità.

  • Robots.txt
  • XML Sitemap
  • Metadati

Che cos'è un file Robots.txt?

Robots.txt file - il robots.txt file è un file di testo semplice che si trova nella directory principale del sito e dice ai motori di ricerca cosa dovrebbero includere ed escludere dai risultati di ricerca. Negli ultimi anni, i motori di ricerca hanno anche richiesto di includere il percorso di una mappa del sito XML all'interno del file. Ecco un mio esempio, che consente a tutti i bot di eseguire la scansione del mio sito e li indirizza anche alla mia mappa del sito XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Che cos'è una Sitemap XML?

XML Sitemap - Proprio come l'HTML è per la visualizzazione in un browser, XML è scritto per essere digerito a livello di codice. Una mappa del sito XML è fondamentalmente una tabella di ogni pagina del tuo sito e quando è stata aggiornata l'ultima volta. Le Sitemap XML possono anche essere concatenate ... ovvero una Sitemap XML può fare riferimento a un'altra. È fantastico se desideri organizzare e suddividere logicamente gli elementi del tuo sito (FAQ, pagine, prodotti, ecc.) Nelle loro Sitemap.

Le Sitemap sono essenziali per far sapere ai motori di ricerca quali contenuti hai creato e quando sono stati modificati l'ultima volta. Il processo utilizzato da un motore di ricerca quando si accede al tuo sito non è efficace senza l'implementazione di una mappa del sito e di frammenti.

Senza una Sitemap XML, stai rischiando che le tue pagine non vengano mai scoperte. Cosa succede se hai una nuova pagina di destinazione del prodotto che non è collegata internamente o esternamente. Come lo scopre Google? Bene, in poche parole ... finché non viene trovato un collegamento ad esso, non sarai scoperto. Per fortuna, i motori di ricerca consentono ai sistemi di gestione dei contenuti e alle piattaforme di e-commerce di stendere un tappeto rosso per loro, però!

  1. Google scopre un collegamento esterno o interno al tuo sito.
  2. Google indicizza la pagina e la classifica in base al suo contenuto e al contenuto e alla qualità del sito del link di riferimento.

Con una Sitemap XML, non lasci al caso la scoperta dei tuoi contenuti o l'aggiornamento dei tuoi contenuti! Troppi sviluppatori cercano di prendere scorciatoie che danneggiano anche loro. Pubblicano lo stesso rich snippet in tutto il sito, fornendo informazioni non pertinenti alle informazioni della pagina. Pubblicano una mappa del sito con le stesse date su ogni pagina (o tutte aggiornate quando si aggiorna una pagina), dando code ai motori di ricerca che stanno giocando con il sistema o inaffidabili. Oppure non eseguono il ping dei motori di ricerca ... quindi il motore di ricerca non si rende conto che sono state pubblicate nuove informazioni.

Cosa sono i metadati? Microdati? Rich Snippet?

I rich snippet sono microdati codificati con cura che è nascosto al visualizzatore ma visibile nella pagina per i motori di ricerca o i siti di social media da utilizzare. Questo è noto come metadati. Google è conforme a Schema.org come standard per includere elementi come immagini, titoli, descrizioni ... così come una miriade di altri frammenti informativi come prezzo, quantità, informazioni sulla posizione, valutazioni, ecc. Lo schema migliorerà in modo significativo la visibilità del tuo motore di ricerca e la probabilità che un utente faccia clic attraverso.

Facebook utilizza l'estensione OpenGraph protocollo (ovviamente non potrebbero essere gli stessi), Twitter ha anche uno snippet per specificare il tuo profilo Twitter. Sempre più piattaforme utilizzano questi metadati per visualizzare in anteprima i collegamenti incorporati e altre informazioni quando vengono pubblicati.

Le tue pagine web hanno un significato sottostante che le persone capiscono quando leggono le pagine web. Ma i motori di ricerca hanno una comprensione limitata di ciò che viene discusso in quelle pagine. Aggiungendo tag aggiuntivi all'HTML delle tue pagine web, tag che dicono: "Ehi motore di ricerca, queste informazioni descrivono questo specifico film, luogo, persona o video", puoi aiutare i motori di ricerca e altre applicazioni a comprendere meglio i tuoi contenuti e visualizzarlo in modo utile e pertinente. I microdati sono un insieme di tag, introdotto con HTML5, che ti consente di farlo.

Schema.org, cos'è MicroData?

Naturalmente, nessuno di questi è richiesto ... ma li consiglio vivamente. Quando condividi un link su Facebook, ad esempio, e non viene visualizzata alcuna immagine, titolo o descrizione ... poche persone saranno interessate e effettivamente faranno clic. E se i tuoi frammenti di schema non sono in ogni pagina, ovviamente puoi comunque apparire nei risultati di ricerca ... ma i concorrenti potrebbero batterti quando visualizzano informazioni aggiuntive.

Registra le tue Sitemap XML con Search Console

È fondamentale che, se hai creato il tuo contenuto o la tua piattaforma di e-commerce, disponi di un sottosistema che esegue il ping dei motori di ricerca, pubblica microdati e quindi fornisce una mappa del sito XML valida per trovare il contenuto o le informazioni sul prodotto!

Una volta che il file robots.txt, le sitemap XML e i rich snippet sono stati personalizzati e ottimizzati in tutto il sito, non dimenticare di registrarti alla Search Console di ciascun motore di ricerca (nota anche come strumento per i Webmaster) dove puoi monitorare lo stato e la visibilità del tuo sito sui motori di ricerca. Puoi anche specificare il percorso della tua Sitemap se nessuno è elencato e vedere come lo sta consumando il motore di ricerca, se ci sono o meno problemi con esso e persino come correggerli.

Stendi il tappeto rosso sui motori di ricerca e sui social media e scoprirai che il tuo sito si classifica meglio, le tue voci nelle pagine dei risultati dei motori di ricerca sono state cliccate di più e le tue pagine condivise di più sui social media. Tutto si somma!

In che modo Robots.txt, Sitemap e MetaData interagiscono

Combinare tutti questi elementi è molto simile a stendere il tappeto rosso per il tuo sito. Ecco il processo di ricerca per indicizzazione che un bot esegue insieme al modo in cui il motore di ricerca indicizza i tuoi contenuti.

  1. Il tuo sito ha un file robots.txt che fa riferimento anche alla posizione della tua Sitemap XML.
  2. Il tuo sistema CMS o e-commerce aggiorna la Sitemap XML con qualsiasi pagina e pubblica la data o modifica le informazioni sulla data.
  3. Il tuo CMS o sistema di e-commerce esegue il ping dei motori di ricerca per informarli che il tuo sito è stato aggiornato. Puoi eseguire il ping direttamente o utilizzare RPC e un servizio come Ping-o-matic per spingere a tutti i principali motori di ricerca.
  4. Il motore di ricerca torna immediatamente indietro, rispetta il file Robots.txt, trova pagine nuove o aggiornate tramite la mappa del sito, quindi indicizza la pagina.
  5. Quando indicizza la tua pagina, utilizza microdati rich snippet per migliorare la pagina dei risultati del motore di ricerca.
  6. Poiché altri siti pertinenti si collegano al tuo contenuto, il tuo contenuto si classifica meglio.
  7. Poiché i tuoi contenuti sono condivisi sui social media, le informazioni del rich snippet specificate possono aiutarti a visualizzare correttamente l'anteprima dei tuoi contenuti e indirizzarli al tuo profilo social.

Commenti

  1. 1

    il mio sito web non è in grado di indicizzare nuovi contenuti, recupero la mappa del sito e gli URL sul webmaster ma non riesco ancora a migliorarlo. È un problema di backend di Google?

Cosa ne pensi?

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati dei tuoi commenti.