In che modo i motori di ricerca trovano, scansionano e indicizzano i tuoi contenuti?

Non consiglio spesso ai clienti di creare i propri sistemi di e-commerce o di gestione dei contenuti a causa delle opzioni di estensibilità invisibili necessarie al giorno d'oggi, focalizzate principalmente sulla ricerca e sull'ottimizzazione sociale. Ho scritto un articolo su selezionando un CMS, e lo mostro ancora alle aziende con cui lavoro che sono tentate di costruire il proprio sistema di gestione dei contenuti.

Come funzionano i motori di ricerca?

Cominciamo da come funzionano i motori di ricerca. Ecco un'ottima panoramica da Google.

Tuttavia, ci sono assolutamente situazioni in cui una piattaforma personalizzata è una necessità. Quando questa è la soluzione ottimale, spingo comunque i miei clienti a sviluppare le funzionalità necessarie per ottimizzare i loro siti per la ricerca e i social media. Tre caratteristiche chiave sono una necessità.

• Robots.txt
• XML Sitemap
• Metadati

Che cos'è un file Robots.txt?

Robots.txt file - il robots.txt file è un file di testo semplice nella directory principale del sito e indica ai motori di ricerca cosa dovrebbero includere ed escludere dai risultati della ricerca. Negli ultimi anni, i motori di ricerca hanno richiesto di includere nel file anche il percorso di una mappa del sito XML. Ecco un mio esempio, che consente a tutti i bot di eseguire la scansione del mio sito e li indirizza anche alla mia mappa del sito XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Che cos'è una Sitemap XML?

XML Sitemap - Piace HTML è per la visualizzazione in un browser, XML è scritto per essere digerito a livello di codice. UN XML la mappa del sito è una tabella di ogni pagina del tuo sito e di quando è stata aggiornata l'ultima volta. Le mappe del sito XML possono anche essere collegate a catena... ovvero, una mappa del sito XML può fare riferimento a un'altra. È fantastico se vuoi organizzare e suddividere logicamente gli elementi del tuo sito (FAQ, pagine, prodotti, ecc.) nelle proprie Sitemap.

Le Sitemap sono essenziali per far sapere in modo efficace ai motori di ricerca quali contenuti hai creato e quando sono stati modificati l'ultima volta. Il processo di un motore di ricerca quando si accede al tuo sito non è efficace senza l'implementazione di una mappa del sito e di snippet.

Senza una Sitemap XML, rischi che le tue pagine non vengano mai scoperte. Cosa succede se hai una pagina di destinazione di un nuovo prodotto che non è collegata internamente o esternamente? Come lo scopre Google? Bene, finché non verrà trovato un collegamento, non sarai scoperto. Per fortuna, però, i motori di ricerca consentono ai sistemi di gestione dei contenuti e alle piattaforme di e-commerce di stendere un tappeto rosso per loro!

1. Google scopre un collegamento esterno o interno al tuo sito.
2. Google indicizza la pagina e la classifica in base al suo contenuto, al contenuto e alla qualità del sito del link di riferimento.

Con una Sitemap XML, non lasci al caso la scoperta o l'aggiornamento dei tuoi contenuti! Troppi sviluppatori cercano di prendere scorciatoie che danneggiano anche loro. Pubblicano lo stesso rich snippet in tutto il sito, fornendo informazioni che non sono pertinenti alle informazioni della pagina. Pubblicano una mappa del sito con le stesse date su ogni pagina (o tutte aggiornate quando una pagina si aggiorna), dando code ai motori di ricerca che stanno prendendo in giro il sistema o sono inaffidabili. Oppure non inviano alcun ping ai motori di ricerca... quindi il motore di ricerca non si rende conto che sono state pubblicate nuove informazioni.

Cosa sono i metadati? Microdati? Rich Snippet?

I rich snippet sono microdati codificati con cura nascosto allo spettatore ma visibile sulla pagina per essere utilizzato dai motori di ricerca o dai siti di social media. Questo è noto come metadati. Google è conforme a Schema.org come standard per includere elementi come immagini, titoli, descrizioni e una miriade di altri frammenti informativi come prezzo, quantità, informazioni sulla posizione, valutazioni, ecc. Lo schema migliorerà in modo significativo la visibilità del tuo motore di ricerca e la probabilità che un utente faccia clic.

Facebook utilizza l'estensione OpenGraph protocollo (ovviamente non potevano essere la stessa cosa), X ha anche uno snippet per specificare il tuo profilo X. Sempre più piattaforme utilizzano questi metadati per visualizzare in anteprima i collegamenti incorporati e altre informazioni quando pubblicano.

Le tue pagine web hanno un significato sottostante che le persone capiscono quando leggono le pagine web. Ma i motori di ricerca hanno una comprensione limitata di ciò che viene discusso in quelle pagine. Aggiungendo tag aggiuntivi all'HTML delle tue pagine web, tag che dicono: "Ehi motore di ricerca, queste informazioni descrivono questo specifico film, luogo, persona o video", puoi aiutare i motori di ricerca e altre applicazioni a comprendere meglio i tuoi contenuti e visualizzarlo in modo utile e pertinente. I microdati sono un insieme di tag, introdotto con HTML5, che ti consente di farlo.

Schema.org, cos'è MicroData?

Ovviamente nessuno di questi è richiesto ... ma li consiglio vivamente. Quando condividi un link su Facebook, ad esempio, e non viene visualizzata alcuna immagine, titolo o descrizione ... poche persone saranno interessate e effettivamente faranno clic. E se i tuoi frammenti di schema non sono in ogni pagina, ovviamente puoi ancora apparire nei risultati di ricerca ... ma i concorrenti potrebbero batterti quando visualizzano informazioni aggiuntive.

Registra le tue Sitemap XML con Search Console

Se hai creato i tuoi contenuti o una piattaforma di e-commerce, è fondamentale disporre di un sottosistema che esegua il ping dei motori di ricerca, pubblichi microdati e quindi fornisca una mappa del sito XML valida per il contenuto o le informazioni sul prodotto da trovare!

Una volta personalizzati e ottimizzati il ​​file robots.txt, le sitemap XML e i rich snippet in tutto il tuo sito, non dimenticare di registrarti per ciascun motore di ricerca webmaster (Noto anche come webmaster tool) dove potrai monitorare lo stato di salute e la visibilità del tuo sito sui motori di ricerca. Puoi anche specificare il percorso della tua Sitemap se non ne è elencato nessuno e vedere come lo sta utilizzando il motore di ricerca, se ci sono o meno problemi con esso e anche come correggerli.

Stendi il tappeto rosso ai motori di ricerca e ai social media e scoprirai che il tuo sito si posiziona meglio, le tue voci nelle pagine dei risultati dei motori di ricerca vengono cliccate di più e le tue pagine vengono condivise di più sui social media. Tutto torna!

In che modo Robots.txt, Sitemap e MetaData interagiscono

Combinare tutti questi elementi è come stendere il tappeto rosso per il tuo sito. Ecco il processo di scansione eseguito da un bot insieme al modo in cui il motore di ricerca indicizza i tuoi contenuti.

1. Il tuo sito ha un file robots.txt che fa riferimento anche alla posizione della tua Sitemap XML.
2. Il tuo CMS o sistema di e-commerce aggiorna la Sitemap XML con qualsiasi pagina e pubblica le informazioni sulla data o modifica la data.
3. Il tuo CMS o sistema di e-commerce esegue il ping dei motori di ricerca per informarli che il tuo sito è stato aggiornato. Puoi eseguire il ping direttamente o utilizzare RPC e un servizio come Ping-o-matic per inviarli a tutti i principali motori di ricerca.
4. Il motore di ricerca ritorna immediatamente, rispetta il file Robots.txt, trova pagine nuove o aggiornate tramite la mappa del sito e quindi indicizza la pagina.
5. Quando indicizza la tua pagina, utilizza il titolo, la meta descrizione, gli elementi HTML5, i titoli, le immagini, i tag alt e altre informazioni per indicizzare correttamente la pagina per le ricerche applicabili.
6. Quando indicizzi la tua pagina, utilizza il titolo, la meta descrizione e i microdati rich snippet per migliorare la pagina dei risultati del motore di ricerca.
7. Poiché altri siti pertinenti si collegano al tuo contenuto, il tuo contenuto si classifica meglio.
8. Man mano che i tuoi contenuti vengono condivisi sui social media, le informazioni sui rich snippet specificate possono aiutarti a visualizzare correttamente l'anteprima dei tuoi contenuti e indirizzarli al tuo profilo social.