Crawl Budget

Se sei informato, almeno parzialmente, su quello che sono le regole di scrittura SEO e su quelle che sono le dinamiche di posizionamento sui motori di ricerca relative all’indexing e al crawling, avrai probabilmente sentito parlare di Crawl Budget. Sebbene il discorso relativo a tale concetto possa essere ampio, è pur vero che è importante avere ben chiari alcuni aspetti di base. Conoscere il Crawl Budget e sapere come ottimizzarlo ai fini della SEO, risulta determinante per poter andare sul web con un sito ben strutturato e ottimizzato, riconosciuto dal motore di ricerca Google. Così, se ti interessa incrementare le visite al tuo sito, puoi provare a prendere in considerazione questo particolare aspetto che appare direttamente correlato alla SEO.

Cos’è il crawl budget?

Ogni giorno, per “scandagliare” tutti i contenuti presenti in internet, Google utilizza algoritmi, spider e crawl (o bot). Questi ultimi sono i responsabili delle continue scansioni delle pagine internet al fine di valutarle per poi in seguito indicizzare i vari siti analizzati. Possiamo definire il crawl budget come l’insieme di risorse che vengono destinate da Google per scansionare un sito.

Semplificando, il Crawl Budget si identifica con il numero di pagine analizzate da Googlebot entro un definito intervallo temporale, allo scopo di comprendere se un sito possa o meno piacere al motore di ricerca. L’analisi consente a Google di leggere i contenuti, di valutarli, di capirne la correttezza espositiva e la qualità, ma soprattutto permette di definire se i testi sono realizzati in ottica SEO. Se hai un sito ricco e “corposo”, ma hai un crawl budget assegnato ridotto, significa che alcune tue pagine potrebbero non venire prese in considerazione e il tuo progetto internet ne risentirebbe. Ecco perchè è importante conoscere e migliorare la SEO, cercando, indirettamente, di ottimizzare questo specifico parametro.

Se Google dovesse assegnare al tuo sito un crawl budget basso, significa che verrà mal indicizzato e quindi posizionato nelle retrovie: ciò comporterebbe per gli utenti una maggior fatica a trovarti.
Volendo fornire una definizione più precisa, si distingue tra CRL (Crawl Rate Limit) e CD (Crawl Demand).

il Crawl Rate Limit, CRL, specifica il limite massimo di connessioni simultanee che il crawl utilizzato dal motore di ricerca può impiegare per scansionare un sito. Tale valore sarà tanto più alto quanto migliore sarà l’ottimizzazione del sito, sia a livello SEO che in ottica di risposta. Più il sito risponderà velocemente (dipende anche dall’hosting utilizzato), più sarà probabile che verrà valutato positivamente e con maggior frequenza, premiando così i contenuti più nuovi e aggiornati.

Il Crawl Demand, CD, rappresenta la necessito di crawl del sito, in questo caso è il sito che sollecita l’analisi in seguito ad aggiornamenti importanti, cambi di grafica o migrazione da un hosting ad un altro.
Maggiore qualità avrà un sito, maggiori saranno le pagine che i vari crawler di Google scaricheranno e analizzeranno, fornendo una valutazione più approfondita e completa.

Come ottimizzare il Crawl Budget per la SEO?

Diviene quindi fondamentale intervenire sulla SEO per cercare di incrementare il Crawl Budget, mantenendolo costantemente sotto controllo. Sia chiaro che questo non è un parametro diretto esprimibile con un punteggio predefinito, ma “interpretandolo” risulta comunque possibile capire l’aspetto qualitativo del sito. All’interno dei vecchi rapporti di GSC, Google Search Console, ci sono dei rapporti che consentono di conoscere i Kb scaricati, il numero di pagine scaricate e analizzate, i tempi necessari e altri parametri inerenti. Ciò significa che interpolando questi dati è possibile trarre importanti indicazioni.
Il Crawl Budget non è un parametro modificabile direttamente, ma è qualcosa che può essere comunque influenzato da un servizio hosting veloce e affidabile, ma soprattutto attraverso l’ottimizzazione SEO.
Risulta vantaggioso puntare alla qualità dei contenuti sacrificando la quantità, verificando la presenza di eventuali errori.

Alcuni suggerimenti per migliorare il Crawl Budget

Prima di operare in ottica SEO è necessario conoscere il servizio del proprio hosting web: questo è senza dubbio il primo fattore che è in grado di influenzare la velocità di risposta del sito e quindi incidere sul Crawl Budget.

Agendo invece sui contenuti, è necessario ottimizzarli rispettando le regole SEO in modo da innalzare la qualità e ottenere così una migliore valutazione da parte di Google. Ecco alcune indicazioni per lavorare meglio in ottica SEO.

  • Link Building: uno strumento SEO importante che costituisce una vera e propria strategia riguarda la gestione dei link (Link Building Strategy). I link in entrata (e in uscita) sono tra le prime cose che vengono prese in considerazione da Google nelle sue analisi. Insieme alla velocità di risposta, i link sono paragonabili all’importanza che riveste un biglietto da visita per un rappresentante: se è sgualcito, rovinato, strappato oppure graficamente anonimo, verrà molto probabilmente cestinato o relegato in fondo ad un cassetto. I link, quindi, devono essere innanzitutto funzionanti, essere posizionati in contesti di qualità inerenti l’argomento del sito (il business o il tipo di attivitò svolta) e rimandare a siti che abbiano un’elevato prestigio, che possano trasmettere fiducia e affidabilità.
  • Contenuti: i contenuti di qualità verranno premiati da Google. Devi fornire informazioni uniche ed esclusive per poter dare valore aggiunto alle tue pagine e al tuo sito. Fornire informazioni dettagliate e di approfondimento è un obiettivo che qualsiasi SEO Copywriter dovrebbe sempre avere.

Ottimizzare il Crawl Budget attraverso la SEO: gli errori da evitare

Una volta che hai lavorato su tutto quanto sopra e avrai messo in pratica i nostri preziosi suggerimenti, devi concentrarti sulla riduzione degli errori per evitare eventuali penalizzazioni. Bisogna partire da un presupposto veritiero e concreto: i bot del motore di ricerca di Google funzionano attraverso speciali spider e algoritmi che variano continuamente, ma che sono portati a “ragionare” come esseri umani.
Se non vuoi penalizzare troppo la valutazione delle tue pagine e influenzare negativamente il Crawl Budget, ecco cosa dovrai evitare.

  • Duplicazione contenuti: fai in modo che ciascuna pagina del tuo sito riporti informazioni nuove, evitando doppioni di testi o di argomenti.
  • Link non funzionanti: il link non funzionante rilascia la stessa sensazione di quanto tu, in vacanza in un luogo sconosciuto, chiedi informazioni a gente del posto e vieni mandato in una strada senza uscita. Un link crea un’aspettativa nel lettore, ma nel momento in cui il click porta ad un file corrotto o ad una pagina assente prevale la delusione e lo scoraggiamento. Il tuo sito perde di reputazione poichè è come se tu avessi fornito un consiglio sbagliato e perderai la fiducia degli utenti.
  • Pagine pesanti: finestre popup, banner pubblicitari, annunci, effetti grafici e javascript, immagini pesanti sono tutti elementi che appesantiscono i tempi di caricamento di una pagina e di conseguenza la quantità di risorse che Googlebot dovrà destinare per spiderare la tua pagina.
  • Template poco performanti: per lo stesso motivo sopra, ci sono molti template grafici molto pesanti che fanno sprecare molte risorse a Googlebot.
  • Struttura di navigazione poco intuitiva e poco chiara: chiunque si scoraggia quando entra in un sito disordinato, poco logico e complicato nella sua navigazione. Allo stesso modo accade per Google e i suoi crawler.