La questione dell’indicizzazione delle pagine web è materia di interesse per chiunque abbia a che fare con un sito, ma le tue pagine non vengono indicizzate sempre da Google e dagli altri motori di ricerca. Ciò può essere ovviamente un problema, in quanto una pagina priva di indicizzazione non ha modo di competere in SERP con le parole chiave di interesse; e al contempo, una pagina con difficoltà di indicizzazione può avere un riscontro minore in termini di performance anche sul fronte dell’advertising.
Di recente, un addetto di Google ha avuto occasione in una sessione live di soffermarsi nuovamente sul tema, e ha di fatto confermato che il motore di ricerca californiano è in grado di rilevare tutte le URL presenti sul web, ma non per questo sono tutte soggette al crawling dei bot di ricerca e/o meritevoli di indicizzazione.
Andiamo allora ad approfondire la questione indicizzazione e cosa si può fare per avere più possibilità di vedere i propri contenuti premiati dai motori di ricerca.
Posizionamento e indicizzazione: qual’è la differenza?
Questa distinzione è il punto di partenza per evitare di fare confusione quando si parla di problemi SEO. L’indicizzazione è il termine con cui si indica la possibilità delle pagine di essere correttamente lette dagli spider (o crawler) di Google. Questa è la prima condizione necessaria per far sì che le pagine possano maturare del posizionamento, ovvero una posizione all’interno delle pagine dei risultati di ricerca (le SERP, a.k.a. Search Engine Result Page).
E mentre il posizionamento può variare nel tempo, l’indicizzazione una volta raggiunta è stabile finché la pagina web non viene rimossa.
Perché il crawler non indicizza una pagina web?
Sono essenzialmente due i motivi per i quali ciò avviene (tre, se consideriamo che non è un processo automatico e immediato): il primo è che la pagina non rispetta dei criteri minimi di qualità, indispensabili affinché ciò avvenga, e per i quali vi rimandiamo al nostro approfondimento sul core update di novembre 2021, in cui abbiamo parlato anche di best practice SEO e black hat SEO.
La seconda questione, spesso sottovalutata, è quella relativa al crawl budget. Questo è in sostanza l’insieme di risorse che un sito web ha a disposizione per essere letto dai crawler, e che varia per fattori quali velocità e qualità generale del sito, percorsi di navigazione, link interni, struttura e hosting; potenziare questi singoli aspetti vuol dire ovviamente acquisire maggiore crawl budget. Il crawler non scansiona continuamente le pagine di un sito, ma lo fa piuttosto a più riprese nel tempo, attivandosi in caso di aggiornamenti; di conseguenza, se le risorse che ha deciso di dedicare si esauriscono prima di aver letto ogni pagina, alcune di queste non verranno indicizzate (se già l’indicizzazione non è avvenuta con una scansione precedente).
Questo secondo aspetto deve essere tenuto in considerazione in particolar modo per i siti di dimensioni maggiori, come ad esempio un e-commerce con un catalogo ampio, o un blog ricco di articoli. E soprattutto, quando si lavora in ambito SEO è bene entrare nell’ottica che non tutti i contenuti devono necessariamente posizionarsi.
Cosa fare per indicizzare le pagine web
Una pagina non indicizzata è di fatto accessibile solamente a chi ha un link diretto a essa, e nell’ottica di una strategia di Search Engine Marketing ciò è sicuramente poco utile. Quali sono allora i metodi per risolvere questo problema?
- Lavorare sulla qualità. La qualità del contenuto per un sito web non è forse la soluzione per tutti i mali, ma i suoi benefici sono alla pari di quelli di una buona dieta e una costante attività fisica per la salute; e ogni “medico” della SEO non può che consigliarne a priori.
- Controllare i percorsi di navigazione. La pagina ha un link all’interno del sito che consente all’utente di accedervi? La link building interna ha un’importanza primaria in tal senso, e le pagine più importanti devono essere quanto più vicino possibile alla homepage all’interno del percorso di navigazione.
- Controllare la presenza di blocchi. E se la pagina fosse stata bloccata all’interno del file robots.txt o da un tag noindex? Talvolta questo particolare può sfuggire, specie in presenza di numerose pagine, e può essere quindi utile controllare che tali blocchi non siano stati impostati precedentemente.
- Controllare la sitemap. La pagina è presente nella sitemap? Analogamente al punto precedente, alcune azioni potrebbero aver rimosso la pagina dalla mappa del sito, e si necessiterà quindi di inserirla nuovamente per consentire l’indicizzazione.
- Eliminare le pagine poco utili. Un metodo per sfruttare meglio il crawl budget è quello di eliminare dalla ricerca le pagine che non sono interessanti da posizionare, così da aumentare le possibilità che la pagina venga sottoposta a crawling.
- Richiedere l’indicizzazione. Se una singola pagina che si reputa interessante e qualitativa non è indicizzata, si può tentare di forzare il processo richiedendone l’indicizzazione dalla Search Console. Un’azione per la quale si raccomanda in ogni caso moderazione.
L’adozione di queste strategie, così come la presenza di problemi tecnici di altra natura, richiedono però una certa conoscenza della materia. LU3G può aiutarvi con una consulenza specializzata, in modo da analizzare le problematiche e intervenire sul vostro sito web per renderlo appetibile ai motori di ricerca e quindi più competitivo.
Maggiori informazioni? Contattateci!
