Crawling è la fase attraverso la quale il motore di ricerca, attraverso il suo software, trova i risultati ricercati.
E’ in parole molto più semplici, quel processo che permette ai motori di ricerca di creare un indice delle più diverse risorse, dei più diversi contenuti presenti in rete, classificandoli per tipologia e perché possano essere riproposti in un secondo momento agli utenti in base al tipo di ricerca che effettuano, in maniera pertinente alle query che utilizzano e al search intent che le stesse sottendono.
Fare crawling significa fare una scansione del proprio sito web. Nel mondo della SEO il crawling è il processo che seguono i motori di ricerca per raccogliere le informazioni sui siti web.
La scansione avviene in 3 passaggi:
- In primo luogo, il bot di ricerca arriva su una pagina (una qualsiasi) del tuo sito web e da lì comincia a scansionare tutte le altre pagine collegate.
- Poi indicizza tutte le parole e tutti contenuti del sito.
- Infine visita i link (indirizzi web o URL) che si trovano nel tuo sito
Quando lo spider non trova una pagina, questa verrà eliminata dall’indice. Tuttavia, alcune pagine verranno nuovamente scansionate dagli spider per verificare che la pagina sia effettivamente offline.
La prima cosa che uno spider dovrebbe fare quando visita il tuo sito web è cercare un file chiamato “robots.txt”. Questo file contiene le istruzioni per lo spider relative a quali parti del sito web indicizzare e quali parti ignorare.
L’unico modo per controllare ciò che lo spider vede sul tuo sito è utilizzando un file robots.txt.
