Il robots.txt è un file di testo che indica ai motori di ricerca quali pagine devono o non devono essere indicizzate. È posizionato nella directory principale del sito.

Esempio di Robots.txt:

User-agent: *

Disallow: /admin/

Allow: /blog/

Perché il Robots.txt è Importante?

Evita l’indicizzazione di contenuti duplicati.

Protegge sezioni sensibili del sito.

Come Crearlo:

1. Usa un editor di testo come Notepad.

2. Salva il file come robots.txt.

3. Caricalo nella directory root del tuo sito.