#1. User-agent: In questo campo si può specificare un particolare robot per descrivere la politica di accesso oppure un "*" per tutti i robot meglio specificati nell’esempio.


#3. Il segno # rappresenta i commenti

#Ecco alcuni esempi per un file robot.txt

User-agent: *
Disallow:/mail.htm/

#Per fare in modo che sia indicizzato tutto il contenuto.


#User-agent: *
#Disallow: /cgi-bin/

#Per non fare indicizzare la directory cgi-bin.


#User-agent: googlebot
#Disallow:

#User-agent: * Disallow: /admin.php
#Disallow: /mail.htm

#Per fare in modo che googlebot possa indicizzare tutto, mentre gli altri motori di ricerca non possano indicizzare admin.php, cgi-bin, admin, e stats directory. Nota: potete bloccare singoli file come admin.php.