#Ejemplo archivo robots.txt 

User-agent:* 

Disallow: /cgi-bin