El archivo robots.txt qué es, quién lo inventó´, cómo optimizarlo

El archivo robots.txt, ¿quien lo inventó? Se dice que fue Martijn Koster , cuando trabajaba para Nexor en el año de 1994. Este es un archivo que siempre debe ir ubicado en el raiz del sitio y se trata de un fichero de texto exclusivo (es decir que determina que sí y que no se debe visitar por cuenta del o los spiders). Si no existe un archivo robots.txt, los rastreadores asumen que se autoriza el ingreso al mismo sin restricciones. Hangout con Alejadro Eguía, Andrés Tirado, Carlos Pablak, Carlos Pizcos y Jesús Perez Serna