Qué es y como utilizar el robots.txt

Acceso clientes Español Qué es y como utilizar el robots.txt Qué es el robots.txt? El archivo se encarga de gestionar los robots de los buscadores para limitarles el acceso. Este archivo se ubica siempre en la raíz de tu alojamiento (http://www.tudominio.com/robots.txt). Comandos Entre los comandos mas utilizados para controlar los robots, se encuentran estos: user-agent: […]