Evitar aparecer en Google, robots.txt

Evitar aparecer en Google y otros buscadores es útil en la etapa de desarrollo, si elegimos trabajar en línea. Restringe el acceso a los rastreadores (Bots) donde sea necesario colocando 1 archivo robots.txt en el directorio raíz. Cómo crear un archivo robots.txt El archivo robots.txt más básico utiliza dos reglas: User-Agent: el robot al que se […]