Archivo robot.txt | Todo lo que debes saber sobre sus funciones