O robots.txt pode estar usado para bloquear o rastreamento de determinadas páginas que jamais interessam ao público, como o formulário de login do administrador e arquivos de script e estilos do página da internet. A grande maioria das pessoas jamais percebe que, no momento em que faz certa pesquisa no Google, não está pesquisando na Web ao vivo. O arquivo deve ser aditado na pasta raiz do site para...
