| AnteriorCloaking | Robots.txt | PróximoFielisaçao |
O ficheiro robots.txt é um ficheiro texto que contém comandos dirigidos aos robots de indexação dos motores de busca, para lhe indicar as páginas que podem ou não ser indexadas. Assim, qualquer motor de busca começa a exploração de um site procurando o ficheiro robots.txt na raiz do site.
O ficheiro robots.txt (escrito em minúsculas e no plural) é um ficheiro ASCII que se encontra na raiz do site, podendo conter os seguintes comandos:
| O ficheiro robots.txt não deve conter nenhuma linha vazia! |
Eis exemplos de ficheiro robots.txt :
User-Agent: *
User-Agent: *
User-Agent: nomDuRobot
User-Agent: NomDuRobot
User-Agent: *
User-Agent: *
User-Agent: *
Eis alguns exemplos de User-Agents para os motores de busca mais populares :
| Nome do motor | User-Agent |
|---|---|
| Alta Vista | Scooter |
| Excite | ArchitextSpider |
| Googlebot | |
| HotBot | Slurp |
| InfoSeek | InfoSeek Sidewinder |
| Lycos | T-Rex |
| Voilà | Echo |
The web robots page
Última modificação do dia Quinta 8 de Outubro de 2009 às 15:08:28.