🌞 Sumer Sale — Até 70% de desconto em hospedagem e domínios
ativa agora
Perguntas Frequentes • Random

Qual é o arquivo robots.txt?

O arquivo robots.txt controla o acesso dos motores de busca no site, permitindo ou restringindo a indexação do conteúdo. Descubra como criá-lo e configurá-lo de forma eficaz.

Visões 840Atualizado 1 anPublicado em 15/10/2018por Cătălin Adrian

Introdução

O arquivo robots.txt é um arquivo de texto simples que faz parte do Protocolo de Exclusão de Robôs (REP). Ele contém instruções para os mecanismos de busca sobre como acessar e indexar o site. Para ser eficaz, o arquivo robots.txt deve ser colocado na pasta raiz do site (por exemplo, https://domeniu.ro/robots.txt).

A Importância do arquivo robots.txt

O arquivo robots.txt é crucial para gerenciar a interação dos bots com o site. Existem muitos bots que podem indexar o site de maneira agressiva, o que pode afetar seu desempenho. Ao usar este arquivo, você pode:

  • Controle o acesso dos mecanismos de busca ao conteúdo do site.
  • Permite a indexação apenas pelos bots desejados (por exemplo, Google, Bing).
  • Restringir o acesso a pastas ou arquivos sensíveis.

Exemplos de uso

1. Bloqueando um motor de busca específico

Para bloquear o acesso do mecanismo de busca Bing (bingbot), inclua as seguintes linhas no arquivo robots.txt:


User-agent: bingbotDisallow: /

Explicação:
User-agent: Especifica o mecanismo de busca para o qual as configurações se aplicam.
Disallow: Define as seções do site às quais o robô não tem acesso. O símbolo / bloqueia o acesso a todo o site.

2. Bloqueando todos os motores de busca

Para impedir que todos os mecanismos de busca acessem o site, use:


User-agent: *Disallow: /

Explicação: O símbolo * (curinga) no campo User-agent aplica-se a todos os motores de busca, e / bloqueia o acesso a todo o site.

3. Restringindo o acesso a certas pastas ou arquivos

Para bloquear o acesso a uma pasta e a um arquivo específico, configure:


User-agent: *Disallow: /blog/Desencorajar: /newsletter.php

Explicação: Todos os motores de busca serão bloqueados de indexar a pasta /blog/ e o arquivo newsletter.php.

Criando o arquivo robots.txt

Para criar um robots.txt, você pode usar um gerador online que ajuda a personalizar rapidamente as regras sem erros. Exemplos de geradores online podem ser encontrados por meio de uma pesquisa: Gerador de Robots.txt.

Depois de criar o arquivo, faça o upload para o diretório raiz do site usando um gerenciador de arquivos ou um cliente FTP.