Googlebot - o robô do Google

Como os sites de busca descobrem e armazenam o conteúdo da internet

Na internet, robots, ou robôs, são aplicativos que percorrem a internet em busca de conteúdo com o objetivo de indexá-lo ou verificar alterações ocorridas desde a última "visita" (Saiba como funcionam os sites de busca no início do tutorial). Robots também são conhecidos como "indexadores", "bots" ou "crawlers". Muito conhecidos na comunidade SEO, possuem até nome próprio. Os robots do Google são chamados de Googlebot, os robots do MSN de msnbot, os robots do Yahoo de yahoobot ou Yahoo! Slurp. Seguindo links de páginas, permitem aos sites de busca varrerem a internet armazenando o conteúdo encontrado pelo caminho.

O que são links

Links são comandos utilizados em páginas da internet que levam o internauta a outros páginas do mesmo site ou fora dele. Geralmente o link aparece em destaque, com outra cor ou sublinhado. Exemplo: clique no texto tutorial SEO e você será redirecionado ao início deste tutorial.

Como trabalha o Googlebot

Os robots começam seu trabalho em uma determinada página. Armazenam o seu conteúdo e mapeiam todos os links existentes nela. Em seguida, priorizam cada um desses links e começam a seguí-los, armazenando o conteúdo encontrado e mapeando os links encontrados, e assim sucessivamente.

Como controlar a ação dos robots

Nem todo o conteúdo de um site deve ser indexado pelos robots. Páginas de login, páginas repetidas, páginas de impressão são alguns desses exemplos. Existem algumas formas para impedir que o seu site seja visitado pelo Googlebot. Um desses métodos é através do arquivo robots.txt. Temos neste tutorial uma página dedicada ao robots.txt. Uma outra forma de controlar o acesso do Googlebot a seu site é através da meta tag "robots".

Próximo Tópico

Como o Google define
o posicionamento
de sites em seus
resultados