Blog do Robson Dantas

Na primeira parte do tutorial, falei da importância da aplicação de SEO para fazer com que sua página posicione bem nas buscas.

Nesse post, vou falar um pouco dos Crawlers e spiders, ferramentas importantes para o sistema de busca.

Antigamente, os mecanismos de buscas (ou search engines), utilizavam informações disponíveis nos meta tags (keywords e description) ou na descrição do site oferecida pelo usuário através de um formulário, para realizar busca. Esse modelo gerava um problema, já que não dava para confiar na informação oferecida, muito menos na qualidade do conteúdo.

Pensando nisso, os engenheiros de busca começaram a investir em mecanismos chamados crawlers ou spiders (cada um chama de forma diferente, embora seu funcionamento dentro do mecanismo de busca tenham os mesmos fins). Ambos são programas desenvolvidos para captar dados da web e indexar de uma forma que possam ser “buscados”. A forma com que são indexados e rankeados são específicos de cada sistema de busca e o maior case mundial é o famoso mecanismo de pesquisa do Google.

Como o spider reconhece que meu site precisa ser indexado ?

Estou generalizando o comentário, mas os principais mecanismos de busca oferecem um formulário de cadastro, onde você pode informar a url de seu site para ser indexado. É um meio muito demorado, já li relatos de sites que demoraram meses para aparecer nas pesquisas do Google.

O jeito mais fácil de você aparecer rapidamente na lista de indexação dos spiders, é conseguindo que vários sites façam link para o seu. O motivo, explico abaixo:

O spider indexa a WEB, com um algoritmo parecido isso:

1. Varrer toda a base de links já indexados, conforme estimativa de atualização das páginas, ou seja, o tempo que o spider demora pra voltar na sua página é medido através de um algoritmo que controla a taxa de atualização do site;
2. Para cada link acessado, leio todo o conteúdo, indexo e guardo qualquer link que tenho lá dentro. Esse processo entra em um loop gigante, já que vai pegando link de todas as páginas e sai lendo recursivamente. Ex: 1 página com 10links, serão 11 páginas indexadas e esse número cresce exponencialmente de acordo com o número de links que cada página tiver;
3. Em um segundo momento, ler toda a lista de sites que solicitaram indexação através do site e indexar;

* Nota importante: Além desse mecanismo, é possível enviar um arquivo xml chamado sitemap. É uma estrutura que define cada página do seu site. Para os usuários do WordPress, há um plugin chamado sitemap generator, que notifica automaticamente o Google, Msn e Yahoo sobre cada mudança.

Fiz alguns testes com o GoogleBot e com o Slurp do Yahoo e os dados são interessantes. A prioridade máxima é dada aos sites que estão na cadeia de links. Quanto mais sua página estiver indexada e com links distribuídos, mais rápido você é indexado.

Isso justifica o algoritmo de pagerank, que determina o quão importante você é, através de links (votos) que outras páginas dão.

Para concluir, reitero a importância de vários sites terem links apontando para o seu. Cuidado apenas com as soluções milagrosas, onde sites oferecem programas de troca de links. O Google é bem claro que penaliza sites que utilizem dessa técnica para ganhar pagerank.

Publique conteúdo e deixe que as pessoas linkem com você automaticamente. Com o tempo sua audiência vai subindo e aí você vai se preocupar com outras coisas: rankear mais e mais alto !

Não deixem de comentar!

Bookmarks

Popularity: 5%