Nesse post, vou falar um pouco dos Crawlers e spiders, ferramentas importantes para o sistema de busca.

Antigamente, os mecanismos de buscas (ou search engines), utilizavam informações disponíveis nos meta tags (keywords e description) ou na descrição do site oferecida pelo usuário através de um formulário, para realizar busca. Esse modelo gerava um problema, já que não dava para confiar na informação oferecida, muito menos na qualidade do conteúdo.

Pensando nisso, os engenheiros de busca começaram a investir em mecanismos chamados crawlers ou spiders (cada um chama de forma diferente, embora seu funcionamento dentro do mecanismo de busca tenham os mesmos fins). Ambos são programas desenvolvidos para captar dados da web e indexar de uma forma que possam ser “buscados”. A forma com que são indexados e rankeados são específicos de cada sistema de busca e o maior case mundial é o famoso mecanismo de pesquisa do Google.

Como o spider reconhece que meu site precisa ser indexado ?

Estou generalizando o comentário, mas os principais mecanismos de busca oferecem um formulário de cadastro, onde você pode informar a url de seu site para ser indexado. É um meio muito demorado, já li relatos de sites que demoraram meses para aparecer nas pesquisas do Google.

O jeito mais fácil de você aparecer rapidamente na lista de indexação dos spiders, é conseguindo que vários sites façam link para o seu. O motivo, explico abaixo:

O spider indexa a WEB, com um algoritmo parecido isso:

1. Varrer toda a base de links já indexados, conforme estimativa de atualização das páginas, ou seja, o tempo que o spider demora pra voltar na sua página é medido através de um algoritmo que controla a taxa de atualização do site;
2. Para cada link acessado, leio todo o conteúdo, indexo e guardo qualquer link que tenho lá dentro. Esse processo entra em um loop gigante, já que vai pegando link de todas as páginas e sai lendo recursivamente. Ex: 1 página com 10links, serão 11 páginas indexadas e esse número cresce exponencialmente de acordo com o número de links que cada página tiver;
3. Em um segundo momento, ler toda a lista de sites que solicitaram indexação através do site e indexar;

* Nota importante: Além desse mecanismo, é possível enviar um arquivo xml chamado sitemap. É uma estrutura que define cada página do seu site. Para os usuários do WordPress, há um plugin chamado sitemap generator, que notifica automaticamente o Google, Msn e Yahoo sobre cada mudança.

Fiz alguns testes com o GoogleBot e com o Slurp do Yahoo e os dados são interessantes. A prioridade máxima é dada aos sites que estão na cadeia de links. Quanto mais sua página estiver indexada e com links distribuídos, mais rápido você é indexado.

Isso justifica o algoritmo de pagerank, que determina o quão importante você é, através de links (votos) que outras páginas dão.

Para concluir, reitero a importância de vários sites terem links apontando para o seu. Cuidado apenas com as soluções milagrosas, onde sites oferecem programas de troca de links. O Google é bem claro que penaliza sites que utilizem dessa técnica para ganhar pagerank.

Publique conteúdo e deixe que as pessoas linkem com você automaticamente. Com o tempo sua audiência vai subindo e aí você vai se preocupar com outras coisas: rankear mais e mais alto !

Não deixem de comentar!

Bookmarks

Desde que a Google assumiu a liderança pelas buscas na WEB, esse conceito veio à tona, devido aos extensos fatores que as buscas levam em consideração para rankear uma página. SEO na verdade, são um conjunto de ações que você executa para rankear melhor seu site nas buscas (especialmente no Google). Costumo até dizer que existem pelo menos três vertentes em um site:

• A época da escuridão, onde seu site não é “visualizado” pelos buscadores;
• O momento em que os buscadores começam a indexar seu site;
• Preocupação em rankear bem nas buscas, ou melhor, ser um dos primeiros;

Você tem um site ? Então vá até o site do Google e digite uma palavra chave que você considera importante e que seu site ofereça conteúdo. Qual posição você aparece na lista ?

Para muitos isso não importa. Mas para aqueles que desejam mais e mais audiência, isso faz toda a diferença. É por isso que é fruto de estudos; além de dar dinheiro, já que poucos sabem fazer isso direito, dá o poder de ir para o lado do marketing, explorando ações para campanhas específicas. O lado do Marketing, fica por conta de outra palavrinha, chamada SEM (Search Engine Marketing). Falarei um pouco disso em outro post.

Imagine o cenário de uma operadora de celular, onde a competitividade no mercado é enorme, e o poder de compra dos internautas crescendo cada vez mais. A briga para ganhar audiência de palavras como “celular”, “operadora celular”, “aparelho de celular” é enorme.

O mecanismo de pesquisa do Google é muito complexo e qualquer detalhe, faz a diferença:

• Cada página do seu site possui um PageRank. PageRank é uma tecnologia do Google, que serve para medir a relevância uma página através de uma escala de 0-10;
• Cada link que sua página recebe de outro site é tratado como um voto, e quanto mais votos de páginas com pageranks altos, melhor o pagerank do seu site;
• O peso da palavra sobre o contexto do texto melhora ou piora, ou seja, a forma que você escreve faz a diferença;
• A URL bem formada, é um fator altamente importante. Veja a URL desse post, por exemplo;

Bom, o que escrevi aqui é superficial. O assunto é muito maior e complexo.

Em breve, escreverei mais.

Time to work.

Bookmarks