Como os mecanismos de busca (buscadores) indexam e classificam os sites?

Obviamente que, ao fazer uma busca no Google, Yahoo, Live, etc., não podemos achar que, na velocidade com a qual os resultados são exibidos, a busca seja realizada naquele exato instante. Os buscadores (prefiro usar esse termo porque é mais rápido pra digitar - apesar desse parêntese) “enviam” periodicamente pela web o que conhecemos como robô de busca, crawler ou spider. Esses caras nada mais são do que programas que rastreiam a web seguindo links e armazenam em um banco de dados o conteúdo dos sites que encontraram.

Continuar lendo Agosto 9th, 2008