Parallèle étonnant entre Yahoo et Google

Comme je l'ai annoncé, ce site me sert de laboratoire en matière de référencement. Pour le moment, j'observe avec attention comment les principaux moteurs indexent les quelques 40 000 pages du site à l'aide des scripts shell pour compter régulièrement le nombre de pages indexées dans Google et dans Yahoo! ainsi qu'en faisant des tests manuellement sur ces deuxmoteurs.

Mais un point m'étonne : ces deux moteurs utilisent chacun leur propre technologie et pourtant, au niveau de l'indexation, ils évoluent dans le même sens quasiment au même moment. Par exemple, sur Yahoo! je suis passé d'environ 2900 pages indexées à plus de 7000 entre le 25 octobre et le 27 octobre et dans Google, aux mêmes dates, de 3000 à 5000 puis à 10 000 2 jours après ! Tout ça après plus d'un mois et demi avec 2500 pages environs pour les deux moteurs.

Coïncidence ? Je ne sais pas, mais j'avais déjà remarqué le même phénomène début septembre juste après la mise en ligne du site. Les algorithmes de Yahoo! et Google seraient à ce point proche dans le déclenchement de vagues d'indexation massive ? À noter qu'à côté de ça, Live Search (ex-MSN Search) indexe péniblement 800 pages

J'avais annoncé que je publierais le script permettant de faire un graphique avec ces données, c'est toujours d'actualité, il faut juste que je trouve le temps de l'écrire dans un langage ou un autre voire dans plusieurs… D'ailleurs, je regarde sérieusement du côté d'eZ components dont la dernière version 2006 beta2 intègre un module de génération de graphiques dont les résultats ont l'air plutôt sympas.