¿De que tamaño es las World Wide Web? Una pregunta muy común, que no tiene respuesta fácil. Existen varios problemas de medición, por ejemplo, muchas páginas están aisladas porque no tienen ninguna referencia en otras páginas Web, o por otro lado, hay páginas que tienen varias URLs que las identifican como páginas distintas. Por estas razones sólo podemos tener estimaciones del tamaño de Internet.

En worldwidewebsize.com hacen la estimación utilizando una base y varios motores de busqueda, este gráfico muesta variaciones del tamaño durante 1 año:

Tamaño de la Web

Según worldwidewebsize.com, hoy el numero de paginas indexadas es de 15.250.000.000.

Esto me hizo recordar los días en que los motores de búsquedas luchaban por tener más páginas que los demás, lo curioso es que el 25 de Septiembre del 2005 Google quita de su página principal la línea: “©2005 Google - Searching 8,168,684,336 web pages”
En ese momento el debate era la forma de contar las páginas, ya que cada motor de búsqueda lo hacia a su conveniencia.

Sin embargo, en el grafico anterior podemos ver una gran variación en el número de páginas en Septiembre del 2006, en estas fechas empieza la lucha en contra del Web Spam, Google empieza a sacar páginas “basura” de su índice y posteriormente también empieza Yahoo!

A pesar de esto, el número de páginas indexadas sigue creciendo especialmente con la estampida de la Web social.

Pero también llegan nuevos problemas, como uno que nos afecta directamente, cada día hay más sitios Web que copian contenidos sin hacer caso al fichero robots.txt, su sed por obtener contenidos, generar páginas sin valor y comercializarlas va más allá de cualquier ética. Sólo nos queda esperar que los motores de búsqueda evolucionen suficientemente rápido para contrarrestar este suceso.

Oseans JT.