Mejores robots txt para el alojamiento Drupal

Cada día, millones de personas utilizan Google Image Search para encontrar imágenes, productos y personas. Si está utilizando Drupal, lo más probable es que no está recibiendo ninguna parte de este tráfico.

el archivo robots.txt de Drupal contiene un gran error. Sorprendentemente, el error ha estado allí durante años, y muy pocas personas parecen saber sobre él.

Echar un vistazo a este extracto del archivo robots.txt Drupal por defecto. Se puede detectar el problema?

Por defecto, cada imagen que cargue en su sitio Drupal se almacena en algún lugar dentro del directorio "sitios". Y, por defecto, Drupal es el bloqueo de todos los motores de búsqueda de mirar dentro de su directorio "sitios". En otras palabras, las imágenes no se están indexados!

Si usted tiene un sitio de Drupal con las imágenes que desea que otras personas a encontrar, esto es un problema grave. (Esto lo descubrí por accidente la semana pasada, cuando me di cuenta de que ninguna de las imágenes en mi sitio Photoshop Efectos de texto se estaban indexados por Google).

Para ilustrar lo común este problema es, vamos a echar un vistazo rápido en el blog de Dries Buytaert. Dries es, por supuesto, el creador de Drupal, pero también es un muy buen fotógrafo. De hecho, Dries ha subido miles de fotos a su blog, incluyendo cientos de fotos de DrupalCon y de gráficos interesantes y gráficos docenas. Pero, ¿cuántas de estas imágenes ha indexado Google realidad?

Sólo 13. Por desgracia, el archivo robots.txt de Dries contiene el "Disallow: / sites /" línea estándar.

Si Dries se ve afectado, es probable que se encuentre, también. Ejecución de un sitio de comercio electrónico? toda su línea de productos podría no aparecer en Google Image Search. Tener un blog de fotografía? Yahoo y Bing son probablemente ignorando todo lo que publicas.

Si nadie puede buscar sus imágenes, que está, literalmente, alejándose del tráfico. Y no sólo el tráfico de búsqueda de imágenes: de alta calidad, imágenes indexables son una característica clave de cualquier sitio de alto rango. Si las imágenes no son indexables, que está haciendo un gran error SEO.

Peor aún, este problema no sólo afecta a las imágenes. PDFs, archivos Flash, documentos de texto y otros archivos van todos en la misma carpeta "sitios". Google sabe cómo indexar estos archivos, pero el archivo robots.txt está parando fría GoogleBot.

Afortunadamente, la solución es fácil: basta con retirar "Disallow: / sites /" de su archivo robots.txt. El archivo se encuentra en el directorio principal de Drupal y se puede editar con un editor de texto estándar. Google debería recoger los cambios dentro de unos días y empezar a indexar los archivos poco después.

La fijación del archivo robots.txt debe ser una prioridad para la próxima versión de Drupal punto. Este es un gran problema con una solución sencilla. Afortunadamente, alguien ya ha creado un problema en Drupal.org. Por desgracia, ha sido sin resolver durante más de un año. Vamos a cambiar eso.

Actualización: Una solución para Drupal 6 fue lanzado el 12 de diciembre. Si se está utilizando Drupal 6.20 o posterior (incluyendo Drupal 7), este problema ya no le afecta.

¿Le ha resultado útil este artículo? Mira mi revisión de alojamiento Drupal.

Publicado por Juan en 2010-08-30

Artículos relacionados

Hay muchas razones por las que un administrador de sistemas o desarrollador puede elegir para alojar múltiples sitios en el mismo servidor en una configuración de múltiples sitios. Por ejemplo, una configuración de este tipo podría: ...

Introducción Una implementación de una búsqueda efectiva es una de las tareas más difíciles en el desarrollo, pero también es una clave para el éxito de muchos sitios web y aplicaciones. Una búsqueda rápida y ...

¿Qué es un mapa? Un mapa es un archivo en el que puede enumerar las páginas web de su sitio para decirle a Google y otros motores de búsqueda sobre la organización del contenido del sitio. Motor de búsqueda Web ...

Si está ejecutando más de un sitio de Drupal, puede simplificar la gestión y puede actualizar sus sitios utilizando la función multi-sitio. Multi-sitio le permite compartir una única Drupal ...

Nota: extra gracias especiales a Doug Vann para proporcionar la motivación para publicar finalmente esta entrada del blog! A principios de 2016, cuando el API de búsqueda y módulos relacionados con Solr para Drupal 8 eran a principios de alfa ...