In: SEO
26 ago 2011Como hoy estaba trabajando sobre 15 blogs (15 wordpress) me puse a buscar info sobre el robots.txt para refrescar un poco la memoria y hacer uno bien “setsi”…

En general se tiene problemas con el contenido duplicado en los blogs y ahora con la actualización del Google Panda en Español, vieron (y vimos) como perdimos tráfico, en parte al contenido duplicado y la indexación de páginas con poco contenido de calidad.
En el codex de wordpress sobre SEO, encontré este robots.txt bastante interesante y completo, lo dejo aquí por si alguno quiere armarse uno más a la medida.
En mi caso solamente le agregare que no indexe etiquetas (tags, por ahora) ya que estos sitios serán nuevos y no quiero juntar grandes cantidades de etiquetas con 1 o 2 entradas, no quiero que Google me indexe paginas que puedan ser de baja o mala calidad, nada más.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*# digg mirror
User-agent: duggmirror
Disallow: /Sitemap: http://www.example.com/sitemap.xml
Hola, Mi nombre es Bruno Dangelo, soy Argentino y vivo en Montevideo (Uruguay) desde mediados del 2005, tengo 28 años (31/10/1983). Emprendedor y webmasters por vocación, me apasiona el mundo del SEO e Internet. Desde los 16 años que realizo diferentes tipos de proyectos, todos basados en Internet. Actualmente soy co-fundador de dahseo, una empresa dedicada al Posicionamiento Web. Más sobre mi...
2 Respuestas para: Robots.txt recomendado para WordPress
InKiLiNo
septiembre 15th, 2011 at 3:15
No esta mal, pero es muy simple, te faltan muchas líneas en este robots.txt ….
Y la linea del Sitemap te recomiendo ponerla al principio, no al final.
Francisco
septiembre 29th, 2011 at 3:34
Saludos Bruno,
Recientemente estoy usando WP en un sitio y entiendo que el archivo robots es generado automáticamente, cierto?
El ejemplo que pones arriba se sube como txt directamente al sitio? se crea desde wp?
Ojalá puedas ayudarme y desde ahora, gracias