Robots.txt recomendado para WordPress

Como hoy estaba trabajando sobre 15 blogs (15 wordpress) me puse a buscar info sobre el robots.txt para refrescar un poco la memoria y hacer uno bien “setsi”…

En general se tiene problemas con el contenido duplicado en los blogs y ahora con la actualización del Google Panda en Español, vieron (y vimos) como perdimos tráfico, en parte al contenido duplicado y la indexación de páginas con poco contenido de calidad.

En el codex de wordpress sobre SEO, encontré este robots.txt bastante interesante y completo, lo dejo aquí por si alguno quiere armarse uno más a la medida.

En mi caso solamente le agregare que no indexe etiquetas (tags, por ahora) ya que estos sitios serán nuevos y no quiero juntar grandes cantidades de etiquetas con 1 o 2 entradas, no quiero que Google me indexe paginas que puedan ser de baja o mala calidad, nada más.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml