Robots.txt recomendado para WordPress

Como hoy estaba trabajando sobre 15 blogs (15 wordpress) me puse a buscar info sobre el robots.txt para refrescar un poco la memoria y hacer uno bien “setsi”…

robots.txt wordpress

En general se tiene problemas con el contenido duplicado en los blogs y ahora con la actualización del Google Panda en Español, vieron (y vimos) como perdimos tráfico, en parte al contenido duplicado y la indexación de páginas con poco contenido de calidad.

En el codex de wordpress sobre SEO, encontré este robots.txt bastante interesante y completo, lo dejo aquí por si alguno quiere armarse uno más a la medida.
(más…)