Robots.txt recomendado para WordPress

Como hoy estaba trabajando sobre 15 blogs (15 wordpress) me puse a buscar info sobre el robots.txt para refrescar un poco la memoria y hacer uno bien “setsi”…

robots.txt wordpress

En general se tiene problemas con el contenido duplicado en los blogs y ahora con la actualización del Google Panda en Español, vieron (y vimos) como perdimos tráfico, en parte al contenido duplicado y la indexación de páginas con poco contenido de calidad.

En el codex de wordpress sobre SEO, encontré este robots.txt bastante interesante y completo, lo dejo aquí por si alguno quiere armarse uno más a la medida.

En mi caso solamente le agregare que no indexe etiquetas (tags, por ahora) ya que estos sitios serán nuevos y no quiero juntar grandes cantidades de etiquetas con 1 o 2 entradas, no quiero que Google me indexe paginas que puedan ser de baja o mala calidad, nada más.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml

2 comentarios en “Robots.txt recomendado para WordPress

  1. No esta mal, pero es muy simple, te faltan muchas líneas en este robots.txt ….

    Y la linea del Sitemap te recomiendo ponerla al principio, no al final.

  2. Saludos Bruno,

    Recientemente estoy usando WP en un sitio y entiendo que el archivo robots es generado automáticamente, cierto?

    El ejemplo que pones arriba se sube como txt directamente al sitio? se crea desde wp?

    Ojalá puedas ayudarme y desde ahora, gracias 🙂

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *